Борьба с ботами

[mamba]

Хотел узнать, кто и как отшивает левых ботов и боритесь ли с ними вообще...
У меня сайты с миллионными индексами и честно хз на сколько сильно левые боты ебут сервак.

Нагуглил данную статью,
http://www.maultalk.com/topic126197....ode=linearplus
На сколько оно актуально отшивает ботов? Можно ли смело юзать его решение?
и какие списки у вас?

[Strikelol]

Сообщение от sashawww

Мое мнение лучше накинуть 20-50$ и взять мощный сервер, E3 или даже E5. Поставить туда чистый nginx без апача. А пытаться отфильтровать ботов решение не самое лучшее, можно, как тут уже сказали и скрытых СЕ ботов блокнуть и тогда горе будет. Да и боты меняются, появляются новые, замучаешься фильтровать.

Иногда слышу про nginx и без апача. Ребята, вы знаете что nginx php не интерпретирует?

[chesser]

Сообщение от Strikelol

Иногда слышу про nginx и без апача. Ребята, вы знаете что nginx php не интерпретирует?

не, не знал. А как лучше делать тогда?

[Strikelol]

Сообщение от chesser

не, не знал. А как лучше делать тогда?

У тебя тоже nginx без бэкэнда да?

[mamba]

короче, че мне лучше делать? просто чем больше вы пишите, тем меньше я начинаю понимать

[Strikelol]

Сообщение от mamba

короче, че мне лучше делать? просто чем больше вы пишите, тем меньше я начинаю понимать

В идеале записывать айпи всех ботов и добавлять их в iptables.
Вариант попроще - взять список юзерагентов и в nginx конфиге запретить им лазить по твоему сайту.

[mamba]

IP надо постоянно парсить, имхо очень много шансов, что то хорошее пустить в замес. Лучше UA в nginx загнать. Спс

[chesser]

Сообщение от Strikelol

У тебя тоже nginx без бэкэнда да?

да, я просто поставил nginx!!! и все заработало само!!!!


на самом деле я допускаю вариант nginx+apache и примерно представлю, когда это будет нормально. Также представляю и использую nginx+fastcgi

Но установить один апач (без нормального фронтенда) и радоваться этому -
но опять же зависит от проекта, для web API один апач будет норм

Сообщение от Strikelol

В идеале записывать айпи всех ботов и добавлять их в iptables.
Вариант попроще - взять список юзерагентов и в nginx конфиге запретить им лазить по твоему сайту.

я так и делал, см #9 сообщение
на счет iptables...точно не знаю, но где-то писали, что когда ip будет много, то могут быть проблемы, хотя мне в это верится с трудом

[Venya Tolinov]

Сообщение от Strikelol

Иногда слышу про nginx и без апача. Ребята, вы знаете что nginx php не интерпретирует?

А апач тогда причём? fastcgi_pass - передаёт управление запущенному FCGI процессу, который и запустит интерпретатор PHP. Если что не то скзал, не пинайте, я вот только ещё стою на пути правильной настройки nginx и дальнейшего искоренения апача

[Strikelol]

меня как бы смутило "чистый nginx"

[Painkiller]

можно еще ставить куку -> редирект на эту же пагу и если кука не встала то, пустую страницу отдавать. для гуглей бингов сделать исключение. На многих сайтах такое видел.