Как решить проблему с 502 ошибкой?

[Fubu_By]

В отчетах яндекс.вебмастера и гугла.вебмастера сыпятся пачками 502... Как найти в логах что не выдерживает нагрузку от сканирования ботами? в access логе nginx вижу тоже что и в отчетах что бот валит сервер, но воспроизвести не получается... в error логе не нахожу причину

[веломан]

https://www.google.com/search?q=ngin...+group+by+bots

[IDL]

Fubu_By, тут сначала руками сделай эмуляцию, что реально отдаётся ботам.
В панели wmt и яндекс.вебмастер сделай проверку страниц, посмотри как отдаются они на самом деле.

Посмотри может нагрузку создают не боты гугла и яндекса, а например ia_achiver или как там его. Соотвественно можно выборочно локнуть клоунов.

Ну и напоследок можно в wmt в настройках указать скорость пожирания + поставить в шаблоне тег типа как часто обновляется страница, это тоже снизит нагрузку

[веломан]

первым делом заблочить baidu

[IDL]

веломан, ну кстати он часто достаточно вменяемый у меня. Надо смотреть конечно, проще имхо весь китай локнуть и всё, нахуй они не нужны

[Fubu_By]

У меня смотрю много частао бегает бот бинга, с которого трафика никогда не было на русские сайты, его можно заблочить. Но вопрос, стоит ли его блочить на других языках, или с него уже толку нигде нет и хрен что стрельнет уже?

[FastJack]

На мой сайт какой то долбоеб шлет ботов, может кто значет зачем он это делает ? ) уже полгода такая херня, сейчас начали делать переход с бинга и гугла в запрос подставляют имя домена

[Fubu_By]

Сообщение от FastJack

На мой сайт какой то долбоеб шлет ботов, может кто значет зачем он это делает ? ) уже полгода такая херня, сейчас начали делать переход с бинга и гугла в запрос подставляют имя домена

Есть такие долбаебы. Мне однов время тоже пару месяцев лили ботов через яндекс, может пытаются поведенческий накрутить. Толку с этого никакого нет, только смотреть аналитику мешает