Как защититься от парсинга? Результат Панда.

[yuross]

Такая история:

Начали мои сайты потихоньку вылетать с топа (Google USA) по не понятным причинам (были проверены все возможные причины).

Начал анализировать оказывается, что повылетали отдельные страницы. Беру куски текста в кавычки и в Google. И как оказалось, тексты были размещены на десятках сайта и не на просто сайта на ломаных сайтах вордпресса. Мой оригинал внизу или даже в соплях, а весь лом выше. Показатели (траст) ломаных сайтов намного выше моих сайтов.

Дальше смотрю на этих ломах еще траффа на такие страницы валом.
На моих сайтах пострадали (полный вылет с топ 100) только те страницы которые были спарсены.

Проанализировал конкурентов их же также спарсили, и они ушли вниз. В топе остались только супер трасты – тексты, которых также растаскались то они не упали, а стали еще выше.

Так что выходит, берем аукционный трастовый домен и размещаем на нем ворованный текст с топа (слабого сайта который в топе) и получаем топ? (а тот сайт вылетает).

Подозреваю, что на мои сайты пришла постраничная Панда.

Что делать, как в хтаксесе отсекать эти парсеры? Или есть другие варианты?

[blacks]

Сообщение от Hector

blacks, врядли ты сделаешь более эффективное решение, у клауда огромная база

ну у меня сайт на клауде стоит, что-то еще менять надо? просто я ж не могу постоянно быть в режиме "под атакой"

[Hector]

Парни проблема именно в сайтах на wordpress, их боты парсят постоянно, ставьте плагины какие-то я не знаю, ебитесь с nginx настройками, у меня был написан скрипт который автоматом банит всех быстроботов кроме поисковиков, это был пиздец они мощный сервер мне ложили на ура.

[веломан]

вордпрессы и прочие CMS созданы как раз для того, чтобы ложить мощные сервера
там адское кол-во неэффективного кода
в битриксе вообще по 50 запросов в БД на странице

[Hector]

веломан, у меня в шопе на вордпресс по 300 запросов в базу чтобы отрендерить страницу товара. Жесть. Но ничего не поделать, нужно же как-то работать. Приходится городить кеш.

[веломан]

300 это ты конечно хватанул лишку
я даже таких цифр то не знаю...
три сотни блять
3 (!) запроса максимум должно быть
+ остальное в редиске

[gumu]

Сообщение от веломан

вордпрессы и прочие CMS созданы как раз для того, чтобы ложить мощные сервера
там адское кол-во неэффективного кода
в битриксе вообще по 50 запросов в БД на странице

Сообщение от Hector

веломан, у меня в шопе на вордпресс по 300 запросов в базу чтобы отрендерить страницу товара. Жесть. Но ничего не поделать, нужно же как-то работать. Приходится городить кеш.

Похоже, что вы что-то не так делаете.
Сервер от хетзнера за 54 евро, почти 5к вордпрессов.
Софт - nginx + php-fpm, кэша нет.
В штатном режиме всё отлично - гуглбот бегает, сервер нормально себя чувствует.
Раз в 2 недели свершается адский набег каких-то ботов, LA ~ 1000, сайты тяжело, но открываются. Сервак при этом не ложится.
Правда, вордпрессы голые - только одна добавленная тема, плагинов нет.

[root[pts/0]@content8]:[6:20]#mysqladmin status
Uptime: 11058580  Threads: 38  Questions: 5349695757  Slow queries: 0  Opens: 611863329  Flush tables: 1  Open tables: 20000  Queries per second avg: 483.759

[веломан]

ну у тебя то точно не 300 запросов
у тебя лёгенький вариант
без плагинов это значит текстовые страницы отдаёшь без наворотов

[gumu]

Сообщение от веломан

ну у тебя то точно не 300 запросов
у тебя лёгенький вариант
без плагинов это значит текстовые страницы отдаёшь без наворотов

Ну я об этом и написал, в общем. Но у меня доры, а не СДЛ - мне не нужны плагины.
Но я согласен с тем, что вордпресс - это пиздец тяжёлая штука.

[веломан]

кстати, а проблем нет с хетцнером?
абузы там или вопросы уровня "откуда у вас столько трафика"

[Hector]

Хецнер это дно для вебмастера, абузера ценят больше чем клиента