Как защититься от парсинга? Результат Панда.

[yuross]

Такая история:

Начали мои сайты потихоньку вылетать с топа (Google USA) по не понятным причинам (были проверены все возможные причины).

Начал анализировать оказывается, что повылетали отдельные страницы. Беру куски текста в кавычки и в Google. И как оказалось, тексты были размещены на десятках сайта и не на просто сайта на ломаных сайтах вордпресса. Мой оригинал внизу или даже в соплях, а весь лом выше. Показатели (траст) ломаных сайтов намного выше моих сайтов.

Дальше смотрю на этих ломах еще траффа на такие страницы валом.
На моих сайтах пострадали (полный вылет с топ 100) только те страницы которые были спарсены.

Проанализировал конкурентов их же также спарсили, и они ушли вниз. В топе остались только супер трасты – тексты, которых также растаскались то они не упали, а стали еще выше.

Так что выходит, берем аукционный трастовый домен и размещаем на нем ворованный текст с топа (слабого сайта который в топе) и получаем топ? (а тот сайт вылетает).

Подозреваю, что на мои сайты пришла постраничная Панда.

Что делать, как в хтаксесе отсекать эти парсеры? Или есть другие варианты?

[Cisco]

Сообщение от blacks

я думал можно это все в автоматич режиме сделать, или i'm under attack оставить и всё?)

эта заглушка от клауда может сильно влиять на отказы/возвраты на поиск - так как заставлят юзер ждать, а кого то и ботом может признать и вообще на сайт не пустить. кроме того никак не спасает от ручной кражи текстов. так что не рекомендовал бы ставить этот режим если вы не под ддос атакой или даже уровень параноидальности защиты я всегда ставлю на минимум. ибо скорость влияет на позиции и траф

[blacks]

Сообщение от Cisco

эта заглушка от клауда может сильно влиять на отказы/возвраты на поиск - так как заставлят юзер ждать, а кого то и ботом может признать и вообще на сайт не пустить. кроме того никак не спасает от ручной кражи текстов. так что не рекомендовал бы ставить этот режим если вы не под ддос атакой или даже уровень параноидальности защиты я всегда ставлю на минимум. ибо скорость влияет на позиции и траф

ну вот я о том же, как сделать в автоматич режиме, чтобы защититься от простых парсеров

[Hector]

blacks, врядли ты сделаешь более эффективное решение, у клауда огромная база

[ali3n]

Сообщение от blacks

ну вот я о том же, как сделать в автоматич режиме, чтобы защититься от простых парсеров

Можешь попробовать фоксисовского антибота, но там отдельно нужно немного заморочиться, если нужно пробрасывать ключевик в переменной на сайт или оригинальный реферер.

[DontCry]

С защитой понятно.
А если УЖЕ произошло с сайтом то же, что и ТС описал. Как сайт обратно теперь вернуть на прежние позиции? Контент полностью менять на сайте? Больше никак?

[Facker]

Сообщение от DontCry

Как сайт обратно теперь вернуть на прежние позиции? Контент полностью менять на сайте? Больше никак?

Контент поменяешь, станешь в топ - его опять спарсят, и опять под сраку улетишь.
Ссылки, траст, решают... Об этом думай в первую очередь, а не о контенте...

[Sekotka]

С трудом себе представляю сайт, который невозможно спарсить нормальным парсером с нормальными проксями.

На моей памяти лишь один - он заставлял каждый 2-й запрос вводить капчу всех подряд пользователей, что, естественно, весьма и весьма отрицательно влияло на лояльность пользователей и ПФ. И то спарсить его было вполне возможно, просто не охота было возиться, т.к. особой ценности сайт не представлял.

Те варианты защиты что вы предлагаете (типа клаудфлейра) помогут только от школьника, который вчера скачал нулленый парсер.

[DontCry]

Сообщение от Facker

Контент поменяешь, станешь в топ - его опять спарсят, и опять под сраку улетишь.
Ссылки, траст, решают... Об этом думай в первую очередь, а не о контенте...

А как думаешь, через какое время вернется в топ после смены контента? Ссылки да, буду наращивать массу...

[Facker]

Сообщение от DontCry

А как думаешь, через какое время вернется в топ после смены контента? Ссылки да, буду наращивать массу...

Дык не факт, что вообще вернется.
Я обычно забиваю на такие домены и не пытаюсь как-то реанимировать.
Делаю новый сайт и редиректом с проблемного сайта подогреваю.

Сообщение от Sekotka

С трудом себе представляю сайт, который невозможно спарсить нормальным парсером с нормальными проксями.
..................... помогут только от школьника, который вчера скачал нулленый парсер.

Согласен на все 100

[DontCry]

[QUOTE=Facker;1201243]

Сообщение от DontCry

Дык не факт, что вообще вернется.
Я обычно забиваю на такие домены и не пытаюсь как-то реанимировать.
Делаю новый сайт и редиректом с проблемного сайта подогреваю.

Жалко сайт. Популярный в своей нише и распиареный разными способами
А новый такой делать не долго, но долго добиваться прежних результатов, прокачивать, делать видимым пользователям...