|
| Дата |
|
USD/RUB | 90.2486 | BTC/USD | 68907.0507 |
|
|
|
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
24.09.2019, 14:37
|
#1
|
Senior Member
Регистрация: 26.09.2010
Сообщений: 226
Бабло: $68237
|
Как защититься от парсинга? Результат Панда.
Такая история:
Начали мои сайты потихоньку вылетать с топа (Google USA) по не понятным причинам (были проверены все возможные причины).
Начал анализировать оказывается, что повылетали отдельные страницы. Беру куски текста в кавычки и в Google. И как оказалось, тексты были размещены на десятках сайта и не на просто сайта на ломаных сайтах вордпресса. Мой оригинал внизу или даже в соплях, а весь лом выше. Показатели (траст) ломаных сайтов намного выше моих сайтов.
Дальше смотрю на этих ломах еще траффа на такие страницы валом.
На моих сайтах пострадали (полный вылет с топ 100) только те страницы которые были спарсены.
Проанализировал конкурентов их же также спарсили, и они ушли вниз. В топе остались только супер трасты – тексты, которых также растаскались то они не упали, а стали еще выше.
Так что выходит, берем аукционный трастовый домен и размещаем на нем ворованный текст с топа (слабого сайта который в топе) и получаем топ? (а тот сайт вылетает).
Подозреваю, что на мои сайты пришла постраничная Панда.
Что делать, как в хтаксесе отсекать эти парсеры? Или есть другие варианты?
|
|
|
24.09.2019, 14:53
|
#2
|
Senior Member
Регистрация: 26.04.2014
Сообщений: 9,260
Бабло: $1187275
|
А непонято вообще как
гугл долбоёб
у меня какой-то форум запроксировал и сайт улетел из топа
при этом в реалтайме всё кэшат
Мы, как вариант, будем пробовать менять текст и ip тех сайтов лочить, либо подсети их. Только так потихоньку
__________________
Ахуенный КОНВЕРТ ФАРМЫ WORLDWIDE. забираем свежие инвайты на http://myinvites.xyz/ - Visa + MC. +50% в первую неделю.
|
|
|
24.09.2019, 14:57
|
#3
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Быстрый вариант - прятать за клауд с ддос защитой, большой процент ботов отвалится. Поисковики нормально на это реагируют.
Медленный - банить подсети популярных серверных локаций, либо ручной бан по айпи. Писать софт который анализирует траф и отсекает наглых ботов.
Слать DMCA абузы на сайты которые спарсили. И вообще жалобы в гугл.
Однако против хитрых парсеров с хорошими проксями ничего не сделать увы.
|
|
|
24.09.2019, 15:44
|
#4
|
Senior Member
Регистрация: 23.06.2008
Сообщений: 1,468
Бабло: $282970
|
Цитата:
Сообщение от Hector
Быстрый вариант - прятать за клауд с ддос защитой, большой процент ботов отвалится. Поисковики нормально на это реагируют.
|
подскажи де почитать про это
__________________
продам место для рекламы, контакты в ЛС
|
|
|
24.09.2019, 16:00
|
#5
|
Senior Member
Регистрация: 21.11.2018
Сообщений: 159
Бабло: $23470
|
Цитата:
Сообщение от blacks
Цитата:
Сообщение от Hector
Быстрый вариант - прятать за клауд с ддос защитой, большой процент ботов отвалится. Поисковики нормально на это реагируют.
|
подскажи де почитать про это
|
cloudflare.com - там в хелпе можно почитать
|
|
|
24.09.2019, 17:53
|
#6
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
blacks, просто включаешь i'm under attack, их анализатор на базе JS смотрит браузер юзера и принимает решение.
|
|
|
25.09.2019, 01:54
|
#7
|
Senior Member
Регистрация: 04.12.2013
Сообщений: 785
Бабло: $99230
|
А гугловцы божатся, что научились лучше ранжировать первоисточники
Цитата:
Мы обновили алгоритмы ранжирования и внесли изменения в Руководство для асессоров, чтобы научиться лучше распознавать первоисточники, лучше отображать их в Поиске и обеспечить им более долгое пребывание в выдаче. Это означает, что читатели, интересующиеся последними новостями, могут найти историю, с которой все началось, а создатели оригинального контента получить больше просмотров
|
вот оригинальный пресс-релиз:
Цитата:
Recently, we’ve made ranking updates and published changes to our search rater guidelines to help us better recognize original reporting, surface it more prominently in Search and ensure it stays there longer. This means readers interested in the latest news can find the story that started it all, and publishers can benefit from having their original reporting more widely seen.
|
https://www.blog.google/products/sea...nal-reporting/
|
|
|
25.09.2019, 08:40
|
#8
|
Senior Member
Регистрация: 24.05.2016
Сообщений: 198
Бабло: $21810
|
Как вариант, посмотреть в логах кто парсит и блочить IP адреса через htaccess.
Ботов в логах сразу видно.
Трудоёмкий конечно процесс, но помогает.
Надеяться на то, что гугу пошевелится, вряд ли. На яндексе такие сайты быстро отсекают, а вот гугу, ни гугу.
|
|
|
25.09.2019, 08:55
|
#9
|
Senior Member
Регистрация: 26.04.2014
Сообщений: 9,260
Бабло: $1187275
|
Svift, а что они должны были сказать ? Что обосрались ? Это вообще дикая вещь: чем выше в топе, тем больше проблем
__________________
Ахуенный КОНВЕРТ ФАРМЫ WORLDWIDE. забираем свежие инвайты на http://myinvites.xyz/ - Visa + MC. +50% в первую неделю.
|
|
|
25.09.2019, 12:12
|
#10
|
Senior Member
Регистрация: 23.06.2008
Сообщений: 1,468
Бабло: $282970
|
Цитата:
Сообщение от Hector
blacks, просто включаешь i'm under attack, их анализатор на базе JS смотрит браузер юзера и принимает решение.
|
я думал можно это все в автоматич режиме сделать, или i'm under attack оставить и всё?)
__________________
продам место для рекламы, контакты в ЛС
|
|
|
|