Возможности низкочастотного обхода алгоритма BERT

[Трафуха]

Привет друзья, хотел бы обсудить Google , безраздельно властвующий там алгоритм BERT и ваши/наши способы обхода его

Берт это алгоритм глубокого обучения поисковых систем, который базируется на технологии обработки естественного языка (НЛП) на основе нейронной сети
Коротенькая справка что такое Bert , только своими словами
Алгоритм анализирует низкочастотный ключевик не словоформу целиком, а разделив на части и проанализировав с помощью алогоритмов нейросетей выдает релевантную выдачу с помощью крупных сайтов , зах*рив нащи дорвейчики

Внимание вопрос: что делать ?
По опыту - дорвеи в приниципе живы и получают кое какой нч-трафик, но не так как раньше
В принципе немного заморочилс, добавил контента спаршенного, сделал автопостинг, кое какие ключи все так берт не затронул
Какой метод предпологается: добавить контента оригинального, оптимизировать под запрос

Внимание вопрос, кто как обходит Берт и есть ли трафик по НЧ ?

[gumu]

Сообщение от Dor

Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)

Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).

Каким образом отдавать ссылки на партнёрки при таком способе генерации?
Статическая ссылка на ТДС с баннера? А если нужно заменить домен, то лопатить тонны hmtl-файлов(пусть не руками, а скриптом - один хрен, это геморрой...)?

[Бздетектив]

Сообщение от gumu

Каким образом отдавать ссылки на партнёрки при таком способе генерации?
Статическая ссылка на ТДС с баннера? А если нужно заменить домен, то лопатить тонны hmtl-файлов(пусть не руками, а скриптом - один хрен, это геморрой...)?

Можно же не html генерить, а php статику с инклудом txt в котором ссылка на партнерку
Можно на дорах ссылаться на домен-прокладку, а с него 302 редирект на домен с тдс

[Dor]

Сообщение от gumu

Каким образом отдавать ссылки на партнёрки при таком способе генерации?
Статическая ссылка на ТДС с баннера? А если нужно заменить домен, то лопатить тонны hmtl-файлов(пусть не руками, а скриптом - один хрен, это геморрой...)?

можно в шаблоне подключить внешний JS файл (несколько файлов в нужных местах) и там выводить рекламу. Править придется в 1 месте тогда.

Сообщение от Бздетектив

Можно же не html генерить, а php статику с инклудом txt в котором ссылка на партнерку

Не уверен, что был бы такой эффект, если сгенерить кучу php файлов , вместо html .
Если дело в http заголовках. Возможно, гугл дает какой то другой вес статике.
Попробовать полностью эмулировать заголовки - то может быть.

Но разница точно была одно время у меня.

Сейчас статику не генерю давно. ничего не могу сказать. Пока динамика лезет как то, со скрипом...

[digg]

Сообщение от Трафуха

Коротенькая справка что такое Bert , только своими словами
Алгоритм анализирует низкочастотный ключевик не словоформу целиком, а разделив на части и проанализировав с помощью алогоритмов нейросетей выдает релевантную выдачу с помощью крупных сайтов , зах*рив нащи дорвейчики

раньше тоже самое было
Bidirectional Encoder Representations from Transformers
https://github.com/google-research/bert
судя по тому, что он по маскам разбирает предложение, возникает вопрос важности и целесообразности использования в тексте точного вхождения нч лонгтейлов

Input: the man went to the [MASK1] . he bought a [MASK2] of milk.
Labels: [MASK1] = store; [MASK2] = gallon

[веломан]

Сообщение от slurp

статика от динамики может отличаться только отдаваемыми хедерами или тем фактом, что страница меняется от запроса к запросу.
Например, проверить хедеры X-Powered-By, Content-Type, Content-Length. Да и статика должна кешироваться, т.е. 304 ответ, E-Tag и т.п.

хедеры ниачом. Самое главное - неизменность контента.
А если, например, сервер отдаёт 304, а гугл видит, что контент отличается от сохранённого, то он сервер запишет в "глюкавые".
Все эти статусы можно руками исправить в исходниках. Как и поведение.

Сообщение от Dor

Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)

Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).

html-файлы можно изменить
статика - это именно контент

[Sleep0ff]

Запускал наделю назад 2 пачки, контент генерится на лету, но в одной страницы отдается при заходе бота или юзера одинаковые всегда, а в другом случает меняется часть контента. Так там где меняется пошел быстро траф, 2 дня все сайты выплюноло.

[slurp]

Сообщение от веломан

хедеры ниачом. Самое главное - неизменность контента.
А если, например, сервер отдаёт 304, а гугл видит, что контент отличается от сохранённого, то он сервер запишет в "глюкавые".
Все эти статусы можно руками исправить в исходниках. Как и поведение.

Ответ был о том, как полностью имитировать статику, чтоб поисковик не имел возможности понять, что она генерится налету. Конечно, главное - неизменность контента.

Сообщение от Dor

Не уверен, что был бы такой эффект, если сгенерить кучу php файлов , вместо html .
Если дело в http заголовках. Возможно, гугл дает какой то другой вес статике.
Попробовать полностью эмулировать заголовки - то может быть.

Но разница точно была одно время у меня.

Сейчас статику не генерю давно. ничего не могу сказать. Пока динамика лезет как то, со скрипом...

возможно, еще влияет время ответа сервера. Динамика дольше генерится. Если используется cloudflare, то статика может им закешироваться, что дополнительно ускорит загрузку страницы

[Dor]

Сообщение от веломан

хедеры ниачом. Самое главное - неизменность контента.
А если, например, сервер отдаёт 304, а гугл видит, что контент отличается от сохранённого, то он сервер запишет в "глюкавые".
Все эти статусы можно руками исправить в исходниках. Как и поведение.

html-файлы можно изменить
статика - это именно контент

Ладно, хер с ней, с терминологией.
вот такая ситуация была:

-на сайт ставился скрипт, который разворачивал дор по заданным кеям.
(при заходе бота на страницу, она генерилась и кешировалась. но контент всегда отдавал пхп скрипт)

-где не работал скрипт(нет пхп, или нельзя открыть урл удаленный из скрипта)
генерились и заливались статические страницы по указанным кеям.

-генератор один и тот же. Был допилен основной дорген. Для генерации и заливки сайта.

Какое то время все было ОК.

Потом было замечено, что там, где залиты статичные html страницы траф есть. А где стоит пхп скрипт - трафа почти нет.

Было решено лить везде статику(хоть и геморно).
Траф вырос.

В чем разница для гугла была - ХЗ. Только в http ответах и заголовках.

Пол года или год работало. А может и более. Уже не помню. Потом гугл что то поменял и статику подкосило.

На данный статику не заливаю. Работает дорген на пхп.

[Sleep0ff]

Dor, да точно такая же ситуация, начинает идти траф, через несколько дней выкидывает страницы из индекса остается 4-6 страниц, при замене шаблона и тематики сайта 20% можно вернуть

[Hector]

Dor, наверное дело не в статике, если ты генерил на лету дор и потом сохранял страницы в кеш - то не вижу никакой разницы. Ты просто генеришь во время первого захода ботом на страницу.