Как отчекать 100 млн. доменов на CMS? - Форум успешных вебмастеров

the4gamblers · 21.07.2015, 07:33

Сила гофака подскажи чем можно отчекать 100 милионов доменов на движки, форумы блоги и etc
aparser не предлогать всего 10 лямов только на wp блоги уже 3 день чекает, медленно в общем

Strikelol · 21.07.2015, 10:00

По идее дело в наличии ресурсов для чека. Закажи на си(или выясни че там еще быстрей будет работать) себе скрипт. Признаки например в файле настроек рядом со скриптом пусть будут. Дальше разнесешь по машинам, разобьешь списки доменов(если нужно) и вперёд.

masolit · 21.07.2015, 10:22

какой скрипт на си бля )) тут дело не в языке, тут все уперается на резолвинг днс, а парсинг контента это ерунда, да и чекать надо не только по контенту, а и по хеадерам и по кукис и не на один движок, а сразу на все какие нужны.

пс: развелось хекеров бля )

Matt Cutts · 21.07.2015, 11:32

Цитата:

Сообщение от masolit

какой скрипт на си бля )) тут дело не в языке, тут все уперается на резолвинг днс

+100 Язык не играет роли, python прекрасно справится, но через ~400.000 запросов куку. Может и дольше, по-разному.

Короче, 100м долго будешь чекать

Ну либо как-то хитрить, писать модули для бнета (который должен быть в наличии), чтобы распределить нагрузку.

gosu · 21.07.2015, 11:43

140 лямов отчекал на все известные цмс в модуле апарсера.
2 месяца 2 сервера каждый в 2к потоков.

masolit · 21.07.2015, 11:46

Цитата:

Сообщение от gosu

2к потоков.

это зря ибо процентов 70% просто помрет по таймауту

gosu · 21.07.2015, 11:49

Цитата:

Сообщение от masolit

это зря ибо процентов 70% просто помрет по таймауту

делалось по 3 попытки на каждый. Если не раздуплялся 66.
Если судить по базе вп, то всё очень радужно.
12 собралась, после ката со всеми паблик базами, получилось 17к до и 14 после чека.