Аренда блока IP для парсинга Google.

[Gimly]

Кто брал, посоветуйте, плз, какие таймауты ставить, что бы весь блок не ушел в бан. Ну и вобще какие ньюансы учесть, и заодно, может продавца проверенного. Парсить а-парсером буду. Для начал хочу взять 1 блок, 256 ip.

[Dendi]

Сообщение от Matt Cutts

Парсить сегодня надо тем, что умеет хоть как-то разгадывать гуглокапчу (Xevil и Capmonster). А так проксей не напасешься, конечно.

Вообще, самый дельный совет имхо - это не парсить гугл вообще , а что-нибудь другое.

Сильно ты капчамонстром щас наразгадуешь)) после того как убрали ассоциации, стало очень долго гадать

[Matt Cutts]

Значит, xevil на данный момент остается.

[CyberCrime]

Сообщение от Matt Cutts

Значит, xevil на данный момент остается.

Ага конечно! Пока нет подключений стороннего софта, а так же новая рекапча не гадается... Слышал звон, а не знаешь где он.

После выдачи определенного ко-ва капчи твой ip будет забанен и не важно сколько у тебя их. Парсить надо клоны гугла и не как не иначе, это если сутками. Если не долго то можно и на соксах пабликовых попарсить сам гугл.


Не пойму чем не устраивает тот же hrefer которым на паблик соксах можно выпарсить более 1кк уникальных доменов без особого гемороя?

[noobest]

Сообщение от CyberCrime

После выдачи определенного ко-ва капчи твой ip будет забанен и не важно сколько у тебя их.

паршу гугл в 20 потоков с 1 ип сутками и норм. вот сейчас парсинг идет уже 2 дня на 1 ип, посмотрим когда забанит полностью.

[vipuncle]

парсить google\bing images
потом уже сам google - не плохо идет через вингейт прокси

[Gimly]

Сообщение от CyberCrime

Не пойму чем не устраивает тот же hrefer которым на паблик соксах можно выпарсить более 1кк уникальных доменов без особого гемороя?

не думаю что hrefer лучше чем a-parser, и мне нужны большие объемы еждневно, 1кк запросов а не доменов.