|
| Дата |
|
USD/RUB | 88.4375 | BTC/USD | 67963.3320 |
|
|
|
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве. |
31.07.2014, 10:35
|
Start Post: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
|
Senior Member
Регистрация: 23.10.2007
Сообщений: 258
Бабло: $43299
|
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров
На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки: - Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
- Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
- Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
- Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
- Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера
Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин( Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде( CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка
A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях: - SEO-оптимизация сайтов и Web-аналитика
- Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
- Оценка сайтов и доменов по множеству параметров
- Мониторинг позиции любых сайтов в поисковых системах
- Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
- Отслеживание обратных ссылок
- Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
- Сбор и оценка ключевых слов
- Сбор списка обратных ссылок
- И многое другое
- Web-безопасность
- Сбор и фильтрация баз ссылок по признакам
- Определение CMS сайтов
- Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
- Сетевое администрирование
- Работа с DNS службой - резолвинг доменов в IP адреса
- Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера
A-Parser обладает следующими преимуществами: - Колоссальная производительность
- Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
- Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
- Множественные оптимизации сложных операций
- Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
- Промышленные масштабы
- Парсер разрабатывался с учетом работы с неограниченным размером данных
- Способен обрабатывать сотни миллионов и миллиардов запросов
- Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
- Автономность
- A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
- Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
- Одновременное выполнение нескольких разных задач для скорейшего получения результатов
- Поддержка более 70 парсеров
- Создание собственных пресетов
- Использование регулярных выражений
- Поддержка XPath
- Поддержка многостраничного парсинга
- Проверка контента и наличия следующей страницы
- Создание собственных парсеров
- Быстрая разработка на JavaScript
- Многопоточность и работу с прокси обеспечивает A-Parser
- Распознавание каптчи
- Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
- Поддержка CapMonster и XEvil
- Мощные инструменты для формирования запросов и результатов
- Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
- Подстановки для запросов: из файла; перебор слов, символов и цифр
- Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
- Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
- Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
- Гибкость настроек
- В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
- Настроить можно все - никаких рамок и ограничений
- Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
- Сетевые возможности
- Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
- Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
- Полностью асинхронная работа с сетью, включая работу с DNS
- API
- Возможность интегрировать и управлять парсером из своих программ и скриптов
- Полная автоматизация бизнес-процессов
- Клиенты для PHP, Perl, Python и NodeJS
- Постоянные улучшения и исправления
- Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
- С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
- A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
- Техническая поддержка
- Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
- Создана подробная документация по A-Parser'у, открыт форум для пользователей
- Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
- Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
Более подробно ознакомится с возможностями парсера можно в полноценной документации
A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:
Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку
Последний раз редактировалось admin; 10.05.2017 в 18:11.
Причина: по посьбе ТС
|
|
|
25.09.2014, 18:26
|
#22
|
Senior Member
Регистрация: 26.09.2008
Сообщений: 3,957
Бабло: $504649
|
Цитата:
Сообщение от 8bitcat
а что означают ограничения 20 потоков на 2 недели, 50 потоков на месяц?
|
Прокси которые идут бонусом.
|
|
|
25.09.2014, 22:12
|
#23
|
Senior Member
Регистрация: 23.10.2007
Сообщений: 258
Бабло: $43299
ТС -->
|
ТС
Цитата:
Сообщение от 8bitcat
а что означают ограничения 20 потоков на 2 недели, 50 потоков на месяц?
|
Это не ограничения, это тарифы прокси, которые идут в подарок при покупке парсера
Цитата:
Сообщение от sydoow
Прокси которые идут бонусом.
|
+1
|
|
|
26.09.2014, 11:25
|
#24
|
Senior Member
Регистрация: 28.09.2013
Сообщений: 510
Бабло: $74655
|
Подскажите, кто оказывает услуги по апарсеру?
Нужны чеки некоторых параметров
|
|
|
26.09.2014, 12:46
|
#25
|
Senior Member
Регистрация: 08.04.2011
Сообщений: 642
Бабло: $147264
|
Я могу. Пиши в личку
__________________
здесь могла быть ваша реклама
|
|
|
29.09.2014, 09:54
|
#26
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
Этот пост начинает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга
Определяем CMS для 1000000 доменов за 15 часов
В примере рассказано как определить используемый движок у сайтов из базы Алексы топ-миллион, результат автоматически сортируется по файлам с названием CMS. Также дан пример как увеличить скорость обработки и проверить 1 миллион доменов всего за 2 часа
Немного статистики: - Скорость парсинга составила 1100 доменов в минуту
- Всего определились 301841 из 1000000 доменов как использующие на своей главной странице одну из популярных CMS, форумов или Wiki
- Определено 126 различных CMS
- Топ 10 самых популярных CMS, первое значение определяет количество доменов:
Код:
209855 WordPress
23732 Joomla
22945 Drupal
6488 TYPO3 CMS
4917 vBulletin
3726 1C-Bitrix
2515 phpBB
2415 ExpressionEngine
2022 DataLife Engine
1928 Microsoft SharePoint
Читать целиком »
Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут
Проверяем словарь Даля на частотность запросов в Яндексе используя парсер SE::Yandex::WordStat, скорость парсинга составила 3000 слов в минуту без использования каптчи! Результат сохраняется в 2 разных файла - в первом статистика по исходным запросам, во втором - все новые ключевые слова из левой и правой колонки Вордстата
Немного статистики: - Парсинг 115390 ключевых слов занял всего 40 минут
- 80208 слов из 115390 имеют ненулевую статистику в Вордстате
- Общее число показов всех слов составляет 20001443927, ~20 миллиардов в месяц
- Дополнительно спаршено 1143045 новых ключевых слов с общим числом показов ~36 миллиардов в месяц
Читать целиком »
Создаем парсер VKontakte обрабатывающий 14000 анкет в минуту
В примере показывается как с помощью парсера Net::HTTP и регулярных выражений можно создать парсеры почти любых сайтов и сервисов, например VKonktake
Пример разделен на 2 части: - Сбор ссылок на анкеты из результатов поиска
- Обработка анкет - парсинг полей "Родной город", "Семейное положение" и "Время захода на анкету"
В результате получаем файл с примерно следующим содержимым:
Код:
http://vk.com/id1492 - none - none - none
http://vk.com/id1485 - п. Сиверский - всё сложно - заходил 15 сентября в 1:34
http://vk.com/id1489 - Ленинград - none - Online
http://vk.com/id1481 - Санкт-Петербург - none - заходила 48 минут назад
http://vk.com/id1482 - град Поднебесный - не женат - Online
http://vk.com/id1493 - none - none - none
Читать целиком »
|
|
|
14.10.2014, 11:52
|
#27
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
A-Parser - версия 1.1.86 - поддержка многоядерной обработки и фильтрации результатов
В данной версии добавлена поддержка обработки и фильтрации результатов(Parse custom result, Конструкторы результатов и фильтры) на многоядерных процессорах, что в несколько раз увеличивает скорость парсинга при использовании "тяжелых" регулярных выражений, например скорость сбора email адресов со страниц достигает 10000 ссылок в минуту при 2000 потоках(при этом A-Parser обрабатывает поток 130 мбит\с gzip-сжатых данных)
Другие улучшения- Добавлена возможность указать сразу несколько форматов для запроса, что позволяет комбинировать множество вариантов подстановок для одних и тех же запросов в одном задании
- Добавлена возможность использовать формат запроса на всех уровнях вложенного парсинга, например при парсинге ключевых слов с подсказок Google подстановки будут добавляться так же и для новых найденных ключевых слов(как и для исходных запросов)
- Для парсера SE::Yandex добавлена возможность парсить не персонализированную выдачу, что позволяет более точно снимать позиции сайтов
- В парсере Net::HTTP опция Check next page теперь поддерживает захват следующей ссылки для перехода, она будет использоваться если не указана опция Use pages
Исправления- В некоторых случаях могли неверно обрабатываться страницы большого размера с сжатием gzip
- Парсер Net::Whois не работал без использования прокси, ошибка появилась в предыдущей версии
- В конструкторе результатов, при использовании замены по регулярному выражению, некорректно обрабатывалась замена переменных $1 $2...
- Парсер мог упасть при использовании одинаковой базы Keep unique в двух одновременно работающих заданиях
|
|
|
29.10.2014, 09:58
|
#28
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
A-Parser - 1.1.108 - улучшения паука сбора ссылок, множество исправлений
Улучшения парсера HTML::LinkExtractor- Добавлена опция Follow links позволяющая выбрать порядок следования по ссылкам: только по внутренним, по внутренним и внешним, только по внешним
- Добавлен массив результатов $followlinks, который содержит ссылки для последующего перехода, над этим массивом можно применять фильтры и конструкторы результатов, что позволяет переходить только по определенным ссылкам(например только по топикам форумов)
- Добавлена корректная обработка тега <base href=
Другие улучшения- Теперь парсер автоматически определяет кодировку по содержимому страницы, если другие методы не дали результатов. В случае если кодировку определить не удается и она не является корректной с точки зрения UTF-8 то содержимое страницы становится недоступным для обработки. Данное улучшение призвано исправить редкие проблемы когда файл результата A-Parser'а невозможно использовать в качестве запросов, т.к. файл мог содержать некорректную кодировку
- При парсинге рекламы в SE::Google теперь дополнительно парсится видимая ссылка на сайт
Исправления- Исправлен парсер SE::Yandex в связи с изменением в выдачи
- На платформе Windows при закрытии приложения парсера возникала ошибка
- В парсере Net::Whois не был доступен исходный результат $data для пользовательской обработки
- В парсере SE::Yandex была ошибка в получении каптчи если в запросе содержалась скобка
- Результат $query мог быть изменен некоторыми парсерами
- Парсер Rank::OpenSiteExplorer исправлен в связи с изменением в выдачи
- Добавлен запрет на изменение результатов с зарезервированными именами($query, $info)
- При использовании нескольких конструкторов результатов невозможно было выбрать новые результаты для обработки
|
|
|
29.10.2014, 10:49
|
#29
|
Senior Member
Регистрация: 08.10.2009
Сообщений: 792
Бабло: $157765
|
купил апарсер, теперь не понимаю, как я раньше жил без него )
|
|
|
30.10.2014, 03:22
|
#30
|
Senior Member
Регистрация: 18.09.2011
Сообщений: 329
Бабло: $121160
|
Серьезный продукт, пользуюсь и вам советую!
|
|
|
30.10.2014, 20:14
|
#31
|
Senior Member
Регистрация: 04.09.2007
Сообщений: 1,261
Бабло: $254000
|
парсер - говно, пережарил мне кофе и мало перевел wmz за прошлый месяц
__________________
Апарсер охрененен
|
|
|
|