|
| Дата |
|
USD/RUB | 88.6852 | BTC/USD | 67794.8860 |
|
|
|
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве. |
31.07.2014, 10:35
|
Start Post: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
|
Senior Member
Регистрация: 23.10.2007
Сообщений: 258
Бабло: $43299
|
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров
На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки: - Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
- Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
- Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
- Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
- Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера
Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин( Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде( CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка
A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях: - SEO-оптимизация сайтов и Web-аналитика
- Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
- Оценка сайтов и доменов по множеству параметров
- Мониторинг позиции любых сайтов в поисковых системах
- Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
- Отслеживание обратных ссылок
- Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
- Сбор и оценка ключевых слов
- Сбор списка обратных ссылок
- И многое другое
- Web-безопасность
- Сбор и фильтрация баз ссылок по признакам
- Определение CMS сайтов
- Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
- Сетевое администрирование
- Работа с DNS службой - резолвинг доменов в IP адреса
- Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера
A-Parser обладает следующими преимуществами: - Колоссальная производительность
- Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
- Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
- Множественные оптимизации сложных операций
- Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
- Промышленные масштабы
- Парсер разрабатывался с учетом работы с неограниченным размером данных
- Способен обрабатывать сотни миллионов и миллиардов запросов
- Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
- Автономность
- A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
- Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
- Одновременное выполнение нескольких разных задач для скорейшего получения результатов
- Поддержка более 70 парсеров
- Создание собственных пресетов
- Использование регулярных выражений
- Поддержка XPath
- Поддержка многостраничного парсинга
- Проверка контента и наличия следующей страницы
- Создание собственных парсеров
- Быстрая разработка на JavaScript
- Многопоточность и работу с прокси обеспечивает A-Parser
- Распознавание каптчи
- Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
- Поддержка CapMonster и XEvil
- Мощные инструменты для формирования запросов и результатов
- Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
- Подстановки для запросов: из файла; перебор слов, символов и цифр
- Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
- Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
- Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
- Гибкость настроек
- В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
- Настроить можно все - никаких рамок и ограничений
- Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
- Сетевые возможности
- Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
- Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
- Полностью асинхронная работа с сетью, включая работу с DNS
- API
- Возможность интегрировать и управлять парсером из своих программ и скриптов
- Полная автоматизация бизнес-процессов
- Клиенты для PHP, Perl, Python и NodeJS
- Постоянные улучшения и исправления
- Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
- С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
- A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
- Техническая поддержка
- Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
- Создана подробная документация по A-Parser'у, открыт форум для пользователей
- Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
- Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
Более подробно ознакомится с возможностями парсера можно в полноценной документации
A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:
Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку
Последний раз редактировалось admin; 10.05.2017 в 18:11.
Причина: по посьбе ТС
|
|
|
11.03.2024, 13:39
|
#424
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser
62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.
ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.
Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.
Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Все сборники рецептов
|
|
|
21.03.2024, 14:35
|
#425
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
Обновленные пресеты в каталоге A-Parser
Обновление пресетов в Каталоге примеров A-Parser
Парсер корейского поисковика Daum.net
Парсер собирает данные (ссылки, анкоры, сниппеты и связанные ключевые слова) из поисковой выдачи корейской поисковой системы daum.net. - Парсер переписан на TypeScript (JS APIv2)
- Обновлены регулярные выражения, исправлена работа в целом
- Убран totalcount, т.е. его больше нету в выдаче
Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сбор истории IP-адресов по домену и других веб-сайтов, которые имеют общие IP-адреса с искомым доменом. - Убрана опция разгадывания капчи, т.к. теперь данные видны после авторизации и капчи там не видно
- Добавлена авторизация по логину и паролю
Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com. Собираемые данные: частотность, стоимость клика, конкуренция, сложность, списки похожих ключевых слов, связанных ключевых слов, вопросов и ссылок органического трафика. В настройках доступен выбор источника (страна и поисковая система). - Исправлена работа с каптчей
- Добавлена проверка выбора пресета Util::ReCaptcha2
- Небольшая оптимизация кода
Оценка страниц с использованием Lighthouse
Оценка производительности, доступности и оптимизации веб-страниц с использованием Lighthouse. В качестве источника используется сайт web.dev. - Адаптация к изменениям на источнике
Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
|
|
|
11.04.2024, 16:45
|
#427
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends
63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.
Конвертация Youtube видео в HTML страницы
Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.
Парсер картинок с Шедеврум с дополнительными данными
Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, promptы по которым генерировались эти картинки, описание и т.д.
Парсер Pinterest Trends
Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Все сборники рецептов
|
|
|
22.04.2024, 15:59
|
#428
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
Обновленные пресеты в каталоге A-Parser
Обновление пресетов в Каталоге примеров A-Parser
Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации. - Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
- Изображение теперь доступно в переменной $data
Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market. - Исправлен парсинг
- Парсер переписан на TS (API v2)
- Добавлена возможность указания количества страниц парсинга
Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга. - Исправлен сбор всех результатов
- Адаптация к изменениям на источнике
JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов. - Парсер переписан на TypeScript API v2
Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар. - Адаптация к изменениям на источнике
- $delivery теперь массив
- $formattedQuery был удален
- Вместо $html исходный код страницы сохраняется в $data
Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!
|
|
|
02.05.2024, 17:44
|
#429
|
Senior Member
Регистрация: 30.05.2013
Сообщений: 286
Бабло: $32515
|
Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google
Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.
Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.
Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.
Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Все сборники статей
|
|
|
|