Рассмотрим еще одну программу, которая отлично справляется с автоматизацией процесса парсинга — Datacol. Данная программа была разработана украинскими программистами из г.Токмак Запорожской обл. Написана она на C# и основана на Microsoft .NET Framework 4 . В старых версиях внутри был встроен IE. Работает в многопоточном режиме. Она активно используется многими интернет магазинами для автоматизации процесса наполнения данных о товарах. Проще говоря парсит наименование и данные товаров и заносит в базу интернет магазинов. Программа хорошо задокументирована, на страничке производителя есть обучающие видео как пользоваться ей (youtube).
Одним из больших преимуществ, данной программы, наличие ОГРОМНОГО количества плагинов позволяющих выполнять следующие операции:
- наполнение магазинов (интернет магазины, яндекс маркет, aliexpress, hotline, taobao)
- мониторинг объявлений (сайты объявлений, авито, объявления недвижимости, OLX)
- SEO (wordstat, парсер посещаемости, парсер метатегов и заголовков, google, yandex)
- авто наполнение контентом (блоги, кинопоиск, youtube, парсер новостей)
- поиск контактов (e-mail, яндекс карты, каталоги компаний, социальные сети)
- соц. сети (вконтакте, facebook, одноклассиники, mail.ru, instagram)
Результат работы позволяет сохранять в Excel, MySQL, CMS (Joomla/WordPress/Magento). Как видите программа охватывает довольно множество областей парсинга и выполнения различных задач автоматизации. На текущий момент демо версию можно скачать отсюда . Документацию прочитать здесь.
Как же выглядит программа? Как ей пользоваться? Давайте рассмотрим ее более подробно.
Как видно из приведенной выше картинки, программа разделена на несколько областей:
- Меню
- Дерево кампаний
- Область быстрой настройки
- Таблица работающих кампаний
- Область показа новостей
- Область показа результатов
Удобное меню позволяет быстро выполнить основные операции — запуск, остановка процесса парсинга, добавление плагинов импорт и экспорт и т.д. Меню выполнено в стиле «ленты» MS Office.
Дерево кампаний содержит список специализированных модулей по парсингу конкретной информации или веб ресурса. Например youtube.par позволяет парсить данные с ютуба, wikipendia.par — с сайта википендия. Фактически в них находятся алгоритмы как правильно извлекать данные из соответствующих ресурсов.
Область быстрой настройки служит для быстрого управления кампаний. Таблица работающих кампаний отображает текущие выполняемые кампании, т.е. какие в данный момент запущены модули парсинга.
Область показа новостей, отображает новости с сайта программы. Например выход новой программы, плагинов, реклама официальной группы вконтакте, ссылку на прокси сервера и т.д.
Область показа результатов содержит собственно результат работы кампаний, т.е. модулей по парсингу сайтов.
Цена программы довольно демократичной и на данный момент написания статья составляет — 459р. При таком обширном функционале это небольшая сумма за пользования ею.