15 топовых веб скрапинг решений 2021 года

[nikkadim]

Спасибо!!!

[drxim]

sbfactory.ru отечественный инструмент

[Hidadmin]

16-е: BatchURLScraper — бесплатное решение для относительно несложных повседневных задач скрейпинга

[leha_gorbunov]

Спасибо за статью. Добавлю в закладки.
Люблю всякие базы данных собирать и анализировать.

[t38c3j]

Подкиньте пожалуйста не облачные варианты и которые больше для разработчиков и желательно с открытым кодом. Меня к примеру интересует парсер с моделью издатель-потребитель, с ротацией айпи, настраиваемым воркфлоу, горизонтальным масштабированием потребителей. Я как-то искал но ничего не нашёл годного, сейчас пилю свой велосипед.

[AlanKaye]

Только самому писать. Все эти облачные решения заточены на то, чтобы вы пришли, оно не заработало на чуть чуть сложноватом сайте, и вы им понесли тысячи золота за кастом-решение. И потом ещё по доллару за 100 строк данных.

[dimuska139]

Scrapy не годится? Довольно кастомизируемая вещь. Вот, например, ротация прокси.

[Viktor_T2]

А цены?

[MikeKle]

Хорошо бы цены сравнить. Так то оно конечно здорово, но какие-то запредельные тарифы что у люминати, что у октопарсера.
Остальных не смотрел, для моих целей просто набора проксей с небольшим приложением оказалось достаточно.

[AntonLbn]

А что насчет аймакрос? Кто-нибудь может подсказать, есть ли существенные отличия аймакроса от упомянутых в статье инструментов?

[tuslo]

Представляем вашему вниманию список топ 15 инструментов для парсинга 2021 года.

Подскажите, а кто вы? Какие (насколько сложные) задачи вы пробовали решить этими инструментами? По каким критериями сформировался топ?