Pomp — метафреймворк для парсинга сайтов

[swpo]

Очень интересная вещь, надо опробовать ее в бою и сообщить Вам, насколько все это удобно.

[estin]

Мне как автору будет интересна конструктивная критика или даже предложения по улучшению.
Фреймворк всего-то несколько раз обкатывался на парочке не коммерческих хобби проектах, удовольствия ради.

[nordaux]

Интересная альтернатива Scrapy, спасибо.
Пару вопросов:
1. У вас есть поддержка закачки больших файлов ~ 1-2Gb с сохранением сразу на диск с правильным именем из Content-Disposition? В Scrapy, к сожалению нет, все качает в память перед сохранением.
2. Есть ли обнаружение застрявших соединений и их рестарт? К примеру, было передано 0 байт в течении последних 60 секунд, в Scrapy тоже не реализовано.

[estin]

У вас есть поддержка закачки больших файлов ~ 1-2Gb с сохранением сразу на диск с правильным именем из Content-Disposition? В Scrapy, к сожалению нет, все качает в память перед сохранением.

Нет, поддержки нет. Делать это придется самому — работать через "поток" и направлять его в файл.

А если есть возможность, то лучше добыть ссылку на файл используя тот же Scrapy или Pomp, а далее фоном качать содержимое через curl/wget/etc отдельно с возможностью "дозакачки".

Есть ли обнаружение застрявших соединений и их рестарт? К примеру, было передано 0 байт в течении последних 60 секунд, в Scrapy тоже не реализовано.

И этого то же нет. Так же это делать нужно самому — ввести таймауты и реализовать очередь задач с логикой рестарта если был таймаут.

[icoz]

А какие-то тесты производительности делали?

[estin]

Нет. Не с чем сравнить, так как работа с сетью может быть любая и разбор контента может быть любой, а как раз эти два компонента и отъедают больший кусок. Как вариант реализовать на Pomp подобие какого нибудь мейнстримного фреймворка и сравнить с ним, но идея сомнительная.

[otetz]

Достойный фреймворк, проникся трудом.
Есть вопрос — как прикрутить socks-proxy?

[estin]

• использовать libcurl для работы с сетью или сразу асинхронную обвязку tornado.httpclient

  
  
• использовать обертку типа delegate и переводить любую socks в http и работать уже только с http проксей

[otetz]

О, гран мерси за наводку на tornado с libcurl!
До этого из более-менее нормальных решений встречал (и использовал) https://github.com/polymorphm/lib-socks-proxy. Но curl_httpclient в tornado выглядит гораздо более стройным вариантом.

[otetz]

Пока я собирался, родился замечательный пакет: aiosocks — https://pypi.python.org/pypi/aiosocks | https://github.com/nibrag/aiosocks
К aiohttp прикручивается на ура.

[estin]

Это просто прекрасно! Спасибо за новость!
У вас случаем нативной реализации http/2 для asyncio не завалялось?

[otetz]

Не, пока не попадалось.
Быстрое гугление дает только aioh2 — https://aioh2.readthedocs.io/en/latest/readme.html Но думаю оно уже явно известно…

[warner]

Классная штука, мне очень понравилось.
От начинающего программиста отдельное спасибо за рабочие примеры использования в разных вариантах. Очень помогло въехать что к чему и как пользоваться.

[estin]

Спасибо. Работоспособность примеров и не только под контролем drone ci.

[nsuvorov]

Спасибо огромное за статью! Очень интересная методология кластеризации сервисов.