Комментарии 15
Очень интересная вещь, надо опробовать ее в бою и сообщить Вам, насколько все это удобно.
Мне как автору будет интересна конструктивная критика или даже предложения по улучшению.
Фреймворк всего-то несколько раз обкатывался на парочке не коммерческих хобби проектах, удовольствия ради.
Фреймворк всего-то несколько раз обкатывался на парочке не коммерческих хобби проектах, удовольствия ради.
Интересная альтернатива Scrapy, спасибо.
Пару вопросов:
1. У вас есть поддержка закачки больших файлов ~ 1-2Gb с сохранением сразу на диск с правильным именем из Content-Disposition? В Scrapy, к сожалению нет, все качает в память перед сохранением.
2. Есть ли обнаружение застрявших соединений и их рестарт? К примеру, было передано 0 байт в течении последних 60 секунд, в Scrapy тоже не реализовано.
Пару вопросов:
1. У вас есть поддержка закачки больших файлов ~ 1-2Gb с сохранением сразу на диск с правильным именем из Content-Disposition? В Scrapy, к сожалению нет, все качает в память перед сохранением.
2. Есть ли обнаружение застрявших соединений и их рестарт? К примеру, было передано 0 байт в течении последних 60 секунд, в Scrapy тоже не реализовано.
У вас есть поддержка закачки больших файлов ~ 1-2Gb с сохранением сразу на диск с правильным именем из Content-Disposition? В Scrapy, к сожалению нет, все качает в память перед сохранением.
Нет, поддержки нет. Делать это придется самому — работать через "поток" и направлять его в файл.
А если есть возможность, то лучше добыть ссылку на файл используя тот же Scrapy или Pomp, а далее фоном качать содержимое через curl/wget/etc отдельно с возможностью "дозакачки".
Есть ли обнаружение застрявших соединений и их рестарт? К примеру, было передано 0 байт в течении последних 60 секунд, в Scrapy тоже не реализовано.
И этого то же нет. Так же это делать нужно самому — ввести таймауты и реализовать очередь задач с логикой рестарта если был таймаут.
А какие-то тесты производительности делали?
Достойный фреймворк, проникся трудом.
Есть вопрос — как прикрутить socks-proxy?
Есть вопрос — как прикрутить socks-proxy?
использовать libcurl для работы с сетью или сразу асинхронную обвязку tornado.httpclient
- использовать обертку типа delegate и переводить любую socks в http и работать уже только с http проксей
О, гран мерси за наводку на tornado с libcurl!
До этого из более-менее нормальных решений встречал (и использовал) https://github.com/polymorphm/lib-socks-proxy. Но curl_httpclient в tornado выглядит гораздо более стройным вариантом.
До этого из более-менее нормальных решений встречал (и использовал) https://github.com/polymorphm/lib-socks-proxy. Но curl_httpclient в tornado выглядит гораздо более стройным вариантом.
Пока я собирался, родился замечательный пакет: aiosocks — https://pypi.python.org/pypi/aiosocks | https://github.com/nibrag/aiosocks
К aiohttp прикручивается на ура.
К aiohttp прикручивается на ура.
Классная штука, мне очень понравилось.
От начинающего программиста отдельное спасибо за рабочие примеры использования в разных вариантах. Очень помогло въехать что к чему и как пользоваться.
От начинающего программиста отдельное спасибо за рабочие примеры использования в разных вариантах. Очень помогло въехать что к чему и как пользоваться.
Спасибо. Работоспособность примеров и не только под контролем drone ci.
Спасибо огромное за статью! Очень интересная методология кластеризации сервисов.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Pomp — метафреймворк для парсинга сайтов