Обновить
4K+
3
RTF_LABS_STUDIO@Dark_bear

Исследовательская группа

1,5
Рейтинг
1
Подписчики
Отправить сообщение

Как мы форкнули undetected-chromedriver и добавили SOCKS5, мультипроцессинг и модуль капчи

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели14K

Устали от блокировок CloudFlare и капч? Показываю библиотеку rtfox-browser — готовое решение для автоматизации Chrome с прокси и решением капчи «из коробки». Установка, настройка, примеры кода и создание своих солверов.

Читать далее

Надоел Celery? Не нужен K8s? Как мы сделали легковесный оркестратор на Python

Время на прочтение4 мин
Охват и читатели8.8K

Привет, Хабр!

Если вы когда-нибудь сталкивались с задачей запуска сотен изолированных фоновых процессов на одном сервере (будь то парсеры для клиентов, торговые боты или обработчики данных в SaaS), то вы знаете, как быстро всё усложняется.

Можно, конечно, вручную поднимать Docker-контейнеры и писать костыли для мониторинга. Можно развернуть полноценный Kubernetes, но для одной ноды это часто — оверкилл, требующий отдельного администратора. Можно использовать Celery, но он управляет задачами, а не контейнерами, и изоляция на уровне процессов — это не тоже самое, что изоляция на уровне контейнеров.

Мы столкнулись с этой болью и написали инструмент, который закрывает этот пробел. Встречайте: RedTailFox — легковесный оркестратор на Python, который управляет Docker-контейнерами с вашими воркерами на одном сервере. Он сам решает, когда поднять новый контейнер, сам следит за здоровьем слотов и сам себя чинит.

Читать далее

Информация

В рейтинге
1 913-й
Зарегистрирован
Активность

Специализация

Бэкенд разработчик
Git
SQL
Python
Docker
Redis