Comments 8
Сейчас все обсуждают как съехать с Airflow на Prefect или Dagster. Статья интересная если учишься на data engineer но надо и на более современные вещи смотреть.
Пробовали . Worker и server текут нещадно. Последние версии не спасают. А уж если разработка взялась за модификацию образов, то воркера 8 cpu и 16 ram на один зуб. Съехали в композер в итоге. Кластер выдохнул. На практике так.
Спасибо за статью! Очень помогла тем, кто хорошо знаком с Airflow, и совсем не так хорошо — с k8s (т. е. мне).
Планируете продолжение? Хотелось бы увидеть разбор как раз официального чарта.
Киррил, спасибо Вам за Вашу статью про развертывание Airflow в кубике.
У меня вопрос: Девопсы в нашей компании готовы развернуть airflow в
кубернетис, однако спрашивают меня рекомендации по ресурсам для пода. Вы
можете порекомендовать оптимальные настройки для пода?
Понимаю, что это зависит от железа и задач, но все-таки, есть какие-то
минимальные требования к ресурсам при развертывании airflow в
кубернетис?
Спасибо. У нас на разных нодах workersи вся остальная инфраструктура (webserver, scheduler, redis...). Для инфраструктурной ноды нам хватает 4 CPU и 8 RAM (думаю, даже 6 хватит).Для worker такие же параметры, но тут сильно зависит от выполняемых тасок. Думаю, можно с этих параметров начать, а дальше уже тюнить.
Airflow в Kubernetes. Часть 1