Airflow в Kubernetes. Часть 1

[rebel_web]

Сейчас все обсуждают как съехать с Airflow на Prefect или Dagster. Статья интересная если учишься на data engineer но надо и на более современные вещи смотреть.

[Taragolis]

Прям все-все-все-все? Просто статистика скачиваний говорит немного о другом:

• Apache Airflow

• Prefect

• Dagster

Ни в коем случае это не умоляет другие решения отличные от Airflow, но не стоит выдавать желаемое за действительное.

[ShtihKot]

Пробовали . Worker и server текут нещадно. Последние версии не спасают. А уж если разработка взялась за модификацию образов, то воркера 8 cpu и 16 ram на один зуб. Съехали в композер в итоге. Кластер выдохнул. На практике так.

[SiplatovKirill]

Странно, смотрю по веб-серверу график по RAM за 3 месяца, утечки не видно. Под сотню DAG там крутится.

[dmlogv]

Спасибо за статью! Очень помогла тем, кто хорошо знаком с Airflow, и совсем не так хорошо — с k8s (т. е. мне).

Планируете продолжение? Хотелось бы увидеть разбор как раз официального чарта.

[SiplatovKirill]

Спасибо! Да, продолжение планирую. Думаю закрыть темы, на которые обратил внимание в заключении.

[Peter383]

Киррил, спасибо Вам за Вашу статью про развертывание Airflow в кубике.

У меня вопрос: Девопсы в нашей компании готовы развернуть airflow в
кубернетис, однако спрашивают меня рекомендации по ресурсам для пода. Вы
можете порекомендовать оптимальные настройки для пода?

Понимаю, что это зависит от железа и задач, но все-таки, есть какие-то
минимальные требования к ресурсам при развертывании airflow в
кубернетис?

[SiplatovKirill]

Спасибо. У нас на разных нодах workersи вся остальная инфраструктура (webserver, scheduler, redis...). Для инфраструктурной ноды нам хватает 4 CPU и 8 RAM (думаю, даже 6 хватит).Для worker такие же параметры, но тут сильно зависит от выполняемых тасок. Думаю, можно с этих параметров начать, а дальше уже тюнить.