Apache Airflow: преимущества и недостатки

[astentx]

TaskFlow API это не программная генерация структуры дага, а возможность писать флоу в виде вызовов Python-функций как обычный код вместо декларативного и многословного "рисования стрелочек" с передачей параметров откуда-то сбоку: Airflow при этом сам генерирует DAG из этих простых вызовов, делает XCom.push/pull.

А вот насчёт GUI не сказать, что очень продвинутый. Создавать задания там нельзя, только смотреть. Причем в версиях после 2.5 ветвистый граф на десятки задач с несбалансированным ветками рисуется некрасиво. Фильтрации задач по имени и тегирования тасков в графе нет, только подсветка. Обычный листинг всех дагов с тегами и фильтрами, никакой структуры хранения дагов ввести нельзя. Но вообще GUI постоянно дорабатывают и добавляют новые фичи.

[ptr128]

Он DAG умеет уже в БД хранить?

[PB_Academy]

Добрый день, нет в Apache Airflow DAGи не сохраняются в базе данных напрямую. Вместо этого, информация о DAGах (имена, расписания, зависимости и т. д.) хранится в базе данных Metastore, а код самого DAG хранится в файлах Python на сервере Airflow.

[ptr128]

В том то и проблема. В БД можно было было обновить несколько DAG-ов в одной транзакции.