Airflow 3 is Coming

[eigrad]

Два года как перешёл на Dagster. Airflow можно закапывать.

[sann05]

Ну конечно, у Dagster же вообще проблем нету

[Owleyeinnose]

Зачем тащить версионирование в аф, если есть гитхаб/гитлаб, код же хранится изначально там. И синк отлично делается через джобы с нужной версией кода.

[sann05]

Речь про версионирование DAG. Когда у вас DAG работал какое-то время на одном кода, а потом, его поменяли, то изменения применяются на все DAG Run, как будто предыдущей версии не было

[pustoshilov_d]

У меня в компании жёсткая привязка к Slurm-кластеру, пришлось писать кастомный Executor. Но буквально каждое минорное обновление AF его ломает... Надеюсь, обещанная мультиязычность поможет сделать это проще

Хотелось бы ещё встроенный мониторинг ресурсов таски, чтобы оптимизировать GPU, RAM, CPU выдаваемые. Но, кажется, для остальных юзеров AF это неактуально, буду кастомить

Насчёт ближе всего к стандарту согласен, хотя есть развивающийся NextFlow, который лучше для нас закрывает вычислительные запросы (Slurm, Singularity, языки тасок), но хуже UX/оркестрационные

[prokhorovxo]

Интересный взгляд на развитие Airflow! Согласен, что в версии 3.0 ещё не хватает некоторых ключевых функций, чтобы стать настоящим индустриальным стандартом, особенно версионирования DAG-ов. Эта фича давно востребована сообществом, и её отсутствие действительно сдерживает удобство использования. Надеюсь, в будущем эти пробелы будут устранены!