Комментарии 8
"Ничего не понятно, но очень интересно"
Правильно ли я понял, что вы в условной первой таске в DAGe выполняете всю свою магию и потом передаете в остальные через XCom/XСomArg?
Если единожды требуется запустить DAG со специфическими параметрами, то в Airflow предусмотрена возможность «Запуск DAGа с параметрами».
Тогда Вас может неприятно удивить Airflow 2.7+
Правильно ли я понял, что вы в условной первой таске в DAGe выполняете всю свою магию и потом передаете в остальные через XCom/XСomArg?
можно и так сделать, в конечном итоге магия влияет на значения конкретной(-ых) переменной конкретного таска. Что будет происходить дальше с этими переменными и их значениями ложиться в стандартный поток выполнения python-функции и как следствие, самого таска.
Мою магию можно вызвать в любом таске DAGа, не обязательно первом, и в зависимости от содержимого словаря dag_run.conf, значения конкретных переменных, внутри этого таска будут модифицированы согласно описанных в статье правил работы функции vars_from. То есть можно задать одинаковые по названиям переменные в разных тасках DAGа и они все во всех тасках при запуске, будут подвергнуты модификации. Не представлю, сходу, для чего такое может быть нужно, но факт, так можно сделать.
Тогда Вас может неприятно удивить Airflow 2.7+
Прочитал пока только по диагонали, но кажется что там нет ничего что может неприятно удивить... Вроде бы речь про стандартизацию типов данных для этой JSON-структуры которую можно отправить как dag_conf словарь. Про то что данные можно отправлять не в виде абсолютно произвольного словаря с чем попало, а ограничить их определенным набором который считает правильным разработчик DAGа, плюс всё это заворачивается в удобную визуальную форму
Куда информатику дели, или что там было до этого безумия с питоном?
Эластичный DAG или «гнём, где не гнулось»