спасибо большое! это очень приятно :о) вообще идея интересная конечно.. графоманить издавна хотелось)) но в перечисленном мейнстриме не разбираюс) надо придумать свой жанр и бахать)
О наличии, и причинах отказа от InformaticaPowerCenter ничего сообщить не смогу. Факта наличия этого ПО у нас не застал, и кажется что его у нас не используют - ни разу не слышал о его применении..
Прочитал пока только по диагонали, но кажется что там нет ничего что может неприятно удивить... Вроде бы речь про стандартизацию типов данных для этой JSON-структуры которую можно отправить как dag_conf словарь. Про то что данные можно отправлять не в виде абсолютно произвольного словаря с чем попало, а ограничить их определенным набором который считает правильным разработчик DAGа, плюс всё это заворачивается в удобную визуальную форму
Правильно ли я понял, что вы в условной первой таске в DAGe выполняете всю свою магию и потом передаете в остальные через XCom/XСomArg?
можно и так сделать, в конечном итоге магия влияет на значения конкретной(-ых) переменной конкретного таска. Что будет происходить дальше с этими переменными и их значениями ложиться в стандартный поток выполнения python-функции и как следствие, самого таска.
Мою магию можно вызвать в любом таске DAGа, не обязательно первом, и в зависимости от содержимого словаря dag_run.conf, значения конкретных переменных, внутри этого таска будут модифицированы согласно описанных в статье правил работы функции vars_from. То есть можно задать одинаковые по названиям переменные в разных тасках DAGа и они все во всех тасках при запуске, будут подвергнуты модификации. Не представлю, сходу, для чего такое может быть нужно, но факт, так можно сделать.
спасибо большое! это очень приятно :о) вообще идея интересная конечно.. графоманить издавна хотелось)) но в перечисленном мейнстриме не разбираюс) надо придумать свой жанр и бахать)
О наличии, и причинах отказа от Informatica PowerCenter ничего сообщить не смогу. Факта наличия этого ПО у нас не застал, и кажется что его у нас не используют - ни разу не слышал о его применении..
Насчет школы, это была неудачная попытка пошутить
как и раньше, информатику отправили в школу, в начальные классы грядущим поколениям )))
Прочитал пока только по диагонали, но кажется что там нет ничего что может неприятно удивить... Вроде бы речь про стандартизацию типов данных для этой JSON-структуры которую можно отправить как dag_conf словарь. Про то что данные можно отправлять не в виде абсолютно произвольного словаря с чем попало, а ограничить их определенным набором который считает правильным разработчик DAGа, плюс всё это заворачивается в удобную визуальную форму
можно и так сделать, в конечном итоге магия влияет на значения конкретной(-ых) переменной конкретного таска. Что будет происходить дальше с этими переменными и их значениями ложиться в стандартный поток выполнения python-функции и как следствие, самого таска.
Мою магию можно вызвать в любом таске DAGа, не обязательно первом, и в зависимости от содержимого словаря dag_run.conf, значения конкретных переменных, внутри этого таска будут модифицированы согласно описанных в статье правил работы функции vars_from. То есть можно задать одинаковые по названиям переменные в разных тасках DAGа и они все во всех тасках при запуске, будут подвергнуты модификации. Не представлю, сходу, для чего такое может быть нужно, но факт, так можно сделать.