Комментарии 4
Я бы не вводил читателей в заблуждение описанием "Запуска по обновлению датасета". Вы сами ниже вскользь упоминаете "Граф, выполняющий расчёты, считается поставщиком данных, а любой граф, использующий этот датасет, — потребителем. Планировщик запустит граф-потребитель, как только данные будут обновлены", но почему-то не акцентировуете на этом внимание. Надо крупными буквами и красным цветом выделять это. По факту это просто обычная зависимость между задачами, которая просто настраивается несколько иначе. А запуск по обновлению - это если бы какой то внешний по отношению к Эйрфлоу процесс обновил таблицу, и сам Эйрфлоу это понял и запустил.
Менеджеру такое незнание простительно, но не инженеру же!
ПыСы ряд разделов статьи напоминают выжимку из документации, переработаные ЧатомЖПТ. Уж простите...
Как Ваша статья поможет пользователю написать свой собственный etl процесс в Dag ? Вы расказали про Ui и отображение в графах. Что бы добится структуры как на Ваших скринах графа нужно структуировать код в Dag определённым образом.
Извините, но очередная перепечатка документации или первых двух глав из любой книжки по эйрфлоу. Никакой специфики и как перестать страдать нет. Вводите читателя в заблуждение, что нехорошо
Как собрать ETL-процессы в Apache Airflow и перестать страдать