Comments 2
Я честно пытался уследить за мыслю, но так и не понял
откуда взялся DAG?
в начале сказано, что скрипт запускается DAG'ом, но он упаковывается в контейнер под python:alpine?
если контейнер запускает PodOperator (судя по логу), то где лежат pod template и, если нужны, остальные артифакты пода?
что с авторизацией airflow -> k8s, gitSync -> repo?
1) DAG берётся из репозитория на github, ссылка на репозиторий есть в статье (шаг по установке airflow через helm) (есть на схеме работы Airflow)
2) Образ запускается DAG'ом, внутри самого образа лежит скрипт
3) Pod template в нашем случае генерится автоматически оператором, если есть необходимость использовать отдельный темплейт то можно посмотреть примеры в оф. документации Airflow
4) Авторизация не раскрывалась в статье из-за того, что если это всё расписывать то она станет слишком громоздкой. Airflow использует сервисаккаунт для запуска POD'ов, а gitsync не использует в нашем случае авторизацию, т.к. гитхаб не требует её для публичных репозиториев.
Apache Airflow в связке с Kubernetes