Все началось с невинного, но такого необходимого действия — ликвидации технического долга. Мы с командой собрались реорганизовать структуру репозитория наших загрузок данных, которые мы пишем на Apache Airflow. За два с лишним года, его текущая структура потеряла актуальность и попросила себе новое платьице к лету...

Всем привет, на связи IT-сообщество Газпромбанка, и меня зовут Грошев Павел. Я занимаюсь разработкой на языке программирования Python, и уже больше года, создаю загрузчики внешних данных для нашей DataFactory – внутрибанковской платформы больших данных.

Сегодня я расскажу, об одном интересном механизме, который, как мне кажется, может упростить жизнь разработчиков и/или команд поддержки работы DAGов Airflow и ETL-процессов.