Apache Airflow – простой и удобный batch-ориентированный инструмент для построения, планирования и мониторинга дата-пайплайнов. Ключевой его особенностью является то, что, используя Python-код и встроенные функциональные блоки, можно соединить множество различных технологий, использующихся в современном мире. Основная рабочая сущность Airflow – DAG – направленный ацикличный граф, в котором узлами являются задачи, а зависимости между задачами представлены направленными ребрами. 

Те, кто использует Apache Airflow для оркестрации задач загрузки данных в хранилище, наверняка оценили гибкость, которую он предоставляет для решения шаблонных задач. Когда весь процесс разработки сводится к заполнению конфигурационного файла с описанием параметров DAGа и списком задач, которые должны выполняться. У нас в Леруа Мерлен такой подход успешно используется для создания задач по перекладыванию данных из raw-слоя в ods-слой хранилища. Поэтому было решено распространить его на задачи по заполнению витрин данных.  

 Я, как мне кажется, никогда не видел, чтобы какой-то вопрос вызывал такую мощную волну негатива, как дистанционное образование. По-моему, даже повышение пенсионного возраста прошло более гладко. Как представителю семьи, в которой уже есть несколько поколений педагогов, тема образования мне очень близка и интересна. Как человеку, который давно и успешно обучается онлайн, такой шквал критики при практически полном отсутствии положительных отзывов, непонятен. Появилось желание разобраться в ситуации. И чем больше я читал комментарии противников, тем понятнее становилось, что народный гнев вызван не самим "дистантом", а тем бардаком, который случился в начале карантина и продолжается до сих пор. Попытка пустить современный сверхскоростной поезд онлайн-обучения по насквозь проржавевшим рельсам советской системы образования предсказуемо закончилась падением под откос "всего школьного состава".  Так у меня и появилась идея написать статью в защиту моего любимого формата.