Комментарии 7
Что это было?
Гайд по возможному использованию эйрфлоу
Достаточно полный и полезный, потому что я, когда искал инфу насчет Connections в интерфейсе эйрфлоу, не смог найти ничего ни на русском, ни на английском, а тут есть скрины, которые показывают, что надо в качестве host указывать название контейнера, а не просто localhost. Если ты видел инфу об этом где-то хотя бы на английском, то супер и поделись, пожалуйста, ссылкой
Статья из разряда "голопом по европам", но есть довольно интересного, Автору спасибо за это...
Уважаемые питонисты - помогите понять следующую конструкцию
sensor >> get_data()
я понимаю что это оператор сдвига вправо, но причем тут объект и метод?
В данном случае, это оператор, который устанавливает зависимости между тасками. То есть с помощью него мы даём понять airflow, что мы хотим, чтобы get_data() начал выполняться только после того, как закончит свою работу sensor.
Например, в написание ETL мы использовали эту конструкцию: extract >> transformation() >> load(). Сделали мы это для того, чтобы сначала выполнился extract, после него transformation и в самом конце load. Если бы мы это не прописали, то у airflow не было бы чёткого порядка выполнения тасок и из-за этого, они могли бы начать работать одновременно, что привело бы к ошибкам.
Подробнее можно почитать тут.
В гайде советуют установить конкретную ide...
Дальше не читал
Написание ETL пайплайна при помощи airflow, rabbitmq и postgres