Comments 22
А чего заминусили-то? Положим, ничего сакрального автор не рассказал, но если кому-то сэкономит пару часов, то уже хорошо
Спасибо за поддержку, прикольно, что кол-во минусов 2, кол-во "в закладки" 3, кол-во новых подписчиков 3). Явно на "открытие Америки" не претендовал, а вот без опыта установить AA дело на целый день
Потом что в докере развернул и не парься
https://habr.com/ru/companies/alfa/articles/676926/
Побогаче и попонятнее?
на случай, если у тебя его ещё нет в преддверии 2025 года
А для чего эта штука полезна? А то может мне тоже нужна, а я и не в курсе. В интернете одни только общие слова и инструкции, как установить, а хотелось бы подборку конкретных кейсов, что люди этой штукой делают.
https://habr.com/ru/articles/682384/
и далее...
Ну я пишу для таких же, как и я людей, чья работа связана с данными. Смотри вступление, там я описал пару направление из своего опыта. Если бы мне в начале карьерного пути показали бы инструмент, который всё это может, то я бы им заинтересовался
Вообще не понимаю почему все "пищат" в восторге от Airflow. Простой воркер типа helloworld выедает кучу памяти. Написание DAG-ов то ещё "колдунство".
Мы попробовали и выкинули.
Благодарю за обзор. Очень помогло и сэкономило время
Спасибо за статью. Короткий и понятный обзорный гайд на простую установку!
Заметил опечатку. В описании настройки шедулера как демона указана конфигурация и пути такие же, как и для веб-сервиса.
P. S. Я кстати недавно как раз задумывался над использованием Airflow для мониторинга и анализа работы моего будущего проекта, пусть и собирался внедрять уже на поздних стадиях. Статья оказалась прям в тему)
Посмотрите в сторону https://www.mage.ai/. Намного удобнее и быстрее. Не надо деплоить DAG, можно прям в интерфейсе создавать блоки и пайплайны.
3. Создайте сервис для веб-сервера Airflow
WantedBy=multi-user.targe
пропущена t в конце
4. Создайте файл сервиса для Scheduler Airflow:
Одинаково с п. 3. Поправьте пожалуйста.
[Unit]
Description=Apache Airflow Scheduler
After=network.target
[Service]
Environment="AIRFLOW_HOME=/root/airflow"
User=root
Group=root
Type=simple
ExecStart=/root/airflow_venv/bin/airflow scheduler
Restart=always
RestartSec=5s
[Install]
WantedBy=multi-user.target
Спасибо, Камрад. В ближайшее время мне предстоит знакомиться с сабжем на практике.
Гайд по установке Apache Airflow, на случай, если у тебя его ещё нет в преддверии 2025 года