Pull to refresh

Comments 22

А чего заминусили-то? Положим, ничего сакрального автор не рассказал, но если кому-то сэкономит пару часов, то уже хорошо

Спасибо за поддержку, прикольно, что кол-во минусов 2, кол-во "в закладки" 3, кол-во новых подписчиков 3). Явно на "открытие Америки" не претендовал, а вот без опыта установить AA дело на целый день

Потом что в докере развернул и не парься

Только из-за того, что здесь не пишут про докер, не нужно минусить

Благодарю, надо будет мне её как-нибудь актуализировать

побогаче однозначно, попонятнее уже на вкус и цвет. Но тоже спасибо

на случай, если у тебя его ещё нет в преддверии 2025 года

А для чего эта штука полезна? А то может мне тоже нужна, а я и не в курсе. В интернете одни только общие слова и инструкции, как установить, а хотелось бы подборку конкретных кейсов, что люди этой штукой делают.

Ну я пишу для таких же, как и я людей, чья работа связана с данными. Смотри вступление, там я описал пару направление из своего опыта. Если бы мне в начале карьерного пути показали бы инструмент, который всё это может, то я бы им заинтересовался

Вообще не понимаю почему все "пищат" в восторге от Airflow. Простой воркер типа helloworld выедает кучу памяти. Написание DAG-ов то ещё "колдунство".

Мы попробовали и выкинули.

Валидное мнение, т к в ряде случаев вместо него можно использовать тупо Cron, но вот, если вы дата-аналитик без Data-инженера в команде или сами Data-инженер, то AA вам must have. +, как Data Quality специалист скажу, что AA база для мониторинга и контроля качества данных.

Благодарю за обзор. Очень помогло и сэкономило время

и вам спасибо за отзыв. На хабре короткий и позитивный отзыв редкость_)

Спасибо за статью. Короткий и понятный обзорный гайд на простую установку!

Заметил опечатку. В описании настройки шедулера как демона указана конфигурация и пути такие же, как и для веб-сервиса.

P. S. Я кстати недавно как раз задумывался над использованием Airflow для мониторинга и анализа работы моего будущего проекта, пусть и собирался внедрять уже на поздних стадиях. Статья оказалась прям в тему)

Спасибо, поправлю. Это же пример, т ч приходилось подменять данные

Посмотрите в сторону https://www.mage.ai/. Намного удобнее и быстрее. Не надо деплоить DAG, можно прям в интерфейсе создавать блоки и пайплайны.

3. Создайте сервис для веб-сервера Airflow

WantedBy=multi-user.targe пропущена t в конце

4. Создайте файл сервиса для Scheduler Airflow:

Одинаково с п. 3. Поправьте пожалуйста.

[Unit]
Description=Apache Airflow Scheduler
After=network.target
[Service]
Environment="AIRFLOW_HOME=/root/airflow"
User=root
Group=root
Type=simple
ExecStart=/root/airflow_venv/bin/airflow scheduler
Restart=always
RestartSec=5s
[Install]
WantedBy=multi-user.target

Следующий вопрос:

4. Создайте файл сервиса для Scheduler Airflow:

sudo nano /etc/systemd/system/airflow-webserver.service 

название файла совпадает с п.3. Должно быть "sudo nano /etc/systemd/system/airflow-scheduler.service"?

За статью спасибо!

Привет, да, тут от версии сборки зависит.

Спасибо, Камрад. В ближайшее время мне предстоит знакомиться с сабжем на практике.

Sign up to leave a comment.

Articles