Как настроить мультинодовый кластер Airflow с помощью Celery и RabbitMQ

[SLASH_CyberPunk]

Пойду по порядку:
1. стабильная версия, даже если смотреть на первую версию — это 1.10.14
2. очень плохо устанавливать библиотеки для кролика, постгреса, селери через отдельные установки, а не через зависимости apache-airflow, могут быть (и скорее всего будут) проблемы с зависимостями
3. установка apache-airflow[all] в версии 1.10 не гарантировала установку всех дополнительных пакетов, хоть документация и заявляет обратное…
P.S. Ну и самое главное, вы рассказали как установить все это, но ни одного слова по поводу настройки и масштабирования, включая автоматическое…

[chemtech]

Это всего лишь перевод. Спасибо за комментарий.
1) Согласен.
2) Вы имеете ввиду плохо делать pip install celery, pip install airflow, а правильно делать pip install apache-airflow[postgres,redis,hdfs,hive,kerberos,ldap,ssh]? Я согласен.

Если будет английский пост по поводу настройки и масштабирования, включая автоматическое, напишите пожалуйста мне. Большое спасибо!

[sshikov]

>незаменимый инструмент
Ну прям таки и незаменимый. У нас вот узи, и ничего, нормально все. А некоторые поди и информатику такой заменой считают, и Abinitio.

[gecube]

Уточните, что узи — это Oozie и он вроде как является частью поставки халупа (кажется, хортона? А в клаудере что тогда?)

[sshikov]

Да, именно оно, и именно частью поставки клаудеры. Вообще, смысл комментария был в том, что Airflow далеко не единственный подобный продукт, и далеко не обязательно самый лучший. Зависит от разных параметров.