Comments 7
"воздушный поток" 😁
Да ну в баню! Неудобство аирфлоу в том что все задачи на питоне исполняются. Ему на rust бы уехать бы. А не вот это вот всё. И желательно чтобы весь код дагов писался на питоне и сам бы в Раст компилировался с 0% ошибок и утечек памяти и дедлоков.
Каждый второй на Хабре и так выпилит и впилит в аирфлоу всё что надо и не надо. Опять иностранные студенты закошмарились и пропихивают лабуду свою.
Это интересные фантазии, но на практике основная проблема вовсе не в питоне, а в нехватке управляемости и наблюдаемости пайплайнов.
Дагстер здесь принес много интересных подходов вроде использования качестве ассетов и накопления метаданных, за это его и выбирают. Это airflow и пытается у него позаимствовать в следующей версии.
Ну и ещё дагстер легко запустить локально для отладки и тестирования пайплайнов. Привет отделке в эйрфлоу путем коммитов в репозиторий.
В чем проблема для отладки запустить локально airflow? Не сложнее чем dagster. Суть в том, что dagster лучше приспособлен для написания удобно тестируемых пайплайнов обработки, он для этого предоставляет более правильные абстракции. На airflow тоже можно выстроить все что нужно, просто придется подумать об этом заранее и самостоятельно.
// адепт dagster, который отлаживается коммитами в продакшн :-(
иностранные студенты
И не говори, сначала GraphQL свой убогий в M**a придумал и впаривал всему миру, теперь вот выгнали - пошел в мамкины стартаперы впаривать всем как надо данные в пайплайнах правильно ворочать, какой негодяй!
Перевод не очень, статья сложная и много ошибок в критичных для понимания местах.
Я вас умоляю - это даже не перевод, а "перевод" - загнали текст в автопереводчик и даже не вычитывали. Ну вот что это такое, да ещё и в одну строку:
из конвейера импорта dagster, solid @solid def return_one() -> int: return 1 @solid def add(x: int, y: int) -> int return x + y @pipeline def add_two(): # строит график зависимостей add(return_one(), return_one())
Отход от Airflow: почему Dagster — это оркестратор данных следующего поколения