Комментарии 2
о задержках, которые они вносят, заставляя рабочие процессы подстраиваться под самую медленную задачу
Если следующая задача зависит от нескольких предыдущих, то она по-любому должна ждать самой медленной. Выход один - полностью поменять архитектуру системы и алгоритм этой задачи. Что часто неприемлемо или даже невозможно.
А вообще, если задачи занимают от нескольких минут до нескольких часов и сильно зависят друг от друга, то не вижу альтернативы оркестраторам. Если задача Б выполняется на данных, рассчитанных задачей А, то делать из них независимые, инкрементно выполняемые задачи - просто невозможно (в пределах времени/бюджета)
У Airflow есть асинхронность, расходимся)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Будущее после оркестраторов