Комментарии 4
Почему бы не использовать механизм retry для перезапуска тасок?
Спасибо за идею) На данный момент у нас есть retry в Airbyte - по умолчанию это 3 попытки. Но вообще мы с коллегами как раз подумываем о переносе retry в Airflow, чтобы было больше контроля и пространства для манёвра)
у airflow довольно много параметров скедулера, в том числе про параллелизм, посмотрите референс конфига в официальной документации. Мы настроили и у нас теперь только если есть проблемы с внешнимм источниками (недоступность к примеру) часть дагов/тасок падает. И после таймаута/ретрая продолжает выполняться. Плюс сенсоры и триггеры - отличные изобретения)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Публикации
Мой опыт в Airflow: как повысить стабильность загрузки данных в 5 раз