Comments 4
Почему бы не использовать механизм retry для перезапуска тасок?
+1
Спасибо за идею) На данный момент у нас есть retry в Airbyte - по умолчанию это 3 попытки. Но вообще мы с коллегами как раз подумываем о переносе retry в Airflow, чтобы было больше контроля и пространства для манёвра)
0
у airflow довольно много параметров скедулера, в том числе про параллелизм, посмотрите референс конфига в официальной документации. Мы настроили и у нас теперь только если есть проблемы с внешнимм источниками (недоступность к примеру) часть дагов/тасок падает. И после таймаута/ретрая продолжает выполняться. Плюс сенсоры и триггеры - отличные изобретения)
+1
Sign up to leave a comment.
Мой опыт в Airflow: как повысить стабильность загрузки данных в 5 раз