Комментарии 2
Интересный подход, но хотелось бы узнать можно ли во время исполнения этих пайплайнов доставать логи и в случае непредвиденных падений стартовать не сначала? Я сейчас только начинаю изучать ML пайплайны, до этого я работал просто с данными, а не моделями (мой стек был Dagster+dbt)
можно ли во время исполнения этих пайплайнов доставать логи
Да, конечно. Это можно сделать с помощью базового модуля logger и записывать логи прямо в отдельный файл (т.к. консоль для этого не всегда является подходящим решением).
и в случае непредвиденных падений стартовать не сначала?
Думаю можно изучить особенности самого оркестратора пайплайнов и через определённые методы и try...except вызывать интересующий элемент пайплайна для выполнения (перехватывая исключения). Сам я такое не пробовал, но предполагаю, что такой механизм существует. Не думаю, что порядок выполнения жёстко регулируется массивом элемент пайплайна и его изменять по мере выполнения нельзя.
Конвейер машинного обучения для классификации рукописных цифр MNIST с использованием TensorFlow Extended (TFX)