Комментарии 5
Стало интересно, как выбирали инструменты и почему выбрали именно Seldon Core, а не KServe или BentoML?
Еще было бы интересно узнать, смотрели ли в сторону более свежих оркестраторов? Например, Prefect, Dagster или Mage, некоторые из них чуть больше заточены под ML задачи, чем Airflow.
Но тут в целом понятно, что скорее всего выбрали Airflow, потому что уже широко используете и как-то так сложилось.
AirFlow и SeldonCore выбрали так как это уже достаточно зарекомендовавшие себя решения, которые использовались длительный срок. Так что да, ответ на вопрос что-то вроде "исторически сложилось".
Сейчас мы действительно смотрим в сторону новых инструментов, которые позволяют меньшими силами решать часто встречающиеся типичные проблемы.
По поводу ClearML: мы изучали данный инструмент, однако он достаточно сильно может изменить текущий процесс разработки и вывода моделей, и поэтому пока что мы не готовы его внедрять
Тоже щас столкнулся что для небольших проектов как будто не хочется airflow поднимать. Он большой, тяжелый, его сложно настраивать. Искал альтернативы пока на dagster наткнулся. Вроде еще у ClearML оркестратор есть и какая то библа еще от netflix, но последний реально немного своеобразный.
А вот на работе, где большие проекты, типо удобно поднял один airflow он ходит по машинкам для масштабирования (sshoperator) и тыкается там
Какую версию k8s, seldon core и ingress controller вы используете?
Что такое MLOps и как мы внедряли каскады моделей