Kserve мы используем в другом нашем продукте - https://selectel.ru/services/cloud/mlops/

В целом он также покрывает потребность в инференс графе и работает с istio.

Но решили попробовать seldon, так как он дает больше ручек по построению графов, умеет в стратегии деплоя и под капотом имеет автоскейлер. Также поддерживал triton nvidia server как отдельную сущность. При этом в итоге отказались от такого решения и в статье описывал почему.

Следующая часть статьи выйдет совсем скоро - там как раз я расскажу про техническое мясо платформы - как мы сами доработали инференс граф, стратегии деплоя и автоскейлинг уже без Seldon, а другими opensource решениями

mysherocker Jan 3 at 12:45

GPRS‑протоколы

gRPC?

mysherocker Jan 3 at 15:37

Спасибо за статью. Интересно, как и прошлые. Почему решили брать FluxCD, а не ArgoCD? Из-за нативной работы с Helm CRD?

Где граница того, чем управляет Terraform, а чем FluxCD?

Какое ускорение даёт использование общего файлового кэша относительно S3-совместимого хранилища?

Какую задачу решает Istio в вашем решении кроме канареечного деплоя?

antonaleks605 Jan 9 at 17:21

Привет!

Взяли fluxcd из-за нескольких причин. У него есть терраформ и хелм контроллеры, которые мы хотим взять в качестве основы для оператора. Нативные манифесты куберенетеса (ui в целом нам не нужен). Хорошая статья про отличия арго от flux тут https://habr.com/ru/companies/aenix/articles/796833/
также в смежной команде используется flux - поэтому мы хотим переиспользовать наработки
На самом деле границу сложно построить. До Flux cd мы примерно также деплоили платформы через gitlab cicd и terraform. Так же декадой происходил через git, но не было автосинка. То есть если руками изменить инфру- в репозитории изменений не произойдет. Flux же поддерживает синк изменений и может откатить ручные до деофлтных
Использование NFS хранилища дает больше пропускной способности, подробнее с метриками можно ознакомиться здесь https://selectel.ru/services/cloud/file-storage/?ysclid=m5peyvc7at108237462. Также влияет скорость сети - с s3 до 1гбит, с файловым хранилищем до 3гбит
Является service mesh. Маршрутизирует запросы до инференса