Привет, Хабр! Я Денис Брандес, инженер-программист в Контуре. В этой статье поделюсь своим докладом с конференции по ML. Расскажу, как наша команда справляется с сервингом сотни моделей и какие решения мы для этого разработали.

Центр AI в компании Контур занимается различными Data Science-задачами: распознаванием речи, работой с видео и аудио, созданием чат-ботов, финансовой аналитикой и прогнозированием. Еще семь лет назад у нас было всего четыре дата-сайентиста и менее десяти моделей в продакшене. Сегодня в компании работают 30 Data Science-специалистов, а в продакшене запущено более 150 моделей — около 300 с учетом реплик.