Кейс: «Жива Технологии» арендует в облаке виртуальные машины с GPU для приложения с AI 🤖💬
👨💻 Что за компания
«Жива Технологии» — разработчик приложения JIVA, ассистента с AI, который помогает вести здоровый образ жизни. В приложении можно составить план, чтобы достичь поставленной цели: рассчитать норму воды, построить график тренировок или поправить технику упражнений.
А еще искусственный интеллект рассчитывает по фото питательность блюда: вес порции, количество калорий, белков, жиров, углеводов, микро- и макро-нутриентов. В результате такого анализа AI-помощник в JIVA советует, что можно заменить или добавить, чтобы прием пищи стал полезнее.
🕵️ Какая была задача
Искусственный интеллект внутри JIVA — это AI-модели для распознавания нутриентов по фото, встроенный AI-ассистент на базе LLM и каскад моделей по детекции и распознаванию физических упражнений. Все модели разработчик собрал на open source.
Клиенту были нужны видеокарты с GPU для инференса и обучения этих моделей. Закупать свои графические процессоры оказалось невыгодно, и он решил арендовать их в облаке. «Жива Технологии» хотел использовать виртуалки с GPU и другие облачные сервисы, чтобы мониторить работу моделей и управлять ресурсами в одном месте.
📈 Результат
Клиент использовал набор сервисов Cloud.ru, чтобы развернуть в облаке бэкенд приложения, тестовую и продовую среду и сами модели:
Развернул бэкенд и модель для подбора упражнений на пяти ВМ платформы Cloud.ru Advanced. Там же подключил сервисы для мониторинга, логирования и работы с базами данных.
Для LLM выбрал две платформы: Cloud.ru Evolution для тестовой среды и дообучения и Cloud.ru Advanced для продовой среды и инференса моделей.
Тестовую среду развернул на виртуальных машинах Evolution Compute c GPU с гарантированной долей vCPU 30% 8vCPU 16GB RAM. Для тестирования взял одну GPU-карту A100 — она позволяет экспериментировать при обучении и тестировании LLM.
Чтобы собирать данные для дообучения и хранить бенчмарки, выбрал объектное хранилище Evolution Object Storage.
Для продовой среды выбрал виртуалки с такими параметрами: 20 vCPU 117 GB RAM 1 × A100 NVIDIA 80 GB.
🚀 Что дальше
В планах «Жива Технологии» — ускорить распознавание нутриентов по фото с 8–9 до 2–3 секунд, не арендуя при этом дополнительные GPU. У Cloud.ru есть сервисы, которые помогают в инференсе моделей, их дообучении и не только. Например, для запуска и развертывания ML-моделей предложили клиенту протестировать сервис Evolution ML Inference.