Запустили Evolution ML Inference — сервис для развертывания ML- и DL-моделей в облаке 🤖
❓ Что за инструмент? С помощью Evolution ML Inference можно запускать и развертывать ML-модели из библиотеки Hugging Face на облачных мощностях с GPU, в том числе в пользовательских Docker-образах. А для более эффективного инференса также можно использовать среды исполнения vLLM, TGI, Ollama, Diffusers и Transformers.
🖥 Особенности и преимущества. Благодаря технологии Shared GPU ML-модели могут совместно использовать ресурсы графического ускорителя — это экономит ресурсы облака и повышает производительность. Масштабирование происходит динамически — если число запросов превышено, дополнительные мощности выделяются автоматически. Или наоборот, один GPU можно использовать для инференса сразу нескольких моделей. Оплата за использование — по модели pay-as-you-go.
👨💻 Кому будет полезно. Сервис найдет применение во всех сферах, где актуально машинное обучение. Evolution ML Inference можно использовать при создании ML- и DL-моделей для бизнеса, медицинских и образовательных учреждений, ретейла, кибербезопасности, производства и других областей.
✍️ Где, как и для чего использовать. Сервис подойдет для инференса LLM и TGI, диффузионных моделей и моделей-трансформеров, а также аудит-логирования. Какие задачи помогают решать модели:
распознавание объектов и речи;
прогнозирование поведения клиентов;
составление логистических маршрутов;
генерация текстов;
перевод, суммаризация и другие операции с текстом.
