Pull to refresh
107.99
Cloud.ru
Провайдер облачных сервисов и AI-технологий

Запустили Evolution ML Inference — сервис для развертывания ML- и DL-моделей в облаке 🤖

❓ Что за инструмент? С помощью Evolution ML Inference можно запускать и развертывать ML-модели из библиотеки Hugging Face на облачных мощностях с GPU, в том числе в пользовательских Docker-образах. А для более эффективного инференса также можно использовать среды исполнения vLLM, TGI, Ollama, Diffusers и Transformers.

🖥 Особенности и преимущества. Благодаря технологии Shared GPU ML-модели могут совместно использовать ресурсы графического ускорителя — это экономит ресурсы облака и повышает производительность. Масштабирование происходит динамически — если число запросов превышено, дополнительные мощности выделяются автоматически. Или наоборот, один GPU можно использовать для инференса сразу нескольких моделей. Оплата за использование — по модели pay-as-you-go.

👨‍💻 Кому будет полезно. Сервис найдет применение во всех сферах, где актуально машинное обучение. Evolution ML Inference можно использовать при создании ML- и DL-моделей для бизнеса, медицинских и образовательных учреждений, ретейла, кибербезопасности, производства и других областей.

✍️ Где, как и для чего использовать. Сервис подойдет для инференса LLM и TGI, диффузионных моделей и моделей-трансформеров, а также аудит-логирования. Какие задачи помогают решать модели:

  • распознавание объектов и речи;

  • прогнозирование поведения клиентов;

  • составление логистических маршрутов;

  • генерация текстов;

  • перевод, суммаризация и другие операции с текстом.

А больше об Evolution ML Inference можно узнать из доклада конференции GoCloud 2025 «Эволюция запуска ML-моделей» 😉.

Tags:
Rating0
Comments0

Articles

Information

Website
cloud.ru
Registered
Founded
2019
Employees
1,001–5,000 employees
Location
Россия
Representative
Елизавета