В Рег.облаке стало доступно новое локальное решение для запуска и управления языковыми моделями LLM. Облачный сервис разворачивается за несколько минут и работает в изолированном окружении: данные и доступ полностью контролируются пользователем.

Что входит в образ:

• Ollama — фреймворк для запуска и управления LLM-моделями;

• Open WebUI — веб-интерфейс для работы через браузер;

• предустановленные модели Gemma 3, DeepSeek и Grok, с возможностью подключения моделей из Ollama и Hugging Face.

Основные возможности:

• интеграция через API во внутренние сервисы;

• подключение документов и баз знаний для контекстных ответов;

• параллельный запуск и сравнение нескольких моделей;

• плагины Open WebUI для работы с файлами и данными;

• работа с конфиденциальной информацией без передачи в публичные сервисы.

ИИ-ассистент доступен в конфигурациях с CPU и GPU. Для работы с несколькими моделями рекомендована конфигурация с NVIDIA A5000 (24 ГБ), 16 vCPU и 64 ГБ RAM. Заказать и протестировать сервер с ИИ-ассистентом можно уже сейчас на сайте Рег.облака.