Привет, Хабр! Самый короткий месяц года запомнился большими обновлениями. Пополнили линейку конфигураций мощными флагманскими серверами для AI-тренинга и кластерных задач, добавили поддержку ephemeralStorage в Cluster Autoscaler и Karpenter и добавили новые образы в AI-маркетплейс. В новости делимся главными улучшениями, а больше деталей ищите в Академии Selectel.

Добавили мощные конфигурации для инференса

GL8-B300-HGX-25GE

Сегодня это самая мощная конфигурация Selectel.
Флагманский сервер NVIDIA линейки HGX для AI-тренинга и запуска действительно больших языковых моделей. 

«NVIDIA HGX B300 — это флагманская платформа для крупномасштабных AI-нагрузок, рассчитанная на обучение и дообучение моделей и промышленный инференс. За счет суммарного объема видеопамяти в 2,3 ТБ сервер уверенно держит большие батчи, длинный контекст и тяжелые пайплайны, где критичны стабильность и пропускная способность.

Запускайте любые модели: GLM-5, Mistral-Large-3-675B-Instruct-251, DeepSeek-R1 685B, GigaChat3-702B-A36B-preview или дообучайте свои»

Александр Тугов

Директор AI-вертикали в Selectel

Об остальных конфигурациях рассказали в полной версии дайджеста.

Добавили новые образы в AI-маркетплейс

Храните результаты экспериментов с подбором параметров используемых моделей в трекере Aim. Участники команды смогут следить за прогрессом коллег и перенимать лучшие решения.

В дополнение к Open Web UI добавили образ Lobe Chat, который фокусируется на плагинах от сообщества и готовых решениях.

Evidently AI — инструмент мониторинга, который оценивает метрики качества модели. На их основании можно строить дальнейшую автоматизацию изменений версии модели.

Упрощает разметку данных, включая лидарные. Загружая данные в сервис, вы сможете штатными средствами выделять в них объекты и присваивать им соответствующие классы.

Подключить образ в панели управления → 

Интегрировали поддержку ephemeralStorage

В феврале мы добавили полноценную поддержку ресурса ephemeralStorage для Cluster Autoscaler (CA) и Karpenter — это важный шаг к более точному и предсказуемому масштабированию кластеров.

Раньше CA использовал «шаблонную ноду» (template node) для моделирования будущих нод при scale-up. Но если в кластере не было ни одной ноды с выделенным ephemeralStorage, CA не мог корректно рассчитать, сколько места нужно для нового 

Pod. Сейчас Cluster Autoscaler и Karpenter корректно учитывают ephemeralStorage при принятии решений о масштабировании.

Использовать кластеры Kubernetes →

Приглашаем на MLечный путь — конференцию про технологии будущего

22 апреля встретимся в Москве, чтобы поговорить о том, как AI перестает быть экспериментом и становится бизнес-инструментом. Участие бесплатное, но необходимо зарегистрироваться и получить подтверждение.

Участвовать →

Другими обновлениями делимся в полной версии дайджеста в Академии Selectel. И встретимся в апреле!