Облачные сервисы *

Как Cloud.ru и «Опс Гуру» разработали облачное решение, чтобы Familia рассчитывала нагрузку на магазины 👗👨‍💻

О партнере

«Опс Гуру» внедряет облачную инфраструктуру, адаптирует ее под задачи бизнеса, помогает в эксплуатации и защите производственных сред, разрабатывает и модернизирует cloud native приложения с использованием микросервисов. В 2023 году Cloud.ru и «Опс Гуру» заключили партнерское соглашение, чтобы вместе масштабировать облачные решения под требования клиентов из разных индустрий.

Какая была задача

Спроектировать облачную инфраструктуру для Familia — федеральной сети офф-прайс-магазинов в России, где представлено 6 500+ брендов. Familia разрабатывала решение для оптимизации бизнес-процессов, включая расчет нагрузки на магазины и автоматическое составление графиков сотрудников. 

Облачная инфраструктура должна была:

• Запускаться нерегулярно, но с высокими вычислительными мощностями.

• Автоматически удалять ресурсы после выполнения расчетов.

• Обеспечивать безопасное зашифрованное соединение с внутренней базой данных.

• Запускать 400+ виртуальных машин одновременно.

• Развертывать ВМ не дольше, чем за 30 минут.

Как ее решили

Специалисты Cloud.ru и партнерской компании «Опс Гуру» реализовали решение на базе облачной платформы Cloud.ru Advanced:

• Настроили динамическое развертывание виртуальных машин и управление ими как кодом (IaC). После выполнения расчетов ВМ не висят на балансе пустым грузом, а автоматически удаляются. В итоге оплата начисляется только за время фактической работы.

• Настроили пайплайны в GitLab для автоматизированного запуска 400+ ВМ Advanced Elastic Cloud Server (ECS) с блочным хранилищем Advanced Elastic Volume Service (EVS).

• Организовали защищенный сетевой контур. Использовали Advanced NAT Gateway для доступа в интернет, Advanced Elastic IP для создания уникального публичного IP-адреса, Advanced VPC для безопасного взаимодействаия между компонентами инфраструктуры.

• Внедрили агента, который собирал логи через Elasticsearch и Kibana и загружал их в хранилище Advanced Object Storage Service (OBS).

• Настроили автоматическое удаление ВМ в бессерверной среде Advanced FunctionGraph.

Что в результате

• Время запуска 400+ виртуальных машин — 6,5 минут при запланированных 30.

• Клиент оптимизировал траты: Familia платит только за хранение данных и запущенные ВМ.

• Появилась возможность масштабировать расчеты на любое количество магазинов.

• Скорость вычислений остается высокой независимо от числа итераций.

• Тестирование и доработка стали проще благодаря централизованному сбору логов.

Читайте полный кейс, чтобы больше узнать об архитектуре решения и сервисах, которые помогли в разработке 💻‬

Роли в FinOps

Как бы странно это ни звучало, но главное, на чем держится FinOps, — это общий язык, на котором говорят и финансисты, и технари. При этом у каждого из них есть своя роль:

➖  инженеры и DevOps, которые запускают ресурсы и должны видеть их стоимость

➖  продакты и бизнес-менеджеры, которые отвечают за ценность и окупаемость

➖  финансисты и закупки, которые смотрят на бюджеты и договоры

➖  руководители и C-level, которые принимают стратегические решения

В каждой компании распределение может отличаться. Но идея одна: никто не работает в вакууме. Инженеры понимают, во сколько обходятся их сервисы, финансисты знают, за что платят, а топы видят, какую отдачу приносит облако.

Такой подход убирает вечный спор, кто сколько тратит, и превращает расходы в совместную ответственность.

Близка тема, где финансы и инженеры наконец говорят на одном языке? Заглядываем в «Практики FinOps», там выходят кейсы, доклады, лайфхаки и немного самоиронии про жизнь в облаке.

Как масштабировать ресурсы без увеличения бюджета? Рассказываем на примере истории SaaS-разработчика Ракета

Когда IT-инфраструктура перестает справляться с ростом продукта, это сразу отражается на скорости, стабильности и бизнес-показателях. Команда IT-компании Ракеты столкнулась с тем, что старые выделенные серверы перестали выдерживать нагрузку, а бюджет на масштабирование оставался прежним.

Решением стала миграция части внутренней инфраструктуры в Рег.облако. Здесь собрали гибридную архитектуру, которая сохранила контроль над железом и при этом дала гибкость для роста.

Под капотом:

• выделенные серверы на AMD EPYC и Ryzen для телеметрии и автотестов;

• отказоустойчивая конфигурация для стабильной работы без простоев;

• возможность увеличивать мощности без изменения бюджета.

В результате — рост ресурсов примерно на 30% при тех же затратах и стабильная работа внутренних сервисов даже под нагрузкой. Подробнее о решении и технической реализации читайте на сайте Рег.облака.

Идеи, с чем интегрировать LLM из Evolution Foundation Models 🖥

В сервисе Evolution Foundation Models представлены open source модели, к которым вы можете делать запросы по API. А еще есть возможность интегрировать эти LLM в разные фреймворки, библиотеки и редакторы кода, чтобы автоматизировать часть задач и облегчить себе работу.

⬇️ Расскажем о четырех сценариях применения LLM из Evolution Foundation Models с разными инструментами. А еще дадим ссылки на руководства по подключению:

1. Создайте своего Code Agent с Aider и VS Code. Подключите в свой сервис по API подходящую под ваши задачи LLM, а потом используйте редакторы кода, чтобы создать интеллектуального помощника по программированию. Тот поможет писать и рефакторить код, искать баги, проводить тесты и составлять документацию.

2. Встройте LLM в чат-интерфейс платформ Chatbox, Open WebUI или LibreChat. Так вы сможете, например, настроить работу команды с LLM и контролировать расход токенов, создавать собственных AI-ассистентов, использовать RAG и поиск в интернете.

3. Напишите своего чат-бота с фреймворком LangChain, который предназначен для создания AI-ориентированных приложений. Добавьте созданного чат-бота в беседу, чтобы он делал выжимки из диалогов и отслеживал в них задачи. Или интегрируйте получившегося AI-помощника в службу поддержки, чтобы быстрее отвечать клиентам. 

4. Организуйте LLM-шлюз с библиотекой Litellm. Например, она на дает доступ к разным LLM по единому API-ключу и возможность выбрать резервную модель на случай, если с основной что-то случится. LLM-шлюз упростит вам работу: он может управлять сразу несколькими LLM, помогает балансировать нагрузку и контролировать траты.

Кстати, более 20 LLM, эмбеддеров и реранкеров из Evolution Foundation Models доступны бесплатно до 31 октября. Выберите модели, которые по бенчмаркам лучше подходят к вашим задачам, и протестируйте их в работе 🤖

Представлен полный курс по Sora 2 от OpenAI, включая официальный гайд по промптам и созданию сцен с помощью нейросети: аниме, документалки, интервью с любыми персонажами, настройка камеры, света и генерация осмысленных диалогов.

Чем короче промпты — тем больше свободы у нейронки. Так вы дадите ИИ творческую свободу. Пример: In a 90s documentary-style interview, an old Swedish man sits in a study and says, "I still remember when I was young."

Настраиваем формат видео.

• Format & Look: Duration 4s

• 180° shutter; digital capture emulating 65 mm photochemical contrast; fine grain; subtle halation on speculars; no gate weave.

Выставляем свет и создаём атмосферу:

• Lighting & Atmosphere

• Natural sunlight from camera left, low angle (07:30 AM).

• Bounce: 4×4 ultrabounce silver from trackside.

• Negative fill from opposite wall.

• Practical: sodium platform lights on dim fade.

• Atmos: gentle mist; train exhaust drift through light beam.

«Подбираем» камеру для съёмки. Увеличиваем или уменьшаем фокус, корректируем передний и задний планы:

• Camera shot: wide shot, low angle

• Depth of field: shallow (sharp on subject, blurred background)

• Lighting + palette: warm backlight with soft rim

Ведём себя как настоящий режиссёр и контролируем, задаём игру актёров: Actor takes four steps to the window, pauses, and pulls the curtain in the final second.

[Описание сцены прозой простым языком. Опиши персонажей, костюмы, декорации, погоду и другие детали. Будь как можно более описательным, чтобы видео соответствовало твоему замыслу.]
Кинематография:
Кадр камеры: [композиция и угол съёмки, например: широкий план, уровень глаз]
Настроение: [общий тон, например: кинематографично и напряжённо, игриво и тревожно, роскошное ожидание]
Действия:
- [Действие 1: чёткое, конкретное движение или жест]
- [Действие 2: ещё один отдельный момент в клипе]
- [Действие 3: другое действие или реплика]
Диалоги:
[Если в кадре есть диалог, добавь короткие естественные реплики здесь или в списке действий. Делай их короткими, чтобы они уместились в длину клипа.]

Что такое контекст-инжиниринг и в чем его отличие от промпт-инжиниринга? 👨‍💻✍️

Контекст-инжиниринг (context engineering) — это подход, который предполагает, что для наполнения контекстного окна LLM используют все доступные способы. В отличие от промпт-инжениринга, работа с контекстом предполагает не только дизайн промпта, а настройку всего, что LLM использует для решения задач. Например, можно дать модели доступ к данным о компании с помощью RAG или показать примеры хороших ответов.

При таком подходе модель получает нужную информацию, в нужном формате и нужном объеме. И, соответственно, лучше отвечает: меньше галлюцинирует, четче следует инструкциям, пишет в нужном стиле или точнее строит прогнозы.

Работа с контекстом особенно важна для AI-агентов. Они обрабатывают множество данных, на их основе принимают решения, адаптируют свою работу. Если дать агенту неполный контекст, он может столкнуться с трудностями:

• confusion — путаницей в информации;

• distraction — отвлечением на лишние детали, игнорированием важного;

• poisoning — подмешиванием вредоносных инструкций в контекст;

• clash — противоречиями, из-за которых модели сложно дать правдивый или полезный ответ.

🖐️ Способы контекст-инжиниринга, чтобы решить эти проблемы:

1. RAG. Добавьте в базу знаний LLM сведения из вашей базы знаний. Включите туда релевантную и полезную информация, исключите мусор и все, что устарело. Для этого используют ранкеры и стратегии построения RAG. А внедрить RAG в уже готовую LLM можно с сервисом Evolution Managed RAG.

2. Memory. Управляйте памятью LLM, чтобы она запоминала контекст диалога и промежуточные результаты задач. Так модель не «запутается», с меньшей вероятностью будет галлюцинировать и давать нерелевантные ответы.

3. Task Decomposition. Разбивайте сложные задачи на шаги. Так модель ответит более точно, если ей попадется многоступенчатый запрос, и с меньшей вероятностью что-то упустит.

4. Tool. Опишите агенту инструменты, функции и API, которые он может использовать в работе. Объясните ему, для чего нужен каждый.

5. Few-shot Examples. Покажите агенту 2–5 эталонных примеров, на которые он будет ориентироваться. В примеры включите входные данные, решение и результат. Так AI-агент без дорогого дообучения поймет, как решить задачу.

Контекст-инжиниринг помогает настроить все то, что нужно модели для ответа и решения задач. Создайте своего агента или мультиагентную систему в сервисе Evolution AI Agents и попробуйте этот подход на практике 🤖

Дайджест Рег.облака за сентябрь

Осень началась с крупных новостей — мы выпустили ИИ-ассистента, открыли новую московскую локацию и прокачали S3-хранилище. Всё это делает работу в Рег.облаке еще удобнее, безопаснее и мощнее.

• Выпустили ИИ-ассистента
  Теперь в Рег.облаке доступен готовый образ сервера с ИИ-ассистентом — решением на базе LLM-моделей, которое работает полностью в изолированном окружении. ИИ-ассистент помогает бизнесу автоматизировать задачи: собирать аналитические сводки, готовить материалы, консультировать пользователей и искать информацию по корпоративным документам через чат.

• Открыли новую локацию — Москва-2
  Добавили новый регион для заказа серверов в дата-центре «Медведково-2», сертифицированном по Tier III Facility. Здесь появилась линейка тарифов «Стандартные+» с дисковой подсистемой на NVMe SSD — она работает в 5–10 раз быстрее классических «Стандартных». Протестировать и заказать облачные серверы в новой локации можно на сайте Рег.облака.

• Обновили S3-хранилище
  Теперь пользователям в разделе «Объекты» доступны массовое удаление и перемещение файлов, поиск объектов, улучшенный интерфейс для управления бакетами. Работать с данными стало так же просто, как с файлами на локальном компьютере. Протестировать обновления можно в личном кабинете.

• Рассказали, как построить отказоустойчивую систему для ритейла в облаке
  На примере кейса мебельного ритейлера «169» показали, как полномасштабная миграция в облако помогла повысить производительность СУБД, а затраты на администрирование IT-инфраструктуры сократились на 30% за счет автоматизации и Pay-as-you-go-модели.

• Провели вебинар и запланировали еще один
  В конце сентября прошел вебинар по ФЗ-152, а уже 14 октября мы встретимся на следующем — про 1С:УНФ и автоматизацию малого бизнеса.

Сентябрь получился насыщенным — и это только начало. Осенью в Рег.облаке будет еще больше обновлений, запусков и практических материалов. Следите за новостями — впереди активный сезон.

Управлять облачными расходами часто сложнее, чем кажется

Счета растут, бюджеты сложно прогнозировать, а прозрачности мало. Особенно это ощущают компании, где несколько команд используют разные облачные сервисы и никто не видит полной картины.

Чтобы помочь компаниям системнее подойти к FinOps, мы собрали FinOps Community Bot. Это Telegram-бот, который объединяет несколько инструментов:

• Тест по FinOps. 9 вопросов за 5–7 минут. Бот рассчитает уровень зрелости вашей компании в управлении облачными затратами и подскажет следующие шаги.

• База знаний. Подборка статей, инструкций и практических материалов по FinOps.

• Календарь событий. Митапы, вебинары и конференции для специалистов и руководителей.

• Закрытый чат. Возможность обсудить опыт с коллегами и задать вопросы сообществу.

Бот полезен для любых ролей: CEO увидит картину в целом, CFO получит идеи по оптимизации расходов, DevOps-инженеры и CTO — практические шаги для улучшения процессов.

Начать просто: пройдите тест, получите рекомендации и используйте остальные функции бота для глубокого погружения и обмена опытом.

👉 Попробовать

Как «Пятерочка» сэкономила четверть бюджета на рекламу, использовав AI-дублера Ольги Медынич 👩🎥

Что за компания

«Пятерочка» — крупнейшая российская сеть продовольственных магазинов «у дома», входит в состав компании X5 Retail Group. Объединяет более 20 тысяч магазинов в 69 регионах России.

Какая была задача

Ритейлер запланировал продвигать сыры своей марки Liebendorf, а еще — сократить расходы на рекламу. Важная задача заключалась в том, чтобы успеть сделать запуск до конца года — так, чтобы завоевать доверие покупателей, и уже в Новый год сыры Liebendorf оказались на столах россиян. При этом декабрь — загруженный сезон для съемочных студий и знаменитостей, и в связи с плотным графиком сложно найти у селебрети слот для съемок.

Как ее решили

В Cloud.ru предложили нестандартное решение: приобрести у Ольги Медынич права на использование ее образа, а вместо живых съемок использовать цифровой двойник актрисы. AI-двойника создали на базе платформы Evolution AI Factory, а над AI-образом актрисы работали специалисты института искусственного интеллекта AIRI.

За основу взяли open source модель DeepFaceLab: доработали ее под задачи «Пятерочки», дообучили на общедоступных изображениях Ольги Медынич, а после съемок заменили лицо дублера на лицо актрисы.

Что в результате

«Пятерочка» сэкономила четверть бюджета, заложенного на привлечение знаменитости. Подготовка к съемкам заняла неделю — при том, что обычно подготовка к производству рекламы с участием звезд занимает около месяца.

Читайте полный кейс, чтобы узнать детали и увидеть результат — тот самый рекламный ролик, для которого использовали дипфейк 🤖

Дарим 35 000 рублей, чтобы протестировать сервисы Evolution Data Platform 🎁

Переходите по ссылке, чтобы получить 35 000 рублей и попробовать сервисы для работы с Big Data и машинным обучением. Оцените интерактивную аналитику, постройте ETL-пайплайны и Data Lakehouse-решения для вашего бизнеса.

Какие сервисы можно протестировать с бонусными рублями?

1. Evolution Managed Trino — аналитический SQL-движок Trino, чтобы облегчить обработку больших объемов данных с помощью распределенных запросов.

2. Evolution Managed Spark позволит развернуть кластерный вычислительный сервис, создать и конфигурировать инстансы Spark.

3. Evolution Managed Metastore подойдет для хранения метаданных: информацию о таблицах, колонках и партициях.

4. Evolution Managed BI — облачный сервис для удобной визуализации и анализа данных. Собирайте информацию из MySQL, Oracle, PostgreSQL и других источников — и стройте на их основе графики, таблицы и диаграммы.

5. Evolution Managed Airflow позволяет обрабатывать данные по принципу ETL, объединять задачи в пайплайны, планировать и запускать их по расписанию.

Тратьте бонусные рубли прозрачно: 1 бонус = 1 рубль. Получить подарок можно до конца года, а действовать он будет 60 дней с момента активации.

Как организовать инфраструктуру для высоконагруженной рекламной платформы: опыт МоеVideo

Когда миллионы пользователей генерируют огромный поток трафика, компаниям необходимо обеспечить высокую производительность системы и стабильную обработку данных. Такому же примеру последовала платформа МоеVideo. Рассказываем, как на IT-инфраструктуре Selectel она:

• подключила оптимальные конфигурации серверов под отдельные задачи,

• подобрала произвольные серверы под специфические требования СУБД,

• организовала геораспределенную сетевую связность.

Подробности кейса читайте в Академии Selectel, а также оставляйте заявку на бесплатную миграцию ➡️

Всего один час — и вы тратите на облако меньше 💸☁️

Облачная инфраструктура растет, расходы тоже, а следить за ними становится все сложнее... Мы вас понимаем — и зовем на вебинар, где расскажем, как сэкономить без сокращения ресурсов и мощностей.

О чем поговорим на встрече:

• Покажем реальные кейсы, как управлять расходами в личном кабинете Cloud.ru.

• Как перестать считать траты вручную — и начать автоматически.

• Как настроить уведомления и лимиты, чтобы быстро реагировать на превышения.

• Расскажем, как найти неэффективные ресурсы и сократить их использование.

• Как настроить подробную аналитику, тестирование и фильтры.

• Как сэкономить еще больше, если использовать бесплатные возможности Evolution free tier 😉

📅 Когда? 7 октября в 11 по мск.

📍Где? Онлайн. Регистрируйтесь на вебинар по ссылке →

А пока ждем встречи, спросите у AI-помощника Клаудии, как оптимизировать ресурсы в вашем облаке — найти Клаудию можно в личном кабинете Cloud.ru.

Менеджер Stripe Кэмерон Маттис простым способом отфильтровывает ИИ-рекрутеров, он добавил в раздел «О себе» в LinkedIn простой промпт для нейросетей с просьбой вставить в сообщение рецепт испанского пудинга. Это работает, ему присылают рецепты в предложениях о работе.

В Рег.облаке стало доступно новое локальное решение для запуска и управления языковыми моделями LLM. Облачный сервис разворачивается за несколько минут и работает в изолированном окружении: данные и доступ полностью контролируются пользователем.

Что входит в образ:

• Ollama — фреймворк для запуска и управления LLM-моделями;

• Open WebUI — веб-интерфейс для работы через браузер;

• предустановленные модели Gemma 3, DeepSeek и Grok, с возможностью подключения моделей из Ollama и Hugging Face.

Основные возможности:

• интеграция через API во внутренние сервисы;

• подключение документов и баз знаний для контекстных ответов;

• параллельный запуск и сравнение нескольких моделей;

• плагины Open WebUI для работы с файлами и данными;

• работа с конфиденциальной информацией без передачи в публичные сервисы.

ИИ-ассистент доступен в конфигурациях с CPU и GPU. Для работы с несколькими моделями рекомендована конфигурация с NVIDIA A5000 (24 ГБ), 16 vCPU и 64 ГБ RAM. Заказать и протестировать сервер с ИИ-ассистентом можно уже сейчас на сайте Рег.облака.

+10% к производительности сервера с конфигурацией AR45-NVMe 

Нужна высокая производительность на одном узле, но серверная платформа не по бюджету и избыточна? AR45-NVMe — готовый сервер с передовым десктопным CPU, локальной сетью и быстрыми NVMe-дисками. Решение спроектировано именно для таких задач. Предложение ограничено, успейте заказать сервер по ссылке —>

Характеристики:

• CPU: AMD Ryzen^TM 9 9950X, 16 ядер, до 4.3 ГГц;

• RAM: 192 ГБ DDR5 (non-ECC);

• Диск: 2×2000 ГБ SSD NVMe M.2;

• Сеть и сервис: 1 Гбит/с приватная сеть, безлимитный трафик, SLA 99.8%,защита от DDoS, 24/7 поддержка, 3 часа на замену комплектующих.

Из чего состоит прирост производительности +10%

Высокая частота сокращает задержки в задачах, где важна оперативность: сборки, компиляции, отладки и CI-прогоны реагируют быстрее, потому что ядра решают мелкие задачи быстрее.

Больше RAM значит реже подкачка на диск, меньше простоев из-за swapping и стабильнее in-memory вычисления при аналитике и прототипировании ML.

Низкая задержка и высокая пропускная способность, плюс рост числа операций ввода-вывода в секунду (IOPS). Они ускоряют доступ к временным файлам, БД и scratch-пространству. Которые при хранении в сетевом сторадже тормозят работу.

Как вайб-кодить с вайбом, а не с техдолгом и багами 👨‍💻✨

Разберемся в этом на вебинаре с нашим техническим экспертом Сашей Константиновым. Будет полезно всем, кто работает с кодом и данными — вы узнаете, как с помощью AI писать код быстрее и не проседать при этом в качестве.

Поговорим о том, как:

• Научить IDE кодить в вашем стиле, предсказуемо и по нужным стандартам.

• Подключить языковую модель к VS Code. Рассмотрим все на примере LLM из Evolution Foundation Models.

• Мониторить безопасность и качество кода в SonarQube.

📅 Когда? 30 сентября в 11 по мск.

📍 Где? Онлайн — вам осталось только зарегистрироваться →

Wildberries всё

WB прикрыл лавочку с «публичными» данными. Больше никаких остатков, цен и рекламных ставок для сторонних аналитик. Всё, что парсилось годами и кормило десятки тысяч селлеров лайфхаками — превратилось в труху.

Что это значит:
- Аналитические сервисы — парализованы
- Те, кто строил бизнес на чужих данных, теперь либо переписывают продукт, либо закрывают офис
- Селлеры — остаются один на один с личным кабинетом и API по токену
- Хотите прогнозов и репрайсинга? Учитесь работать со своими данными, а не подглядывать у соседа.
- Рынок — ждёт большая чистка
- Выживут только те инструменты, что помогают реально автоматизировать процессы на основе внутренних цифр, а не «угадай цену конкурента»

Wildberries чётко дал понять: «мы зарабатываем на нормальных поставщиках, а не на охотниках за хитростями»

По итогу — больно будет аналитическим платформам, а для селлеров это сигнал взрослеть: прокачивать ассортимент, сервис и клиентский опыт

Вышел сервис для проверки лекарств по названию. Внутри — подробное тестирование и данные о совместимости с другими препаратами. Самое удобное, что сервис сразу выдаёт список рандомизированных исследований, подтверждающих действие лекарства. Плюс отдельно отображаются возможные риски и побочные эффекты.

В SpaceWeb обновили юзабилити в S3

В SpaceWeb выкатили новую порцию полезных фич и обновлений в S3! Теперь к сервису можно подключаться не только через утилиту, но и все нужные настройки получится установить напрямую и через панель управления — сделали всё для удобства пользователя.

Основные апдейты:

• открыли доступ к самостоятельному управлению файлами — их можно и загружать, и удалять;

• подключили чекбоксы — документы удобно просматриваются компактным списком и по нему можно проводить поиск, что особенно важно при огромном количестве данных в S3;

• из хранилища теперь можно получить прямой адрес загруженного файла — это поможет в дальнейшем управлении и работе с ним.

Протестировать обновленный S3 можно уже сейчас в панели управления SpaceWeb.

3 неочевидных способа сэкономить на инференсе ML-модели в облаке кроме автоскейлинга 💸💸💸

Привет! Сегодня хотим поделиться тремя полезными способами сэкономить на инференсе, которые работают в облаке, причем, не только у нас (что? да!).  

А то ведь как бывает: запустишь свою крутую LLM-ку в продакшен, а счет прилетает такой, что хочется отключить обратно. Горизонтальный скейлинг не всегда выход. Но дешевле — не значит менее производительно. Мы приведем алгоритмы для сервиса Evolution ML Inference, но их можно адаптировать для любого провайдера. 

Способ 1. Использовать Sleep Mode vLLM 🔧

Способ работает только для языковых моделей (LLM), таких как Qwen, LLaMA, Mistral и других, запускаемых через vLLM. С диффузионными моделями, CV и временными рядами фокус не прокатит. Sleep Mode временно выгружает веса модели из GPU в RAM, освобождая до 90% видеопамяти. А раз GPU-ресурс не используется, то и не тарифицируется. «Разбудить» модель можно за секунды и без полной перезагрузки. 

Что делать: 

1. Запустите модель в ML Inference с runtime vLLM.

2. Включите режим разработки:

   VLLM_SERVER_DEV_MODE=1

3. Добавьте флаг:

   --enable-sleep-mode   

4. Управляйте через HTTP:

   ⦁ POST /sleep?level=1 — выгрузить веса, сохранить возможность быстрого запуска.

   ⦁ POST /wake_up — вернуть модель в активное состояние.

Когда применять: 

• В сценариях с неравномерной нагрузкой (например, днём активность, ночью — нет).

• Между итерациями RLHF, когда нужно освободить GPU. 

Способ 2. Serverless + Scale to Zero 🔧

Способ подходит вообще для всего. Суть в том, что контейнер с моделью останавливается при отсутствии запросов, освобождая все выделенные ресурсы (GPU, RAM, CPU). Кеш модели сохраняется, но тоже не тарифицируется в период простоя — PROFIT! При поступлении нового запроса модель запускается из кеша — и тут, мы, конечно, имеем проблему с задержкой при «холодном старте». Но пара секунд ожидания экономит нам сотни тысяч.

Что делать: 

1. При создании инференса в ML Inference:

   ⦁ Установите min_replicas = 0.

   ⦁ Выберите тип масштабирования: RPS или Concurrency.

2. Убедитесь, что Idle-таймаут = 40 сек.

Когда применять: 

• Для MVP, демо, внутренних API.

• Сценариев с нерегулярной нагрузкой (например, 100 запросов в день).

• Моделей, где допустима небольшая задержка при первом запросе.

Способ 3. Time Slicing GPU 🔧

Способ работает в рамках Managed Kubernetes (MK8s), при условии, что в кластере создана группа узлов с GPU NVIDIA Tesla V100. Суть в том, что одна физическая GPU делится между несколькими подами (например, 5 подов по 1 GPU): каждый получает свою долю времени, как если бы у него была выделенная карта. 

Что делать: 

1. Создайте кластер Managed Kubernetes с узлом, где:

   ⦁ GPU: NVIDIA Tesla V100.

   ⦁ Количество GPU: 1.

2. Настройте Time-Slicing. Создайте ConfigMap:

   apiVersion: v1

   kind: ConfigMap

   metadata:

     name: time-slicing-config

     namespace: gpu-operator

   data:

     tesla-v100: |-

       version: v1

       sharing:

         timeSlicing:

           resources:

             - name: nvidia.com/gpu

               replicas: 5

   Примените: kubectl apply -f cloudru-time-slicing.yaml

3. Установите NVIDIA GPU Operator. В Личном кабинете Cloud.ru:

   ⦁ Перейдите в кластер → Плагины → Добавить.

   ⦁ Выберите NVIDIA GPU Operator.

   ⦁ В расширенной конфигурации укажите:

     devicePlugin:

       config:

         name: time-slicing-config

         default: tesla-v100

4. Проверьте работу. Запустите Deployment с 5 репликами:

   resources:

     limits:

       nvidia.com/gpu: 1

Все 5 подов должны перейти в статус Running.

Когда применять: 

• Для тестовых и демо-сценариев, стартапов или MVP.

• Для низконагруженных задач — инференс небольших моделей, дообучение, RLHF.

• Для команд разработки, чтобы работать в одном кластере и делить ресурсы.

А какие нестандартные методы оптимизации бюджета используете вы? Собираем коллекцию советов для экономных в комментариях!