Как Shared GPU позволяет дешевле разворачивать ML- и DL-модели в облаке ☁️⚙️
Shared GPU — технология, которая позволяет вместо аренды целой видеокарты арендовать ее часть. Это удобно для запуска небольших моделей: так, если вам нужно только 12 ГБ, вы арендуете именно их, а не платите за все 80 ГБ. А еще вы сможете перераспрелять ресурсы GPU в зависимости от нагрузки и не платить, когда нет запросов.
❓ Как все это работает
Shared GPU делит ресурсы видеокарты на несколько подов, и каждая модель запускается на отдельном. Благодаря этому можно развернуть несколько небольших моделей на одной GPU, а не арендовать для каждой отдельную видеокарту и платить за ресурсы, которые будут простаивать.
Контейнеры, на которых размещены модели, изолированы друг от друга. Если с одним из них что-то произойдет, сервисы на других подах продолжать не упадут.
🚀 Преимущества, которые дает Shared GPU:
Автомасштабирование и скейлинг в ноль. Если запросов много, дополнительные мощности выделятся автоматически. А если запросов нет дольше установленного времени, контейнер с моделью ставятся на паузу, и тарификация прекращается.
Pay-as-you-go. Платите только за те мощности, которые используете, а не за целую GPU или время простоя.
Рациональное использование мощностей. Для каждого проекта не нужно закупать отдельную GPU. Если ресурсы временно не используются, их можно перераспределить на другие задачи.
Гибкая настройка и масштабируемость. Есть возможность менять количество выделенных на каждый под ресурсов, перераспределять их в зависимости от нагрузки, развертывать несколько моделей на одной видеокарте.
Расскажем, как подготовить IT-системы к наплыву покупателей 🛍️💻
Черная пятница, а после — предновогодняя суета с поиском подарков или продуктов…
На вебинаре расскажем, как обернуть ситуацию в свою пользу: подготовить IT-инфраструктуру, чтобы сервисы не упали, покупатели остались довольны, а компания не потеряла прибыль.
Зовем всех, кто отвечает за отказоустойчивость IT-систем в ритейле и e-com: CIO, CTO, руководителей и менеджеров по цифровой трансформации и IT, руководителей инфраструктурных операций и не только.
Обсудим, как:
добиться SLA 99,95%, обеспечить минимальные RTO и RPO, чтобы быстро восстанавливаться после сбоев;
перенести и настроить в облаке 1С;
переложить обслуживание инфраструктуры на облачного провайдера;
выстроить бэкапы и аварийное восстановление.
📅 Когда? 11 ноября в 11:00 мск.
📍Где? Встречаемся онлайн. Регистрируйтесь на странице вебинара — и до скорой встречи.
Горящие новости Evolution Foundation Models: модели, тарифы и акции 🔥
Попробуйте бесплатно 20+ LLM, реранкеров и эмбеддеров в Evolution Foundation Modelsдо 1 ноября, а затем используйте их по цене 35 рублей за миллион входных и 70 рублей за миллион выходных токенов.
А еще выбирайте модели из расширенного списка, ведь недавно мы добавили:
GigaChat 2 MAX — самую мощную LLM линейки GigaChat, которая обошла GPT-4o и Claude 2 в тесте MMLU-RU.
Qwen3-Next-80B-A3B-Instruct, которая сочетает высокоскоростные блоки для длинных последовательностей и точные attention-слои, а также использует спарсовую архитектуру Mixture of Experts с 512 экспертам.
GLM-4.6 с высокой производительностью при написании кода в Cline, Roo Code и Kilo Code.
Whisper large-v3 — продвинутую модель от OpenAI для распознавания речи. Модель не надо дообучать, а еще ее можно использовать в коммерческих целях — она распространяется под свободной лицензией Apache-2.0.
MiniMax-M2 — компактную, но мощную модель для работы с кодом и агентами. №1 среди open source моделей в бенчмарке Artificial Analysis, которая умеет планировать цепочки действий, работать с окружением, извлекать данные и работать с внешними инструментами.
Для использования моделей не нужно писать код или развертывать инференс, все уже готово к подключению через API.
Делимся горячими новостями нашей платформы Cloud.ru Evolution 🚀
🎁 Акции
Работайте бесплатно с 20+ мощными open sourse моделями из Evolution Foundation Models. Все уже готово: вам не придется тратить время на развертывание инференса или код, нужно только подключиться через API. Акция действует до 31 октября.
Получите 35 000 бонусов для работы в Evolution Data Platform. Используйте бонусные рубли, чтобы управлять Big Data, собирать данные для бизнеса и ML. Предложение только для юрлиц, действует до 31 декабря 2025 года.
🛡️ Новые сертификаты
Надежность наших сервисов подтверждена регуляторами. Платформа Cloud.ru Evolution теперь в реестре отечественного ПО (РОПО), а еще она получила сертификаты PCI DSS и ФСТЭК России.
🤖 Evolution ML Inference
Появился каталог с готовыми моделями, которые доступны для инференса. Среди них — Qwen, DeepSeek, Gemma и не только.
Стал доступен тестовый вызов модели в Model RUN через OpenAPI. Во вкладке OpenAPI найдете полную спецификацию API, описание эндпоинтов, параметров, моделей, запросов и ответов.
🧑💻 Evolution Notebooks
Что мы добавили в сервис:
CLI-утилиту, чтобы управлять Conda-окружениями. Инструмент облегчит работу с версиями окружений, поддержкой чистоты и согласованности IDE.
Стало проще добавлять публичные доменные зоны. Доменные зоны с уникальным FQDN подтверждать теперь не надо, сервис сделает это автоматически.
Для публичных доменных зон теперь можно использовать GSLB-записи. Технология GSLB распределяет трафик между серверами из разных регионов.
💻 Evolution Managed Kubernetes
Управляйте контейнерными приложениями в Kubernetes 1.33 — теперь Evolution Managed Kubernetes поддерживает и эту версию. Что в ней есть:
В бета-тесте — использование образов Open Container Initiative (OCI) в качестве томов в подах, а еще In-place resource resize для вертикального масштабирования подов.
Общедоступными стали поддержка Sidecar-контейнеров, Multiple Service CIDRs, нового бэкенда nftables для kube-proxy, subresource для kubectl. Полный обзор изменений есть в официальном блоге Kubernetes.
📚 Evolution Managed PostgreSQL
Для кластеров в режиме «Бизнес» теперь можно создать отдельный WAL-диск. Так вы сможете увеличить размер как основного, так и WAL-диска.
В документации сервиса новый раздел — справочник API. Узнайте, как управлять вашими ресурсами в облаке и получать о них информацию с помощью REST API.
📀 Evolution Object Storage
Улучшили мониторинг: получайте информацию о максимальном объеме бакетов, о внешнем и внутреннем исходящем трафике.
🔋 Evolution Compute
Удаляйте и создавайте несколько виртуалок одновременно.
Отключайте и подключайте загрузочные диски между ВМ.
Переустанавливайте ОС на ВМ, которая работает в данный момент.
Как Dodo Brands развернула 1С в облаке Cloud.ru и ускорила выгрузку отчетов в два раза 📙☁️
Что за компания
Dodo Brands — компания, которая развивает бренды быстрого питания через франчайзинг и открыла более 1 500 точек в 26 странах мира. Сейчас у Dodo Brands есть популярные сети: пиццерии «Додо Пицца» и кофейни «Дринкит».
У компании есть своя IT-команда Dodo Engineering и технологическая платформа Dodo IS. Dodo Brands разработала сайты и приложения для своих сетей, умную выдачу в кофейнях и систему управления ресторанами, где можно планировать все бизнес-процессы: назначать смены, отслеживать заказы, анализировать продажи в реальном времени.
Какая была задача
В Dodo Brands «1С:Бухгалтерия» — важная система, которая влияет на все процессы в компании. От стабильной работы 1С напрямую зависит прибыль и удовлетворенность клиентов. К примеру, если что-то даст сбой, тесто или кофейные зерна приедут позже. Посетители останутся без пепперони или капучино, а точка недополучит денег.
Сначала Dodo Brands арендовала ПО. Чтобы все работало стабильнее, компания решила закупить лицензии и перейти в частное облако для хостинга всех своих сервисов. Dodo Brands начала сотрудничать с популярным облачным провайдером, но возникла проблема: работа бухгалтеров в 1С стала занимать в два раза больше времени, а работа самой системы замедлилась втрое.
Бухгалтерия не хотела тратить пять часов на закрытие месяца, а еще такой расклад не устраивал IT-команду, поэтому Dodo Brands решила сменить поставщика облачных услуг.
Как ее решили
Изначально рабочая база данных Dodo Brands размещалась на IT-ресурсах предыдущего провайдера, но с БД начались непредвиденные проблемы. Важно было быстро восстановить работу: от 1С зависят поставки продуктов, и сбой мог бы повлечь приостановку всех бизнес-процессов.
Во время неполадок с БД Dodo Brands уже тестировала сервисы Cloud.ru, они выигрывали по сравнению с предыдущим поставщиком облачных услуг. По итогам теста команде понравился результат, и компания решила перенести IT-инфраструктуру в облако Cloud.ru.
Сначала команда Dodo Brands использовала мощности Cloud.ru, чтобы восстановить работу БД. А еще удалось сократить время отладки процессов. После этого развернула копию 1С-инфраструктуры — виртуальные машины с определенным количеством процессоров и оперативной памяти.
При миграции развернули восемь ВМ для приложений, баз данных и веб-сервера. Тестирование длилось три недели, а миграция заняла всего один день. Мы всегда были на связи с менеджером компании и подключали круглосуточную техподдержку.
Что в результате
Время выгрузки отчетов из «1С:Бухгалтерии» сократилось в два раза: с 5 до 2,5 часов благодаря миграции в Advanced Elastic Cloud Server.
Перенесли в облако рабочую БД прямо во время теста сервисов Cloud.ru. Как итог — работа БД быстро восстановилась, а еще сократилось время на отладку.
Обеспечили стабильную работу 1С в облаке. Это позволило Dodo Brands четко планировать бизнес-процессы и не тратить время на устранение неполадок.
Читайте полный кейс, чтобы узнать больше о ходе работы и полученных результатах 🚀
Да-да, вам не показалось. В нашем блоге мы рассказываем, как облачные и AI-технологии помогают решать IT-задачи. А теперь — сделали это в неожиданном формате.
Здесь не будет чудо-ножей и пылесосов, только реальные инструменты, которые делают работу с облаками и AI проще.
Усаживайтесь поудобнее: в четырех выпусках ведущие покажут, как с помощью облачных сервисов:
🔍 внедрять умный поиск на базе RAG 🚀 ускорять разработку приложений 💻 кодить с помощью AI ⚙️ собирать корпоративных AI-агентов
Все это — на базе публичного облака Cloud.ru Evolution и цифровой среды для работы с GenAI Evolution AI Factory.
Все выпуски облачного телемагазина смотрите тут: tvshop.cloud.ru
Как развернуть свою базу знаний на wiki-движке Outline 🤓🌐
Не очень удобно, когда сотни мануалов и документация раскиданы по разным чатам и хранилищам. Сотрудники рыскают среди этой информации и теряют драгоценное время. Можно сделать базу знаний и использовать для этого сторонние SaaS-сервисы, но, как показал уход Notion, компания может потерять доступ к своим данным в любой момент.
Что делать? Cоздать свою базу знаний, работа которой не будет зависеть от поставщика 💡 А как это сделать, расскажем на вебинаре — посмотрим на организацию процесса на примере движка Outline.
Что будет на вебинаре:
как развернуть и масштабировать собственную корпоративную Wiki на базе ВМ и объектного хранилища;
покажем, как настроить SSO, чтобы централизовать аутентификацию и обеспечить сотрудникам безопасный доступ;
как через MCP-сервер интегрировать AI-помощника, чтобы он мгновенно отвечал на вопросы по информации из базы знаний;
покажем на практике, как настроить и интегрировать все компоненты вашей Wiki.
📅 Когда? 23 октября в 11 по мск.
📍Где? Онлайн — переходите по ссылке и регистрируйтесь.
Чтобы уже сейчас узнать о корпоративной Wiki, читайте нашу инструкцию на Хабре про то, как развернуть базу знаний Outline c SSO и AI в облаке. А если появятся вопросы, то оставляйте их в комментариях — эксперт (и он же автор статьи) ответит на них на вебинаре 😉
Публичное облако Cloud.ru Evolution теперь в реестре российского ПО 🎉
И это не последние новости Cloud.ru Evolution к этому часу. Присоединяйтесь к нашему вебинару, где расскажем о новостях платформы. Ждем всех, кто хочет быть в курсе новостей и в числе первых узнать, как использовать обновления на пользу бизнесу.
Что обсудим:
Какие возможности дает то, что Cloud.ru Evolution в реестре отечественного ПО (РОПО).
Новые сервисы для миграции и резервного копирования, которые помогут вам переехать из других облаков.
Инструменты и сервисы для работы с AI&ML — и как бесплатно их потестировать.
Как улучшилась работа с приложениями в Kubernetes.
Новые инструменты для аналитики: как с ними работать, чтобы оптимизировать ресурсы облака.
А в конце вебинара вас ждет демо — в прямом эфире покажем, как развернуть веб-приложение с обновленными сервисами Cloud.ru Evolution.
Полезные ссылки про AI, облака и новости в дайджесте за сентябрь 🌂
🎙️ Провели конференцию GoCloud Tech. В программе — 20+ выступлений, демо и релизы новых сервисов, технические воркшопы и много нетворкинга. На GoCloud Tech было:
850+ офлайн-участников;
2 800+ онлайн-зрителей;
4 трека, 37 спикеров, 5 воркшопов и 13 демозон.
Записи всех докладов можете посмотреть на удобной площадке: YouTube или VK Видео.
🤖 На конференции поделились результатами первых двух месяцев работы AI-помощника Cloud.ru в облаке:
к помощнику обратились 4 000 пользователей;
отправили свыше 12 000 сообщений;
пользователи ускорили рутинные операции в 15 раз.
Другие новые возможности сервиса:
SRE-агент для мониторинга приложений и алертов по логам. Помощник обратит внимание на аномалии в работе сервисов и даст советы по улучшениям.
FinOps-оптимизация. AI-помощник Cloud.ru может найти неиспользуемые виртуальные машины, которые можно отключить, или активные виртуальные машины, которые можно оптимизировать для снижения затрат.
Запустили Evolution VPN. Это защищенная сеть, которая позволяет удаленно подключаться к облаку, получать безопасный доступ к ресурсам внутри корпоративной сети или VPC.
Magic Link расширяет возможности Magic Router. Теперь без использования интернета можно организовывать сетевую связность между облачными ресурсами, созданными в разных проектах облачной платформы одного или разных клиентов.
Evolution Data Platform теперь в коммерческой эксплуатации. Теперь все data-сервисы разворачиваются в едином кластере на общем платформенном слое. Это упрощает интеграцию сервисов и весь цикл работ с данными.
🎁 Дарим юрлицам 35 000 бонусов для работы с Evolution Data Platform. Используйте бонусы, чтобы работать с Big Data, собирать данные для машинного обучения, автоматизировать обработку данных — и не только.
💸 Анонсировали тарифы для Evolution Foundation Models — сервиса с популярными моделями, доступными по API. До 31 октября больше 20 LLM доступны бесплатно, а с 1 ноября средняя цена составит:
35 рублей за миллион входных токенов;
70 рублей за миллион выходных токенов.
Добавили новые модели, которые в Evolution Foundation Models можно использовать бесплатно до 31 октября: это Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B и GigaChat 2 MAX.
👨💻 Вместе с GitVerse и Хабром запустили программу «Код без границ» для развития open source проектов. Чтобы принять участие, разместите свой проект на GitVerse и подайте заявку до 31 октября. Победители получат от 50 до 150 тысяч рублей, облачные ресурсы от Cloud․ru и доступ к профессиональному сообществу.
🎥 Провели много полезных вебинаров — переходите по ссылкам, чтобы посмотреть их в записи:
🎬 Смотрите новый выпуск подкаста ClientFirst о запуске e-commerce в METRO, сохранении культуры IT-команды и задачах, для которых подходит AI. Спикеры — директор по продажам и маркетингу Cloud.ru Андрей Зотов и IT-директор METRO Антон Антоничев. Запись есть на YouTube, VK Видео и RuTube.
💼 Делимся кейсами наших клиентов о том, как решать задачи бизнеса в облаке:
🎨 Прокачали наш бесплатный курс «Креативное мышление и AI для решения задач». Прокачайте стратегическое мышление, научитесь находить первоначальные проблемы, освойте ТОС и CRAFT для генерации идей. А еще — создайте креативного AI-ассистента в Chatbox, который будет давать нешаблонные ответы под ваши задачи.
💳 Присоединяйтесь к реферальной программе Cloud.ru: рекомендуйте нас клиентам и получайте 20% от их чека в первый год и 15% — в последующие.
Как Cloud.ru и «Опс Гуру» разработали облачное решение, чтобы Familia рассчитывала нагрузку на магазины 👗👨💻
О партнере
«Опс Гуру» внедряет облачную инфраструктуру, адаптирует ее под задачи бизнеса, помогает в эксплуатации и защите производственных сред, разрабатывает и модернизирует cloud native приложения с использованием микросервисов. В 2023 году Cloud.ru и «Опс Гуру» заключили партнерское соглашение, чтобы вместе масштабировать облачные решения под требования клиентов из разных индустрий.
Какая была задача
Спроектировать облачную инфраструктуру для Familia — федеральной сети офф-прайс-магазинов в России, где представлено 6 500+ брендов. Familia разрабатывала решение для оптимизации бизнес-процессов, включая расчет нагрузки на магазины и автоматическое составление графиков сотрудников.
Облачная инфраструктура должна была:
Запускаться нерегулярно, но с высокими вычислительными мощностями.
Автоматически удалять ресурсы после выполнения расчетов.
Обеспечивать безопасное зашифрованное соединение с внутренней базой данных.
Настроили динамическое развертывание виртуальных машин и управление ими как кодом (IaC). После выполнения расчетов ВМ не висят на балансе пустым грузом, а автоматически удаляются. В итоге оплата начисляется только за время фактической работы.
Организовали защищенный сетевой контур. Использовали Advanced NAT Gateway для доступа в интернет, Advanced Elastic IP для создания уникального публичного IP-адреса, Advanced VPC для безопасного взаимодействаия между компонентами инфраструктуры.
Показываем в скринкасте, как развернуть Minecraft-сервер на бесплатной виртуалке ⛏️👾
Свой сервер пригодится, если хочется настроить игру под себя, свободно приглашать друзей и не переживать за лаги. Александр Стародубцев, технический лидер Cloud.ru, рассказывает, как создать такой сервер самостоятельно с помощью всего двух сервисов: бесплатной виртуальной машины и публичного IP-адреса.
С ресурсами Evolution free tier можно бесплатно создать ВМ, хранить файлы и запускать контейнеры. Сделайте своего телеграм-бота, храните в облаке фото, видео и документы или создайте сервер в Minecraft по нашей инструкции 😉
Идеи, с чем интегрировать LLM из Evolution Foundation Models 🖥
В сервисе Evolution Foundation Models представлены open source модели, к которым вы можете делать запросы по API. А еще есть возможность интегрировать эти LLM в разные фреймворки, библиотеки и редакторы кода, чтобы автоматизировать часть задач и облегчить себе работу.
⬇️ Расскажем о четырех сценариях применения LLM из Evolution Foundation Models с разными инструментами. А еще дадим ссылки на руководства по подключению:
Создайте своего Code Agent с Aider и VS Code. Подключите в свой сервис по API подходящую под ваши задачи LLM, а потом используйте редакторы кода, чтобы создать интеллектуального помощника по программированию. Тот поможет писать и рефакторить код, искать баги, проводить тесты и составлять документацию.
Встройте LLM в чат-интерфейс платформ Chatbox, Open WebUI или LibreChat. Так вы сможете, например, настроить работу команды с LLM и контролировать расход токенов, создавать собственных AI-ассистентов, использовать RAG и поиск в интернете.
Напишите своего чат-бота с фреймворком LangChain, который предназначен для создания AI-ориентированных приложений. Добавьте созданного чат-бота в беседу, чтобы он делал выжимки из диалогов и отслеживал в них задачи. Или интегрируйте получившегося AI-помощника в службу поддержки, чтобы быстрее отвечать клиентам.
Организуйте LLM-шлюз с библиотекой Litellm. Например, она на дает доступ к разным LLM по единому API-ключу и возможность выбрать резервную модель на случай, если с основной что-то случится. LLM-шлюз упростит вам работу: он может управлять сразу несколькими LLM, помогает балансировать нагрузку и контролировать траты.
Кстати, более 20 LLM, эмбеддеров и реранкеров из Evolution Foundation Models доступны бесплатно до 31 октября. Выберите модели, которые по бенчмаркам лучше подходят к вашим задачам, и протестируйте их в работе 🤖
Что такое контекст-инжиниринг и в чем его отличие от промпт-инжиниринга? 👨💻✍️
Контекст-инжиниринг (context engineering) — это подход, который предполагает, что для наполнения контекстного окна LLM используют все доступные способы. В отличие от промпт-инжениринга, работа с контекстом предполагает не только дизайн промпта, а настройку всего, что LLM использует для решения задач. Например, можно дать модели доступ к данным о компании с помощью RAG или показать примеры хороших ответов.
При таком подходе модель получает нужную информацию, в нужном формате и нужном объеме. И, соответственно, лучше отвечает: меньше галлюцинирует, четче следует инструкциям, пишет в нужном стиле или точнее строит прогнозы.
Работа с контекстом особенно важна для AI-агентов. Они обрабатывают множество данных, на их основе принимают решения, адаптируют свою работу. Если дать агенту неполный контекст, он может столкнуться с трудностями:
confusion — путаницей в информации;
distraction — отвлечением на лишние детали, игнорированием важного;
poisoning — подмешиванием вредоносных инструкций в контекст;
clash — противоречиями, из-за которых модели сложно дать правдивый или полезный ответ.
🖐️ Способы контекст-инжиниринга, чтобы решить эти проблемы:
RAG. Добавьте в базу знаний LLM сведения из вашей базы знаний. Включите туда релевантную и полезную информация, исключите мусор и все, что устарело. Для этого используют ранкеры и стратегии построения RAG. А внедрить RAG в уже готовую LLM можно с сервисом Evolution Managed RAG.
Memory. Управляйте памятью LLM, чтобы она запоминала контекст диалога и промежуточные результаты задач. Так модель не «запутается», с меньшей вероятностью будет галлюцинировать и давать нерелевантные ответы.
Task Decomposition. Разбивайте сложные задачи на шаги. Так модель ответит более точно, если ей попадется многоступенчатый запрос, и с меньшей вероятностью что-то упустит.
Tool. Опишите агенту инструменты, функции и API, которые он может использовать в работе. Объясните ему, для чего нужен каждый.
Few-shot Examples. Покажите агенту 2–5 эталонных примеров, на которые он будет ориентироваться. В примеры включите входные данные, решение и результат. Так AI-агент без дорогого дообучения поймет, как решить задачу.
Контекст-инжиниринг помогает настроить все то, что нужно модели для ответа и решения задач. Создайте своего агента или мультиагентную систему в сервисе Evolution AI Agents и попробуйте этот подход на практике 🤖
Как «Пятерочка» сэкономила четверть бюджета на рекламу, использовав AI-дублера Ольги Медынич 👩🎥
Что за компания
«Пятерочка» — крупнейшая российская сеть продовольственных магазинов «у дома», входит в состав компании X5 Retail Group. Объединяет более 20 тысяч магазинов в 69 регионах России.
Какая была задача
Ритейлер запланировал продвигать сыры своей марки Liebendorf, а еще — сократить расходы на рекламу. Важная задача заключалась в том, чтобы успеть сделать запуск до конца года — так, чтобы завоевать доверие покупателей, и уже в Новый год сыры Liebendorf оказались на столах россиян. При этом декабрь — загруженный сезон для съемочных студий и знаменитостей, и в связи с плотным графиком сложно найти у селебрети слот для съемок.
Как ее решили
В Cloud.ru предложили нестандартное решение: приобрести у Ольги Медынич права на использование ее образа, а вместо живых съемок использовать цифровой двойник актрисы. AI-двойника создали на базе платформы Evolution AI Factory, а над AI-образом актрисы работали специалисты института искусственного интеллекта AIRI.
За основу взяли open source модель DeepFaceLab: доработали ее под задачи «Пятерочки», дообучили на общедоступных изображениях Ольги Медынич, а после съемок заменили лицо дублера на лицо актрисы.
Что в результате
«Пятерочка» сэкономила четверть бюджета, заложенного на привлечение знаменитости. Подготовка к съемкам заняла неделю — при том, что обычно подготовка к производству рекламы с участием звезд занимает около месяца.
Читайте полный кейс, чтобы узнать детали и увидеть результат — тот самый рекламный ролик, для которого использовали дипфейк 🤖
Дарим 35 000 рублей, чтобы протестировать сервисы Evolution Data Platform 🎁
Переходите по ссылке, чтобы получить 35 000 рублей и попробовать сервисы для работы с Big Data и машинным обучением. Оцените интерактивную аналитику, постройте ETL-пайплайны и Data Lakehouse-решения для вашего бизнеса.
Какие сервисы можно протестировать с бонусными рублями?
Evolution Managed Trino — аналитический SQL-движок Trino, чтобы облегчить обработку больших объемов данных с помощью распределенных запросов.
Evolution Managed Spark позволит развернуть кластерный вычислительный сервис, создать и конфигурировать инстансы Spark.
Evolution Managed BI — облачный сервис для удобной визуализации и анализа данных. Собирайте информацию из MySQL, Oracle, PostgreSQL и других источников — и стройте на их основе графики, таблицы и диаграммы.
Evolution Managed Airflow позволяет обрабатывать данные по принципу ETL, объединять задачи в пайплайны, планировать и запускать их по расписанию.
Тратьте бонусные рубли прозрачно: 1 бонус = 1 рубль. Получить подарок можно до конца года, а действовать он будет 60 дней с момента активации.
Всего один час — и вы тратите на облако меньше 💸☁️
Облачная инфраструктура растет, расходы тоже, а следить за ними становится все сложнее... Мы вас понимаем — и зовем на вебинар, где расскажем, как сэкономить без сокращения ресурсов и мощностей.
О чем поговорим на встрече:
Покажем реальные кейсы, как управлять расходами в личном кабинете Cloud.ru.
Как перестать считать траты вручную — и начать автоматически.
Как настроить уведомления и лимиты, чтобы быстро реагировать на превышения.
Расскажем, как найти неэффективные ресурсы и сократить их использование.
Как настроить подробную аналитику, тестирование и фильтры.
Как сэкономить еще больше, если использовать бесплатные возможности Evolution free tier 😉
📅 Когда? 7 октября в 11 по мск.
📍Где? Онлайн. Регистрируйтесь на вебинар по ссылке →
А пока ждем встречи, спросите у AI-помощника Клаудии, как оптимизировать ресурсы в вашем облаке — найти Клаудию можно в личном кабинете Cloud.ru.
Как вайб-кодить с вайбом, а не с техдолгом и багами 👨💻✨
Разберемся в этом на вебинаре с нашим техническим экспертом Сашей Константиновым. Будет полезно всем, кто работает с кодом и данными — вы узнаете, как с помощью AI писать код быстрее и не проседать при этом в качестве.
Поговорим о том, как:
Научить IDE кодить в вашем стиле, предсказуемо и по нужным стандартам.
3 неочевидных способа сэкономить на инференсе ML-модели в облаке кроме автоскейлинга 💸💸💸
Привет! Сегодня хотим поделиться тремя полезными способами сэкономить на инференсе, которые работают в облаке, причем, не только у нас (что? да!).
А то ведь как бывает: запустишь свою крутую LLM-ку в продакшен, а счет прилетает такой, что хочется отключить обратно. Горизонтальный скейлинг не всегда выход. Но дешевле — не значит менее производительно. Мы приведем алгоритмы для сервиса Evolution ML Inference, но их можно адаптировать для любого провайдера.
Способ 1. Использовать Sleep Mode vLLM 🔧
Способ работает только для языковых моделей (LLM), таких как Qwen, LLaMA, Mistral и других, запускаемых через vLLM. С диффузионными моделями, CV и временными рядами фокус не прокатит. Sleep Mode временно выгружает веса модели из GPU в RAM, освобождая до 90% видеопамяти. А раз GPU-ресурс не используется, то и не тарифицируется. «Разбудить» модель можно за секунды и без полной перезагрузки.
Что делать:
1. Запустите модель в ML Inference с runtime vLLM.
2. Включите режим разработки:
VLLM_SERVER_DEV_MODE=1
3. Добавьте флаг:
--enable-sleep-mode
4. Управляйте через HTTP:
⦁ POST /sleep?level=1 — выгрузить веса, сохранить возможность быстрого запуска.
⦁ POST /wake_up — вернуть модель в активное состояние.
Когда применять:
В сценариях с неравномерной нагрузкой (например, днём активность, ночью — нет).
Между итерациями RLHF, когда нужно освободить GPU.
Способ 2. Serverless + Scale to Zero 🔧
Способ подходит вообще для всего. Суть в том, что контейнер с моделью останавливается при отсутствии запросов, освобождая все выделенные ресурсы (GPU, RAM, CPU). Кеш модели сохраняется, но тоже не тарифицируется в период простоя — PROFIT! При поступлении нового запроса модель запускается из кеша — и тут, мы, конечно, имеем проблему с задержкой при «холодном старте». Но пара секунд ожидания экономит нам сотни тысяч.
Что делать:
1. При создании инференса в ML Inference:
⦁ Установите min_replicas = 0.
⦁ Выберите тип масштабирования: RPS или Concurrency.
2. Убедитесь, что Idle-таймаут = 40 сек.
Когда применять:
Для MVP, демо, внутренних API.
Сценариев с нерегулярной нагрузкой (например, 100 запросов в день).
Моделей, где допустима небольшая задержка при первом запросе.
Способ 3. Time Slicing GPU 🔧
Способ работает в рамках Managed Kubernetes (MK8s), при условии, что в кластере создана группа узлов с GPU NVIDIA Tesla V100. Суть в том, что одна физическая GPU делится между несколькими подами (например, 5 подов по 1 GPU): каждый получает свою долю времени, как если бы у него была выделенная карта.
Что делать:
1. Создайте кластер Managed Kubernetes с узлом, где:
🤖 Запустили AI-помощника Клаудию — она доступна в вашем личном кабинете. Клаудия поможет создать ВМ, уточнит задачу и подберет конфигурацию, подскажет команды в консоли. А еще настроит виджеты, алерты и нотификации для контроля ВМ, поможет найти нужное в документации и выступит как co-pilot. Попробуйте бесплатно — новым пользователям дадим 4 000 рублей на облачные ресурсы.
🖥️ В Evolution Foundation Modelsоткрыли доступ к новым open source моделям, в том числе к OpenAI 120b, Qwen-3, GigaChat, GLM-4.5 и другим. Всего доступно 20+ LLM, ранжировщиков и эмбеддеров, а до 31 октября вы можете бесплатно потестировать их на своих проектах.
Участвовали в крупных мероприятиях:
Провели митап Cloud․ru Tech Lab: AI&ML, где рассказали, как автоматизировали пользовательские сценарии с помощью AI-агента, разобрали устройство агентов, RAG и Ragas. А еще слушатели могли вживую пообщаться с экспертами, «прожарить» свое резюме и посетить демозону AI-решений на базе Cloud․ru Evolution.
Организовали конференцию GoCloud Tech 2025 о создании решений на базе AI и облаков. Обсудили кейсы внедрения AI&ML, тренды в создании облачной инфраструктуры, актуальные практики для работы с данными в облаке.
Во второй раз приняли участие в крупнейшей AI-выставке в мире — World Artificial Intelligence Conference в Шанхае 🇨🇳 На нашем стенде мы показали платформу Cloud․ru Advanced, провели встречи с Geely, Tencent, Baidu, IFlytek, GAC, TikTok, Alibaba, Li Auto и другими зарубежными компаниями.
🧠 Запустили бесплатный курс про создание ML-моделей и их внедрение в бизнес. Будет полезно менеджерам продуктов и проектов, DS-, backend- и frontend-разработчикам, продуктовым дизайнерам. Можно учиться в комфортном темпе, а в конце дадим именной сертификат.
✨ Предлагаем бесплатно протестировать сервисы Evolution Data Platform — новой платформы для полного цикла работ с данными:
Evolution Managed BI для визуализации и анализа данных в облаке, в стадии public preview;
Evolution Managed Airflow поможет управлять рабочими процессами. Находится в стадии private preview — напишите своему аккаунт-менеджеру, чтобы начать тестирование.
Запустили в публичное превью и другие сервисы Evolution Data Platform:
Обсудили с Павлом Наумовым, первым вице-президентом Газпромбанка, как меняется клиентский путь и что такое «человеколюбие» в цифровых продуктах. Смотрите на удобной площадке: VK Видео, YouTube или Rutube.
💳 Упростили регистрацию в реферальной программе: теперь подать заявку можно в несколько кликов, а на каждом этапе вы можете получить помощь менеджера. Присоединяйтесь к программе до 30 сентября, рекомендуйте сервисы Cloud.ru, получайте 20% от суммы их чеков в первый год и 15% — в последующие.
