Администрирование

MLOps или как облегчить выполнение задач Data Science и ML-разработки

Собрали подробный обзор MLOps (Machine Learning Operations) и рассказали, как организовать машинное обучение. С помощью этого подхода можно развертывать и поддерживать ML-модели на всех этапах жизненного цикла.

Популяризация практики MLOps началась с Дэвида Скалли — специалиста по машинному обучению в Google. Он стремился ускорить обучение моделей и минимизировать количество ошибок за счет автоматизации процессов. В 2015 году эксперт написал статью «Скрытый технический долг в системах машинного обучения» — это стало первым шагом к разработке нового подхода к ML. Сегодня MLOps полезен для задач, где необходимо проводить прогнозирование:

• настраивать рекомендации в соцсетях и интернет-магазинах;

• генерировать гипотезы;

• разрабатывать игры с несколькими ветками сюжета в зависимости от выбранного варианта;

• наблюдать за компонентами системы для устранения дефектов;

• планировать рабочие процессы и ускорять развертывание.

Для старта работы по методологии MLOps важно выбрать подходящий инструмент. Подробнее об этом и основных процессах подхода рассказали в базе знаний Облака Рег.ру.

Контейнеры для топ-менеджмента: способ увеличить прибыль или головная боль?

Многие компании уже давно используют контейнеры. Но все ли понимают, как на них переходить, а также какие последствия ждут бизнес, когда технология внедрена, но «готовить» ее никто не умеет? Как из-за отсутствия ресурсов этот бизнес может понести потери или вовсе встать? Или, наоборот, за счет правильного использования контейнеризации увеличить прибыль? 

Уже были тысячи митапов и конференций, где мы обсуждали, как хороши контейнеры. Но бизнесу-то они зачем? Им вообще это надо?

22 июля (вторник) в 18:00 мск приглашаем вас присоединиться к жаркой дискуссии, на которой мы соберем топ-менеджеров крупных компаний — генеральных, технических и исполнительных директоров. Они расскажут, как они видят (и видят ли вообще) пользу от контейнеризации и как именно они ее оценивают.

Ключевые вопросы эфира:

1.   Зачем это топам?

• Должны ли топы разбираться в технике?

• А что для них значат контейнеры?

• Драйверы для внедрения контейнеров и лидеры перемен.

• При чем тут импортозамещение.

2.   Процессы, деньги и люди

• Что меняли для внедрения контейнеров?

• Люди: раздутие штата, увольнения, обучение.

• Как бороться с сопротивлением?

• Долго ли длился переход и сколько он стоил?

3.   Итоги

• Что дало внедрение контейнеризации?

• Стоило ли оно того?

• А с точки зрения ROI и TCO?

• Метрики для оценки эффективности внедрения контейнеров.

Приглашенные эксперты:

• Максим Чудновский, исполнительный директор, «СберТех»

• Валерий Котелов, CEO, digital-интегратор KOTELOV

• Александр Буторин, CTO, «Дом.ру»

• Александр Токарев, СЕО, VoxysLab

• Дмитрий Зайцев, СТО, Flocktory

Модератор: Роман Ивлиев, CTO, программный директор TeamLead Conf.

Регистрация

Чек-лист: твой проект скоро развалится, если…

Небольшой технический чек, который стоит пройти каждому, кто ведёт продукт или отвечает за разработку.
Если узнаете себя — возможно, пора не спешить с новой фичей, а разложить фундамент.

• Весь проект держится на одном человеке
  И он — не документация. Ушёл в отпуск — проект замер.

• Задачи ставятся в личке, на встрече или в голове
  "Я же в телеге писал задачу". Без трекинга всё разваливается.

• Никто не может объяснить, что по приоритету
  Всё срочно, всё горит, всё одновременно. Ну вы поняли.

• Прод выкатывается вручную, или в пятницу вечером
  Даже не баг, а фича. Проблемы по подписке.

• Тестов нет, баги ловим по фидбеку
  Багрепорт от клиента — это не QA.

• Архитектура — это слово из чужого лексикона
  Потому что “нам и так норм”. До первой перегрузки.

• Вопросы “а как это работает?” решаются методом тыка
  Потому что комментировать код — западло.

• Бэкапы где-то есть… но никто не проверял
  Олег говорил, что сохранял себе дамп локально

• Ушёл один человек — и половина знаний ушла с ним
  Значит, их не было в проекте — только в его голове.

Если вы загнули 3–4 пальца — значит пора встать и осмотреться.
Пока “всё работает” — это ещё не стабильность, это просто везение.

Некоторые проблемы уже рассмотрел подробнее в своих статьях

Youtube уберёт рекламу из видео на русском даже с VPN. Компанию замучали рекламодетели, чьи товары показывались в роликах, но не нашли покупателей. Теперь рекламу на платформе будут откручивать не по IP, а по языку контента.

В письме YouTube партнёрам говорится, что система была обновлена, чтобы точнее направлять рекламу на нужную аудиторию и исключать показы там, где они нецелевые. Как итог — для зрителей из России (и не только) просмотр русскоязычных роликов теперь всё чаще происходит без рекламы. На практике это работает как бесплатный YouTube Premium: без подписки и блокировщиков.

ИСКЛЮЧЕНИЕ БЛОКИРОВОК ДЛЯ KNOX СЕРВИСОВ: ENROLLMENT SQUID

Захотелось пустить трафик Android устройства Samsung при первом включении через прокси и посмотреть его логи. Куда на самом деле оно ходит и для чего. Дело в том, что корпоративные политики безопасности некоторых организаций ограничивают права доступа сотрудников в интернет из внутренней сети компании. Однако, когда компания начинает использовать KNOX сервисы, то необходимо разрешить доступ к их серверам.

Cуществует официальная инструкция от Samsung. Она определяет список доменов или IP адресов, необходимых для первоначального включения мобильного устройства или factory reset, когда происходит настройка облачных KNOX сервисов: Knox Mobile Enrollment, Knox Configure, Knox Manage и так далее. Менять корпоративные политики компании и делать whitelist всех возможных IP дело затруднительное, потому что облачные KNOX сервисы используют в большинстве своём Amazon AWS с динамическим распределением IP адресов, а список диапазонов чрезвычайно большой.

Поэтому IT-служба безопасности может сделать простой DMZ (demilitarized zone) Ubuntu Squid прокси для его использования внутри сети организации c разрешённым доступом ко всем диапазонам IP. Прокси, который будет пропускать трафик и использоваться исключительно для целевых доменов, необходимых, чтобы активировать устройства.

Squid.conf настройки

acl enrollment_domains dstdomain .samsung.com .samsungknox.com .secb2b.com .samsunggsl.com

На разные домены нижнего уровня этих четырех адресов KNOX B2B сервисов идут обращения при первом включении устройств. Также необходим трафик и на google сервисы:

 .google.com
.gstatic.com
.gvt1.com
.gvt2.com
.gvt3.com
.googleapis.com
.googleusercontent.com

Для полного счастья Android Setup Wizard, чтобы он не переживал, список можно дополнить иными сервисными адресами, без которых он может обойтись, но так или иначе «стучится» по ссылкам, содержащим следующие строки:

.samsungdm.com
.samsungapps.com
.samsungmobile.com
.bixbyllm.com
.sbixby.com
.samsung-sm-ds.com
.ospserver.net (сервера обновлений)
.samsungcloud.com
.samsungcloudplatform.com

И http_access deny !enrollment_domains, чтобы использовался прокси только для активации устройств или обновлений. Помимо ситуации с политиками компании может оказаться так, что ограничивают право доступа в интернет не корпоративные политики, а провайдер. Тогда на линии провайдера, который работает хорошо, вы ставите такой прокси и пускаете через него enrollment трафик, как в описанном примере. По мотивам обзора новинок XCover7 Pro и TabActive5 Pro

Еще больше мощности: в Облаке Рег.ру запускаем высокочастотные серверы в Москве

В Облаке Рег.ру возобновилась возможность аренды высокочастотных серверов в Московском регионе. Ранее услуга была доступна только в локации Санкт-Петербурга. Тарифная линейка будет особенно полезна для работы с масштабируемыми проектами и высоконагруженными приложениями: базы данных, аналитика, 1С-Битрикс, транзакционные системы, а также для задач с низкими задержками: игровые серверы, финансовые транзакции, потоковое видео. 

Под капотом решения:

• процессоры с тактовой частотой 3,2/3,7 ГГц и NVMe диски;

• технология Turbo Boost, которая дает ускорение до 5,1 ГГц.

Ключевые особенности услуги:

• производительность, которая часто требуется для задач с критичной высокой тактовой частотой CPU;

• доступность: чем ближе к московским пользователям, тем ниже пинг.

Подключить обновленную линейку уже можно в личном кабинете облачной платформы Рег.ру.

Подключайтесь к вебинару по сетевой безопасности в ЦОД

В 12:00 (мск) в прямом эфире расскажем, как повысить безопасность инфраструктуры и приложений. Рассмотрим тонкости построения доступа к системе и сетевую архитектуру при использовании IaaS. Особенно полезно будет пользователям выделенных серверов и облачных сервисов Selectel.

Программа вебинара

• Роль NGFW в эшелонированной защите приложений и данных компании, обзор решений сетевой безопасности Selectel.

• Ключевые сценарии применения NGFW для задач бизнеса.

• Демонстрация кейсов.

• Вопросы и ответы.

Ждем всех, кто управляет инфраструктурой или отвечает за ее безопасность. 

Смотреть трансляцию

📱на YouTube

📱в VK

🚀 Открой JupyterLab на PrimeWay и получи 4 бесплатных часа GPU каждый день

Зачем тебе пробовать:

• R&D без DevOps-рутины. JupyterLab с A100/A40 запускается из браузера за пару минут.

• Оплата только за runtime. Никаких idle-счётов или помесячных подписок.

• Стартовый грант 500 ₽ + дополнительно 4 ч / день после короткого опроса.

🙌 Помоги нам понять твою реальность

Ответь на 5 вопросов в комментариях или напиши в TG — и мы сразу активируем тебе +4 ч ежедневно:

1. Что сейчас гоняешь на GPU? (обучение, инференс, fine-tune, какие модели?)

2. Какая DevOps-задача бесит сильнее всего? (Docker, Kubernetes, autoscaling, логирование…)

3. Сколько времени или денег это у тебя отнимает в месяц?

4. Что тормозит внедрение новых инструментов для ML-инфры?

5. Если DevOps-боли исчезнут завтра, как изменится твой проект

💬 Пиши ответы здесь или сразу в Telegram:
— @PrimeWayio (чат команды)

Мы активируем бонус сразу после того, как мы оценим ответы. Важно условие - ответы не должны быть односложными или не из вашей практики, так как мы хотим понять ваши реальные проблемы.

Регистрация и грант → https://primeway.io/

Evolution free tier — ежемесячный объем облачных ресурсов, за которые не нужно платить 🙌 

❓ Что за инструмент? Evolution free tier позволяет бесплатно использовать ресурсы платформы Cloud.ru Evolution. С free tier доступны виртуальные машины, объектное хранилище S3 и ресурсы для запуска контейнеров.

🖥 Особенности и преимущества. Во free tier вам доступны три сервиса:

1. Evolution Compute — виртуальная машина в следующей конфигурации: 2 vCPU (Intel Gold 6248R, 3 ГГц), 4 ГБ RAM (DDR4), 30 ГБ дискового пространства (SSD NVMe) и безлимитный исходящий трафик.

2. Evolution Object Storage — объектное хранилище S3 с ежемесячным объемом бесплатных ресурсов: 15 ГБ хранилища, 100 000 операций PUT, POST, LIST, миллион операций GET, HEAD и 10 ТБ исходящего трафика.

3. Evolution Container Apps — сервис для разработки и запуска контейнеров. В месяц доступны: 120 vCPU × час и 480 ГБ RAM × час.

Чтобы начать работу, достаточно выбрать готовый образ и приобрести публичный IP.

✍️ Где, как и для чего использовать. Evolution free tier подойдет для тестирования облачных сервисов и разработки небольших проектов: менеджера паролей, telegram-бота, сайта для личного блога или портфолио. Еще можно развернуть облачное хранилище для фото, видео и документов. Или развернуть собственный игровой сервер в Minecraft ⛏️

А чтобы быстрее запустить проект, используйте нашего нового AI-помощника Клаудию. Он подберет конфигурацию виртуальной машины, развернет ее, создаст SSH и виджеты мониторинга, настроит алертинг за вас.

Чтобы погрузиться в детали, читайте статью про сценарии использования Evolution free tier. В ней мы рассказали об опыте тех, кто уже запустил свой сайт, сделал учебный проект, начал тестировать гипотезы с бесплатными ресурсами облака.

Как обработать в облаке 350 тысяч электронных писем без падения системы

В Облаке Рег.ру разработали инфраструктурную среду для запуска e-mail сервиса Novomail, созданного в качестве альтернативы ушедшим с российского рынка зарубежных сервисов, таких как MailChimp, GetResponse и SendGrid.

В сутки в облаке обрабатывается более 350 тысяч писем пользователей. В основе: публичное облако и Bare Metal. Архитектура построена на нескольких виртуальных машинах с поддержкой контейнеризации (в том числе Docker), SSD-хранилищ и динамического масштабирования. А также настроены интеграции с системами мониторинга и резервного копирования.

Что реализовано на платформе:

• стабильная среда с уровнем доступности более 99,95 %;

• масштабирование под пиковые нагрузки;

• система резервирования и регулярных снэпшотов;

• повышенный уровень защиты данных;

• централизованный мониторинг системы.

Больше о кейсе — рассказали на сайте.

Представлен бесплатный сервис для транскрибации аудио и видосов в текст — TranscribeAI. Система вытащит текст из любого медиа, даже если там много помех. Внутри — Whisper от OpenAI. Поддерживает больше 100 языков и знает русский. Принимает файлы до 4 ГБ во всех популярных форматах — MP3, WAV, MP4, AVI, MOV, MKV. Перегоняет всё в текстовый файл, расставляет таймкоды и маркеры. Может создать субтитры в формате SRT.

Присоединяйтесь к третьему Cloud․ru Tech Lab: AI&ML — митапу для тех, кто планирует внедрение AI в свои сервисы и не только 🤖

📅 Дата: 24 июля в 18:00
📍 Место: Москва, ул. Большая Почтовая, 40, строение 4, Гоэлро Лофт, зал Tesla, 3-й этаж

Расскажем, как мы автоматизировали пользовательские сценарии с помощью AI-агента, подробно разберем устройство нашего стека (агенты, RAG, Ragas) и объясним, почему сейчас все говорят про Model Context Protocol (MCP) и как собрать MCP-сервер без кода.

В программе:

• Как мы встроили AI-агента в онлайн-обучение и улучшили опыт студентов — Стас Гридин, менеджер проектов, и Илья Жбанов, Data Science инженер, Cloud.ru.

• Адаптация RAGAS для оценки RAG — Иван Ловцов, старший Data Science инженер.

• MCP: почему о нем все говорят? — Игорь Латкин, управляющий партнер и системный архитектор, KTS.

• Как мы приручили мультиагентный хаос с A2A — Артемий Мазаев, менеджер продукта, Cloud.ru.

• Секретный доклад от приглашенного эксперта.

А еще — демозона AI-решений на базе Cloud.ru Evolution, активности, живой нетворкинг и возможность лично задать вопросы практикам и архитекторам.

Мы предусмотрели два формата участия:

• офлайн — для тех, кто планирует лично посетить площадку,

• онлайн — для тех, кто хочет посмотреть доклады в записи.

Зарегистрироваться на митап 👈

Мечты сбываются — открыт предзаказ на серверы с GPU NVIDIA 🥳

Хорошие новости для тех, кто давно искал тот самый сервер с мощной видеокартой под игры, AI-задачи или работу с графикой.

Какие видеокарты доступны:

• Tesla H200 141GB (PCIe)

• Tesla H100 80GB HBM2

• Tesla A100 80GB HBM2

• Tesla A30 24GB GDDR6

• RTX A6000 48GB GDDR6

• RTX A5000 24GB GDDR6

• RTX 4090 24GB GDDR6X

• RTX 5070 Ti 16Gb GDDR7

Как получить сервер:

1️⃣ Оставляете заявку на сайте или в панели управления;
2️⃣ Менеджер связывается с вами и уточняет детали;
3️⃣ Для предзаказа нужно внести минимальный платеж 5 000 ₽;
4️⃣ После получения сервера остается только доплатить оставшуюся сумму по выбранному тарифу.

Важно: если нужной видеокарты нет в списке, то напишите об этом менеджеру, уточним наличие.

Оформить предзаказ на сервер с GPU →

Дайджест Облака Рег.ру за июнь

Сегодня оглянулись посмотреть на начало лета, чтобы вспомнить знаковые релизы Облака Рег.ру за прошедший месяц. Июнь был для нас особенным — мы отметили два года с момента запуска облачной платформы. Делимся пачкой свежих летних апдейтов, читайте о них в новом дайджесте.

• Добавили новый образ NextCloud 31 + OnlyOffice 5

Прокачали NextCloud — дополнили предустановленным образом с офисными приложениями OnlyOffice для совместной работы. Корпоративное хранилище подходит для работы с любыми документами и файлами. Минимальная конфигурация: 4 vCPU, 16 ГБ RAM, 40 ГБ диска. 

• Повысили лимит на количество баз данных в 100 раз

Усилили сервис DBaaS — теперь можно легко добавлять до 1000 баз. Обновление стало доступно в кластерах PostgreSQL и MySQL. Поработать с новыми базами данных можно в личном кабинете облачной платформы.

• Представили облегченные образы ispmanager

В Облаке Рег.ру доступен новый образ ispmanager mini для быстрого решения несложных задач. Панель управления можно заказать в базовой конфигурации сервера: 1 vCPU, 1 ГБ RAM и 10 ГБ диска. Протестировать обновление можно на трех ОС: AlmaLinux, Debian и Ubuntu.

• Подключили NVIDIA A4000 к облачным серверам с GPU 

Добавили к облачным серверам с GPU новую видеокарту NVIDIA A4000 для решения задач, требующих высокой производительности: от 3D-моделирования и работы в CAD-программах до сложных вычислений и обучения ИИ-моделей. Работают новые GPU по системе Pay-as-you-go. 

• Запустили 1CaaS

Презентовали новый сервис в облаке 1C as a Service. Решение представляет развернутую платформу с кластером 1С и СУБД с опциями администрирования, резервного копирования и мониторинга. Потестировать услугу может любой желающий, оставив заявку на сайте. 

• Развернули в облаке ERP и маркетплейс для 5000 строительных компаний

Рассказали, как с IT-разработчиком Stworka запустили ERP-систему и развернули в облаке маркетплейс для 1,5 млн строительных товаров. Проект включает в себя распределенные облачные серверы, dev- и stage-контуры, виртуальные машины для мониторинга и управления разработкой. 

Так бодро началось лето — планируем сохранять активный темп и в июле, следите за обновлениями!

Т2 – решает вопрос прототипирования

Т8 – решает вопрос серийного производства

Т800 – решает вопрос некомпетентного персонала

Repeater - планировщик для анализа данных, упрощенный Apache Airflow.

Repeater запускает задачи по расписанию. Задачи - последовательности консольных программ - описываются в toml-файлах. Запуски отображаются в веб-интерфейсе.

Пример задачи - запуск скриптов wiki_stats.py и wiki_pageviews.py импорта верхнеуровневой статистики Википедии в локальную базу.

title = "wiki"
cron = "0 55 * * * *"

[[tasks]]
name = "wiki_stats"
cmd = "python3 ./examples/wiki_stats.py"   

[[tasks]]
name = "wiki_pageviews"
cmd = "python3 ./examples/wiki_pageviews.py --end_date={{.scheduled_dt}}"

Бэкэнд написан на Go. Команды ниже запустят Докер-контейнер с сервисом и окружение для примеров:
- Repeater http://localhost:8080 - планировщик
- ClickHouse http://localhost:8123 и http://localhost:9000 - база данных
- ch-ui http://localhost:8001 - веб-интерфейс к базе данных
- Streamlit http://localhost:8002 - дашборды

git clone https://github.com/andrewbrdk/Repeater
cd Repeater
docker compose up --build

В примерах импорт количества просмотров страниц Википедии, курса биткоина, статистики репозитория Линукса на Гитхабе. Графики в Streamlit http://localhost:8002 .

Интересны применения проекта. Попробуйте! Впечатления пишите в комментариях. Спасибо!

Репозиторий: https://github.com/andrewbrdk/Repeater

Вебинар по использованию DLP-системы — уже завтра

8 июля в 11:00 начнется вебинар InfoWatch на тему «Интенсив по анализу событий в DLP-системе: методика и практика». 

Вебинар будет полезен ИТ и ИБ специалистам с небольшим опытом работы с DLP. Обучение поможет:

• выявлять скрытые инциденты в «серой зоне»;

• использовать расширенный анализ и запросы;

• строить графы связей и применять предиктивную аналитику;

• визуализировать результаты — просто и наглядно.

Регистрация.

Как обеспечить надежную защиту персональных данных клиентов в облаке и избежать финансовых и репутационных потерь? Разберем на вебинаре.

📆 Когда: 10 июля в 11:00 мск

📍 Где: онлайн

С 30 мая 2025 года в России ужесточилась ответственность за нарушения в работе с персональными данными — штрафы выросли в разы.

На вебинаре от экспертов по методологии кибербезопасности Cloud.ru вы узнаете:

• почему защита персональных данных — это не только про штрафы, но и про доверие клиентов;

• изменения ответственности: ужесточение требований при обеспечении безопасности данных в информационных системах;

• стратегия безопасности облака: что проверяют регуляторы? Какие нарушения чаще всего находят при проверках? Основные источники рисков;

• аудит IT-процессов: какие параметры контролировать для митигации рисков в случае инцидентов;

• практика Cloud.ru: меры защиты данных в облаке (от шифрования до мониторинга инцидентов).

Будет полезно руководителям и сотрудникам ИБ-служб, IT-директорам, архитекторам инфраструктуры, юристам и всем, кто хранит данные клиентов в облаке.

Зарегистрироваться 👈

Представлен проект для геймеров «Can I Run It?». Это онлайн-ресурс, где можно проверить мощность ПК на соответствие требованиям к различным играм. Сервис поясняет, потянет ли текущий ПК игру на минимальных или рекомендованных требованиях. Также проект может подсказать, какое компоненты ПК нужно улучшить.

Как настроить работу Grafana с Zabbix

Собрали подробный гайд для начинающих о Grafana и Zabbix — эффективном комбо для контроля IT-инфраструктуры. Zabbix выступает инструментом для сбора данных, контроля состояния систем и приложений. Grafana же обеспечивает широкие возможности визуализации.

Почему Grafana и Zabbix полезно использовать вместе:

• Grafana отображает данные, которые поступают из Zabbix — отсюда оперативное обнаружение проблем;

• интеграция позволяет создавать кастомизированные дашборды и графики, адаптированные под потребности конкретных команд или проектов, а также упрощает работу с данными и оптимизирует процесс мониторинга;

• можно настроить систему оповещений в Grafana и оперативно реагировать на проблемы;

• объединение мониторинга в единой платформе дает целостное представление об IT-инфраструктуре. 

В базе знаний Облака Рег.ру читайте о подготовке к совместной работе Grafana + Zabbix и смотрите подробную инструкцию по настройке инструментов.