Что делать, если Python-сервер падает из-за утечки памяти?
Привет, Хабр! Это наша экспериментальная рубрика, в которой мы даем новичкам быстрые ответы на четкие вопросы. Писать статью будет излишним, а некоторую пользу до аудитории донести, возможно, получится.
Итак, допустим, агент спустя время начинает расти по памяти и в итоге все падает. Где копать и как временно ограничить ущерб, пока ищете утечку?
Первое, что нужно сделать — измерить и локализовать. tracemalloc показывает, какие строки выделяют больше всего памяти, gc — количество объектов.
Часто проблема в неограниченных кэшах, списках или в C-расширениях. Сначала стоит включить tracemalloc, дать процессу поработать и снять снапшот:
import tracemalloc
tracemalloc.start()
# после нагрузки
snapshot = tracemalloc.take_snapshot()
top = snapshot.statistics('lineno')[:10]
for stat in top:
print(stat)
Параллельно делайте gc.collect() и логируйте число объектов len(gc.get_objects()), чтобы увидеть рост. На время расследования применяйте эксплуатационные меры: для WSGI-сервисов используйте Gunicorn с --max-requests и --max-requests-jitter, чтобы процессы периодически перезапускались и не накапливали мусор. А в контейнерах ставьте cgroup-пределы (--memory) и настраивайте restart-политику, чтобы платформа автоматически перезапускала упавшие поды.
Если утечка в C-расширении или сторонней библиотеке, то временно автоматический перезапуск и мониторинг позволяют сохранить сервис работоспособным, пока вы находите корень проблемы и исправляете код.
Если хотите освоить инструменты Python, то в Академии Selectel у нас есть отдельная подборка статей. Там мы рассказываем, как настраивать инструменты, работать с базами данных, создавать программы с интерфейсом и использовать Python для парсинга.
Observability ИИ‑агентов: запустили Monium Traces в Yandex AI Studio
Теперь можно анализировать поведение ИИ‑агентов в Yandex AI Studio с помощью трейсов прямо в UI платформы. Трейсы показывают всю цепочку решений агента и контекст каждого шага — системные промпты, вызовы модели и инструментов, промежуточные результаты. Всё, что реально влияет на поведение агента.
Почему это важно Observability для агентов устроена принципиально иначе, чем для обычных сервисов, где нам доступен дебаг по коду. В случае ИИ главный материал — большие тексты: системные промпты, сообщения пользователя, ответы модели, вызовы тулов. Даже когда инфраструктура может быть полностью «зелёной» — latency в норме, ошибок нет — агент может уверенно отдавать неверный ответ или уходить в бесконечный цикл вызовов. Классический мониторинг здесь не поможет: он не покажет, почему модель выбрала не тот тул или потеряла контекст.
Анализ трейсов:
помогает быстро понять причину конкретных ответов и поведения агентов
ускоряет отладку сложных сценариев
повышает прозрачность работы агента
позволяет точно локализовать узкие места в цепочке обработки запроса
В видео — как выглядит трейсинг в интерфейсе Yandex AI Studio:
Чтобы начать — откройте AI Studio, перейдите во вкладку «Логирование» и подключите отслеживание трейсов моделей и агентов.
Заключительная рубрика ИТ-кроссворда. Старт через 15 минут 🦖
В 12:00 по московскому времени открываем последнюю рубрику ИТ-кроссворда — «ML-железо». В публикации вас будут ждать вопросы об вендорах, подборе комплектующих и распределении вычислительных ресурсов.
👉 Отвечать на вопросы можно с 12:00 до 18:00 (МСК). Среди призов — комплекты эксклюзивного мерча Selectel и бонусы на аренду серверов.
Напоминаем, что бороться за первое место в общем зачете не обязательно, вы еще успеваете посоревноваться и выиграть призы, даже если ранее не подключались к игре! Победители и номинанты будут в каждой из четырех рубрик.
От алерта к его причине за 10 минут — вебинар про ускорение диагностики инцидентов
Когда бизнес-сервис деградирует, причина может быть где угодно: в приложении, инфраструктуре, сети, базе данных или Kubernetes-кластере. Если метрики, логи и трассировки живут в разных системах, команда тратит ценное время не на устранение инцидента, а на сбор контекста: что сломалось, где началась деградация и какие ещё сервисы затронуты.
На вебинаре 17 июля покажем, как Deckhouse Observability Platform (DOP) связывает данные по инфраструктуре и приложениям в единую картину и помогает быстрее пройти путь «алерт → локализация → первопричина». В программе:
Обзор новых возможностей DOP: APM, распределённый веб-мониторинг, система инцидент-менеджмента, SLA/SLO-дашборды и другое.
Разбор задач эксплуатации и инфраструктурных команд: как быстрее находить причины сбоев и снижать риск пропустить критический инцидент.
Демо: развёртывание мониторинга с получением первых данных «из коробки» без ручной настройки.
Спикер — Владимир Гурьянов, технический директор DOP, которого вы можете знать по множеству выступлений о наблюдаемости на конференциях. Регистрируйтесь и подключайтесь 17 июля в 12:00.
Совпадает ли ваш идеальный работодатель с реальностью?
Вы листаете вакансии. На что обращаете внимание в первую очередь — на продукт компании, ценности команды или на возможность профессионального роста?
Хабр и ЭКОПСИ ежегодно задают этот вопрос десяткам тысяч айтишников по всей России. В исследовании 2025 года участвовали 30 000 специалистов, и их ответы оказались неожиданными: впервые за 6 лет в топ вышла стабильность. На фоне масштабных сокращений и заморозки зарплат по рынку люди хотят не только интересных задач, но и уверенности в завтрашнем дне.
Не можем не похвастаться, что итогам рейтинга Cloud.ru вошел в топ-25 лучших ИТ-работодателей России. И раз уж мы снова участвуем в исследовании 2026 года — расскажите, что важно вам прямо сейчас:
«1С-Коннект» обновил мессенджер, видеозвонки и заявки
В «1С-Коннекте» обновили функциональные возможности для коммуникаций, удаленной поддержки и работы с обращениями. Изменения затронули мессенджер, видеозвонки, файловый менеджер, удаленное подключение и заявки на обслуживание.
Раздел удаленного подключения по коду теперь доступен в приложении для компьютера всем пользователям сервиса. В работе с файлами появилась загрузка через drag-and-drop и сочетания Ctrl + C / Ctrl + V. Файловый менеджер также доработан: увеличена площадь рабочих зон, изменена геометрия окна, а путь к файлам сохраняется при повторном открытии.
В мессенджере появились реакции на сообщения, закрепление чатов и сообщений, расширенные настройки сортировки и фильтрации списков. В групповых чатах теперь можно назначать нескольких администраторов. Также обновлено представление контактов.
В видеозвонках улучшено управление микрофоном и добавлен полноэкранный режим при демонстрации экрана. В заявках на обслуживание пользователи могут отдельно настроить уведомления об изменениях заявки и переписке в комментариях.
Кроме того, усилены языковые модели в составе GPT-Ассистента и ИИ-сервисов.
Новые тарифы сервиса начнут действовать с 1 августа 2026 года. Подробнее — по ссылке
🔥 Docker для начинающих: от «что это» до своего контейнера за 4 часа
Docker используется везде: от локальной разработки до production. Фокус лабы — не на запоминании команд, а на понимании. Вы пройдёте путь от первого контейнера до настройки сетей и данных — своими руками. После лабы сможете уверенно обсуждать контейнеризацию с разработчиками, DevOps и архитекторами.
25 июля, 10:00-14:00 МСК | Максим Тачков, Middle Developer (BIM), преподаватель Docker. По отзывам с прошлой лабы: экспертиза 9/10.
5 блоков за 4 часа: (1) Основы Docker → (2) Сборка (Dockerfile) → (3) Управление (Compose, логи, мониторинг) → (4) Данные (volumes, bind mounts) → (5) Сети (Docker Network, DNS)
Почему трафик в ЦОДе балансируется не так, как вы ожидали
LAG часто воспринимают как простую и понятную вещь: объединили несколько линков — получили больше пропускной способности и отказоустойчивость. Но в реальности всё упирается не только в наличие агрегированного канала, а в то, как именно по нему раскладываются потоки.
Из-за этого и появляются знакомые инфраструктурные сюжеты: один линк забит, другой почти пустой; после изменения топологии поведение трафика меняется неочевидно; ECMP вроде есть, но равномерности всё равно нет; в VxLAN/EVPN-фабрике проблема становится ещё менее прозрачной.
7 июля в 20:00 на бесплатном уроке вместе с преподавателями-практиками разберём, как на самом деле работает балансировка трафика в сетях ЦОД: от LAG и хеширования до ECMP, vPC/MLAG и VxLAN/EVPN. Фокус — на том, какие решения в дизайне сети помогают избежать перекосов, перегрузок и сценариев уровня «всё упало, всё пропало». Присоединяйтесь.
Больше бесплатных уроков июля по инфраструктуре, сетям, разработке, AI и другим направлениям собрали в дайджесте — там можно посмотреть все темы месяца.
SimpleOne подтвердила совместимость своей платформы с РЕД ОС. Для заказчиков это значит, что запуск проектов в импортонезависимой ИТ-среде становится проще и предсказуемее.
Подтвержденная совместимость помогает:
сократить барьеры на этапе архитектурных согласований
упростить прохождение аудитов безопасности
быстрее запускать проекты по переходу на российское ПО
РЕД ОС широко используют в корпоративной и государственной инфраструктуре. По данным разработчика, систему уже применяют 12 000 компаний и государственных организаций, а общее количество инсталляций превысило 2 млн.
Релиз ≠ деплой: почему прод падает именно после обновлений
Большинство крупных инцидентов происходят сразу после релиза. Не во время нагрузочного теста, не в случайный вторник — а именно тогда, когда команда только что что-то выкатила и выдохнула. Почему так, если всё прошло тестирование?
В новом выпуске «В SREду на кухне»вместе с Артёмом Гетманским, техруком юнитов в Авито, и Андреем Мухиным, TechLead из MWS, разобрались: что вообще считается релизом, чем он отличается от деплоя — и как не превратить каждое обновление в рулетку.
Что на повестке
Оказывается, релиз может сломать прод даже без единой строчки нового кода — и это не баг, а особенность современных систем. Разбираем, как Feature Flags, Canary, Blue-Green и Rolling-стратегии помогают снизить риск, когда hotfix тоже считается релизом и что с этим делать, и как error budget влияет на то, насколько смело команда вообще решается катить изменения.
Отдельно досталось вопросу, должны ли SRE участвовать в продуктовых релизах — и у участников выпуска на этот счёт нашлись весьма конкретные мнения.
Искусственный интеллект перестал быть экспериментом — сегодня от него ждут конкретных результатов. При этом эффективность ИИ-инициатив ограничена возможностями инфраструктуры.
Мы упаковали наш опыт работы с десятками компаний из госсектора, финансов, ритейла, промышленности, НГХ и создали Сезон ИИ-инфры: пройдите весь путь к ИИ — от первичной оценки готовности инфраструктуры до конкретных решений и рекомендаций экспертов, которые внедряют ИИ в продакшн.
Как Форк ИТ обучил ИИ‑систему контроля качества горной добычи
🏭 Что за компания Форк ИТ — российская команда разработчиков, которая специализируется на цифровой трансформации промышленности. Компания запускает проекты по автоматизации контроля качества, прогнозированию нагрузок и оптимизации производственных процессов с использованием машинного обучения.
⚡ Задача Крупному горнодобывающему предприятию была нужна ИИ‑система, которая оценивает качество сырья и заранее замечает аномалии в технологическом процессе, снижая риск брака и остановок. Требовалось быстро обучить модели на больших массивах данных и запустить их в работу без остановки действующих ИТ‑систем и без закупки собственной GPU‑инфраструктуры. При этом требовалось обеспечить высокий уровень безопасности данных (187-ФЗ, 152-ФЗ).
☁️ Что сделали Форк ИТ арендовал GPU‑ресурсы и воспользовался средой для разработки и обучения ИИ в облаке Cloud.ru. Важнейшим компонентом будущей системы было компьютерное зрение, способное анализировать гранулометрический состав руды, размеры кусочков сырья, структуру флотационной пены при извлечении интересующих фракций. Данные о технологических процессах загрузили в облако, настроили пайплайн подготовки и запустили серию экспериментов с ML‑моделями, гибко масштабируя мощности под каждую итерацию обучения.
🦾 Что получили в итоге Форк ИТ смог быстро протестировать гипотезы благодаря использованию GPU A100, увеличить точность прогнозов и сэкономить на капитальных расходах. Cloud.ru выступил платформой для тяжелых задач по обучению моделей и анализу больших данных. Ну а предприятие получило ИИ‑систему, которая уже успешно снижает риск брака и незапланированных остановок производства.
Узнайте, как использовать новые требования к КИИ как конкурентное преимущество
Работаете с ГИС или объектами КИИ и ищете способ выполнить регуляторные требования, не теряя в гибкости и скорости? Эксперты Cloud.ru разберут, как облачная инфраструктура закрывает вопросы защиты и при этом становится реальным инструментом развития.
На вебинаре разберем:
Актуальные изменения в требованиях к ГИС и КИИ — что важно учесть прямо сейчас.
Какие сценарии возможны с решением «Облако для КИИ» и что оно дает.
Способы применения: от защищенной инфраструктуры до ускорения цифровых сервисов.
Будет полезно инженерам инфраструктуры, руководителям ИБ-направлений, менеджерам цифровой трансформации и всем, кто планирует работать с ГИС и КИИ.
📅 Когда? 7 июля в 11:00 мск.
📍 Где? Онлайн. Зарегистрируйтесь, чтобы задать вопросы спикеру в прямом эфире.
Вебинар уже через 20 минут: расскажем, как защищать данные в S3
В 12:00 мск на вебинаре разберем все: от базовых Bucket Policies и версионирования до продвинутых Conditional Write, Object Lock (WORM) и клиентского шифрования. Расскажем, как комбинировать эти инструменты для защиты от случайного удаления и кибератак. Объясним, как соответствовать регуляторным требованиям. Вебинар практический, так что вы увидите реальные примеры настройки S3 через API и CLI.
Вы узнаете
Какие уровни защиты данных в S3 существуют
Как настраивать версионирование, Conditional Write, Object Lock, шифрование с реальными командами и примерами кода
Какие границы и подводные камни существуют у каждого инструмента
Как комбинировать механизмы для защиты от ransomware, случайного удаления, взлома ключей и соответствия 152-ФЗ
Как я в Zabbix мониторю аккаунт в REG.RU: баланс, неоплаченные счета и сроки всех услуг - через API reg.ru
Домен можно сторожить по WHOIS: взял имя, посмотрел дату, повесил триггер «истекает через 30 дней». Но WHOIS видит ровно один домен и ничего вокруг. Он не знает, что на счёте кончились деньги, что висит неоплаченный счёт, из-за которого услугу снимут раньше срока, что в том же аккаунте ещё десяток доменов, SSL и хостинг. Поэтому я опрашиваю не WHOIS, а биллинговый API самого регистратора - он отдаёт весь аккаунт целиком. Собрал из этого шаблон под Zabbix 7.0, MIT. Расскажу, как он устроен и что в нём, на мой взгляд, сделано правильно.
Архитектура Три HTTP-айтема ходят в api.reg.ru - список услуг, неоплаченные счета и баланс - и складывают сырой JSON. Дальше всё считается из него: dependent items тянут баланс, сумму и число счетов через JSONPath, а LLD разворачивает прототипы под каждую услугу (ненужные типы отсекаются макросом-регуляркой). Каждая цепочка начинается с error_handler - битый или пустой ответ API не роняет айтем, а подставляет безопасное значение. На весь аккаунт получается несколько запросов в час, а не отдельная проверка на каждую услугу.
Что считаю правильным дизайном - две цепочки зависимостей Первое - nodata. Когда API регистратора отваливается целиком, каждый триггер «нет данных» (услуги, счета, баланс) хочет сработать сам, и ты получаешь пачку алертов про одну причину. Я завязал nodata услуг и счетов на корневой «No data from balance API». Полный отвал API теперь - один алерт, а не три. Корень я специально оставил без зависимостей, чтобы случайно не завязали и его, - об этом есть комментарий прямо в шаблоне.
Второе - сроки. На каждую услугу не один триггер, а каскад: ИСТЕКЛА (Disaster) → ≤7 дней (High) → ≤14 (Warning) → ≤30 (Info). Каждый уровень зависит от более тяжёлого. Поэтому услуга, которой осталось три дня, даёт один алерт High - а не три штуки (Info, Warning, High) одновременно. По мере приближения срока ты видишь ровно один триггер нужной серьёзности.
Для работы API, необходимо прописать разершенные IP в кабинете https://www.reg.ru/user/account/settings/api/, в настройках API задать адьтернативный пароль, и сохранить в макрос хоста {$RR_PASSWORD} как Secret. Логин - {$RR_USERNAME}. Для рег.облако взять API в https://cloud.reg.ru/panel/settings и сохранить в {$RRC_API_KEY}
Итог Баланс, неоплаченные счета и сроки всех услуг - под алертами в одном дашборде, без отдельного демона-прослойки. В репозитории два шаблона: разобранный выше под api.reg.ru (домены, хостинг, SSL) и отдельный под облачный api.cloudvps.reg.ru - там к балансу и срокам добавлен мониторинг самих VPS: реглеты, снапшоты, сети. Шаблоны, README и changelog - GitHub, PR и issues welcome.
А чем вы следите за биллингом у провайдеров и регистраторов - дёргаете API, или живёте на письмах «ваша услуга истекает»?
Подключайтесь к вебинару — покажем, как автоматизировать управление сложной инфраструктурой
Когда часть сервисов находится в облаке, а остальное — в изолированных контурах, доставка серверного ПО и контроль лицензий превращаются в настоящий квест для команды DevOps.
На вебинаре расскажем, как собрать весь зоопарк решений в единую систему с помощью MWS B2B Store. Разберем деплой инсталляций, когда разные ноды находятся на разных инфраструктурных провайдерах, доставку и обновления в закрытых контурах, версионирование и распространение внутренних и внешних решений.
В прямом эфире в режиме демо покажем:
Деплой сервисов (VMware + K8S) для разных сред, имплементацию Terraform as a service.
Автоматическое развертывание в изолированные контуры: от стандарта упаковки до «раскатки» в гибридную инфраструктуру.
Как управлять лицензиями на серверное ПО и контролировать, кто, где и сколько использовал.
Работу с инстансами из разных инфраструктур в едином окне: мониторинг, аудит и управление жизненным циклом.
Будет полезно CTO, DevOps, директорам по инфраструктуре и тимлидам инфраструктурных команд.
📅 Когда: 30 июня в 11:00 мск.
📍 Где: онлайн. Зарегистрируйтесь, подключайтесь и задавайте вопросы нашим экспертам в чате трансляции.
Обновили ядро Linux на всех Ryzen-серверах в Москве
В копилку стабильности — и с конкретным обновлением под капотом.
Во время работы с высокопроизводительными серверами на Ryzen 7950X нашли причину редких зависаний нод. На старом ядре Ubuntu 22.04 эти процессоры могли работать нестабильно.
Это могло обернуться внезапной недоступностью виртуальных машин, хотя с самими проектами все было в порядке.
Чтобы устранить проблему, обновили ОС и ядро на всех Ryzen-серверах в московской локации.
Переезд выполнили поэтапно: сначала подняли резервные серверы, перенесли на них проекты и только потом приступили к обновлению основных хостов. Поэтому пользователи не столкнулись с простоем.
Теперь гипервизоры работают на новом ядре, а риски возможных зависаний нод осталась в прошлом.
Если вам нужны мощные серверы в Москве, есть еще одна новость — расширили парк Ryzen 7950X, чтобы было больше доступных конфигураций под ваши проекты.
От Hyper‑V и VMware к VMmanager — 3 кейса импортозамещения виртуализации
Импортозамещение ИТ‑инфраструктуры перестало быть просто трендом — сегодня это необходимость. Ниже — три истории перехода с Microsoft Hyper‑V и VMware ESXi на платформу VMmanager.
▶ Импортозамещение Hyper‑V на предприятии железнодорожной отрасли
АО «Московский ЛРЗ» — дочернее предприятие ОАО «Российские железные дороги», специализирующееся на ремонте железнодорожного подвижного состава. В парке обслуживания около 200 хостов. Изначально виртуализация была развернута на базе гипервизора Hyper-V на двух физических серверах без кластеризации, на каждом хосте работало по восемь виртуальных машин. Отдельные сервисы на ВМ были настроены на репликацию между серверами.
В рамках программы цифровой трансформации потребовалась замена зарубежного ПО на отечественное — с сохранением надежности и безопасности.
Решение: внедрение VMmanager с поэтапным масштабированием — от лицензии на 80 ядер до расширения на физические серверы.
Итоги: централизованное управление всей инфраструктурой через единый интерфейс, гибкое масштабирование благодаря удобной модели лицензирования, ускоренное развертывание сервисов через готовые шаблоны ВМ. Платформа адаптирована под разнородную архитектуру с NVMe‑дисками, в планах — подключение RuBackup и Termidesk.
▶ От VMware ESXi к управляемой облачной инфраструктуре в фармацевтике
«Волгофарм» — одно из крупнейших фармацевтических предприятий Волгоградской области. ИТ‑инфраструктура работала на VMware ESXi, но ручное управление, сложности масштабирования и низкая отказоустойчивость тормозили развитие. Компании требовалась платформа, позволяющая перейти от управления «железом» к управлению сервисами.
Решение: переход на платформу серверной виртуализации VMmanager.
Итоги: сокращено время развертывания новых сервисов, повышена отказоустойчивость ключевых бизнес‑приложений, включая ERP‑системы 1С. Снижены операционные расходы (OPEX) за счет консолидации серверов и сокращения трудозатрат системных администраторов. Обеспечена база для цифровой трансформации: создана гибкая и масштабируемая ИТ-среда, способная быстро адаптироваться под меняющиеся потребности бизнеса.
▶ Единая экосистема вместо Microsoft‑инфраструктуры в лесопромышленном холдинге
Югорский лесопромышленный холдинг — ведущее деревообрабатывающее предприятие УрФО. До перехода на российское ПО инфраструктура компании была построена на продуктах Microsoft. Доменная структура работала на Active Directory, а виртуализация — на Hyper-V. В рамках импортозамещения и выполнения государственных требований предстояло перейти на отечественное ПО, избежав технологического «зоопарка» от разных вендоров и создав единую экосистему.
Решение: внедрение VMmanager в экосистеме «Группы Астра» — вместе с ОС Astra Linux, ALD Pro, RuPost и RuBackup.
Итоги: компания смогла заместить Microsoft-инфраструктуру отечественными решениями без потери ключевых возможностей и выстроить единую экосистему на базе продуктов «Группы Астра».
В результате проекта удалось развернуть:
комплексную виртуализацию сервисов предприятия: от ALD Pro до СКУД и таможенного ПО.
5 площадок по минимум 2 ноды для отказоустойчивости в каждой.
более 100 ВМ для различных сервисов в общей сложности.
ГОСТ Р 56939-2024 на практике: что мы сделали, чтобы получить сертификат РБПО
🔎 Контекст У Cloud.ru есть платформа, созданная специально для заказчиков, которые обязаны соблюдать особые требования к хранению данных и разработке ПО. Вся инфраструктура, которую они используют, должна быть аттестована на соответствие стандартам безопасности, а платформенные сервисы должны пройти жесткую проверку у регуляторов. Ранее платформа уже получала сертификат ФСТЭК России №4979, но при внесении определенной массы изменений в продукт, процесс требуется пройти заново, а сделать это невозможно без привлечения сторонней лаборатории и многомесячных ожиданий. Чтобы иметь возможность развивать продукт более оперативно, требовалось сертифицировать не только платформу для создания частного, гибридного или распределенного облака Cloud.ru Evolution Stack, но и все процессы вокруг нее, т.е. подтвердить соответствие ГОСТу Р 56939-2024.
🚀 Задача Стандарт требует выстроить25 взаимосвязанных регламентов и поддерживать более 200 артефактов в актуальном состоянии постоянно. Но этого мало: ведь стандарт есть, но конкретной методологии его реализации не существует, нужно было приземлить элементы процесса на орг.структуру нашей компании. Осложнялось всё тем, что в любой крупной ИТ-компании команды непрерывно перетасовываются, ответственные меняются, а любое кадровое изменение должно быть тут же отражено во всей документации сразу.
Аудиторы во время сертификации проверяют всё: опрашивают разработчиков, смотрят трекер задач, оценивают стек применяемых технологий, сверяют, соответствуют ли реальные процессы тому, что закреплено «на бумаге». Соответственно, ситуации, когда документация устаревает быстрее, чем обновляется, а новые исполнители не успевают вникнуть в свои обязанности, нужно было истребить полностью.
☁️ Что мы сделали Применили существующую в компании BPM-систему как единый источник правды: описали в ней ключевые процессы РБПО, зафиксировали роли, связали их с командами через орг.структуру, разместили все артефакты, точки контроля и указали их взаимосвязи. Следующим этапом автоматизировали конвертацию и публикацию свежих документов: по расписанию из BPM-модели экспортируется HTML, который автоматически конвертируется в Markdown и публикуется во внутреннюю Wiki. Изменился владелец роли — один раз вносишь правки в BPM, все документы актуализируются и тут же становятся доступны всем и каждому. Чтобы новички не впадали в ступор от количества регламентов, поверх Wiki добавили ассистента с RAG под капотом. Можно написать в корпоративный чат любой вопрос и получить структурированную информацию о том, кто за что отвечает и как действовать в любой ситуации, причем сразу со ссылками на конкретный документ в базе знаний.
🦾 Что получили в итоге В компании появилась полная живая и взаимосвязанная база элементов, включающая организационные единицы, роли, артефакты и инструкции по процессам. То есть на аудите мы показываем не просто набор Word'овских файлов, а живую модель с автоматически собранными артефактами. Каждый сотрудник, причастный к процессу безопасной разработки ПО, четко знает, что в какой ситуации делать и уверен в том, что данные не устарели. ИИ-ассистент сокращает время погружения в регламенты и процессы с дней до пары десятков минут, что значительно упрощает онбординг при смене роли.
Также такой подход позволил снизить затраты на устранение уязвимостей, поскольку их выявление предусмотрено на самых ранних стадиях процесса. Мы получили подтверждение качества платформы и стали первым облачным провайдером в России с сертификатом РБПО. У нас появилось больше контроля над собственным релизным циклом и теперь мы можем планировать обновления на годы вперед.
6+ млн товаров, 130 ритейлеров и до 70 млн запросов во время распродаж. Мигрировали USmall в наше облако и записали видеокейс о том, как устроена инфраструктура такого проекта.
Из любопытного:
1️⃣ 130 площадок — 130 изолированных контуров. На каждую свой репозиторий и Docker-образ. Релизы независимы, все изменения изолированы.
2️⃣ Свой механизм иерархических подов. В основе паттерн одноразовых подов — каждый выполняет один цикл и завершается. Поверх него команда построила иерархию, где родительский под запускает дочерние. Так обходят ограничение Python по пропускной способности одного воркера и обрабатывают задачи параллельно.
3️⃣ Выделенный сервер под оркестратор. Когда Airflow потребовалась отдельная конфигурация, под него собрали сервер на двух 32-ядерных процессорах и перенесли без простоя.
4️⃣ AI прямо в Kubernetes-кластере. В тестовом режиме крутится нейросеть, которая ускоряет подключение новых магазинов.
Все это команда ведет сама — новые ноды добавляет за пару минут через панель, без отдельных DevOps-инженеров. А инфраструктура у нас вышла на 35% дешевле прежнего провайдера — при том же объеме.
В видео Станислав, руководитель Python-разработки USmall, рассказывает про архитектуру и почему выбрали наше облако.
