Доступные инструменты для миграции: Apache NiFi, Talend и Airbyte
Можно заплатить за коммерческие инструменты миграции и жить спокойно. Но зачем, если есть open-source? В блоге разобрали самые востребованные бесплатные решения для переноса данных: когда брать Apache NiFi, чем от него отличается Talend Open Studio и в каких задачах выигрывает Airbyte.
Читайте полный разбор на сайте Рег.облака.
Запустили Yandex Cloud Stackland — инфраструктурную платформу для развёртывания приложений в закрытом контуре
С помощью Stackland можно как настроить среду для разработки собственных сервисов, так и быстро внедрять облачные решения. Это готовая инфраструктура со встроенными управляемыми базами данных, контейнерным оркестратором, объектным хранилищем, а также инструментами для управления доступом к графическим ускорителям, которые помогут решать задачи инференса при разработке ИИ‑решений. Выдавать доступы к разработке можно гранулярно, используя встроенные средства безопасности.
Платформу можно развернуть на любых виртуальных, арендованных или собственных серверах, а также интегрировать с уже существующими корпоративными системами. Также она позволяет без дополнительной интеграции внедрять готовые сервисы Yandex Cloud, доступные по модели on‑premises. Сейчас в Stackland доступны инструмент для речевой аналитики Yandex SpeechSense и BI‑система Yandex DataLens, в ближайшее время появится ещё несколько решений, в том числе Yandex AI Studio для разработки ИИ‑приложений и агентов.
Подробнее о разработке опенсорс‑решения для бэкапов CloudNativePG в Stackland и предыстории платформы мы уже рассказывали в отдельной статье.
Для получения доступа к Yandex Cloud Stackland оставьте заявку.
Худший бэкап — не тот, что не восстановился. А тот, что положил прод.
Что, если post-script не отработал? Моргнула сеть или случился таймаут. Внешний оркестратор просто пишет в лог failed и снимает задачу. А вот PostgreSQL об этом не знает. База остается в режиме бэкапа и начинает непрерывно копить WAL-файлы, ожидая команды на завершение.
Получается, что инструмент для защиты бизнеса от даунтайма, своими руками этот даунтайм и устроил.
Уметь дернуть pg_backup_start( ) — мало. Если СРК не имеет встроенного watchdog-механизма для сброса зависших сессий, резервное копирование превращается в угрозу доступности. Разделение ответственности — правильный архитектурный подход, но он означает, что защита базы от переполнения диска полностью ложится на ваши плечи.
О зависшем backup mode, разрывах PITR и других неудобных вопросах эксплуатации PostgreSQL совместно с Акурой поговорим в режиме live-демо на вебинаре 26 марта в 11:00 (МСК).
Регистрация по ссылке. Приносите в комментарии свои вопросы.
Один из самых популярных сетевых стеков в мире — теперь в нашем маркетплейсе 🌍
Добавили FreeBSD сразу в трех версиях:
FreeBSD 14 — стабильная база для продакшена
FreeBSD 15 — баланс классики и новых возможностей
FreeBSD 16 — свежий релиз для тех, кто хочет максимум актуальных фич
Хороший выбор для сетевых сервисов, хранилищ на ZFS и проектов с высокими требованиями к безопасности и стабильности.
Чем хороша FreeBSD:
1️⃣ UNIX-система: предсказуемость и контроль
2️⃣ Сильный сетевой стек: оптимизация под высокие нагрузки и сложные сетевые сценарии
3️⃣ ZFS из коробки: снапшоты, дедупликация и контроль целостности данных
4️⃣ Jails вместо контейнеров: простая и легкая изоляция процессов
Что будет на конференции GoCloud 2026: трек «Данные и аналитика»
GoCloud — ежегодная конференция Cloud.ru про ИИ и облака. В этом году она пройдет в кинотеатре «КАРО 11 Октябрь» на Новом Арбате в Москве. Формат смешанный — можно прийти офлайн или подключиться удаленно. Выступят больше 40 экспертов. Вас ждут 15 демозон, практические сессии, тематические круглые столы и, конечно, вечеринка после.
Один из треков будет посвящен данным и аналитике — разберем, какие инструменты позволяют сделать управление данными эффективным и не переплачивать, также расскажем, куда движутся тренды в 2026 году. Вот что запланировано:
Evolution Data Platform: эволюция платформы данных — куда движется дата-платформа Cloud.ru и что изменилось за год.
Как обрабатывать потоковые данные с помощью Evolution Managed Flink — архитектура, компоненты, сценарии использования.
Evolution Managed ArenadataDB в облаке: что изменилось с момента запуска — обновления, анонсы новых функций и клиентский кейс.
Управляемые базы данных и почему это тоже про машинное обучение — почему все начинается не с моделей, а с инфраструктуры для работы с данными.
Управление Evolution Managed Spark с AI: инновации и эффективность — как ИИ помогает оптимизировать Spark-задачи.
Завершит трек круглый стол «Тренды развития дата-сервисов в 2026 году» — про дата-стратегию, суверенные облака, управление данными и как дата-инженерия становится основой для ИИ в реальных проектах.
Встречаемся уже 9 апреля, успейте зарегистрироваться на сайте.
Поставлю на автопубликацию, на начало вечера пятницы, ибо.
Давайте подумаем, можно ли на основе электрета создать SSD для архивного хранения? Допустим, при записи бита затвор сильно нагревается и электрет плавится, а заодно поляризуется. Можно, скажем, после этого урезать осетра и дать транзистору остыть, не теряя заряд. Или, если у нас какой‑нибудь преднамеренно заложенный тиристорный эффект — превратить все транзисторы в печки, сохраняющие свой заряд одновременно, а охладить превозмоганием — в кипящий фреон окунуть и всё, прошили (только‑только от него в дихлофосах избавились, и тут я, лол). Или для плавления нужен суровый внешний подогрев от отдельного питания +12, который потом отключается или вовсе сменяется охлаждением (это уже какой‑то прямо твердотельный CD‑RW). Или зарядить общей пластиной сверху, расплавив и дав на неё пару киловольт (а транзисторы при этом защищены от пробоя при помощи временного закидывания всех «органов» на ноль), а потом разряжать выборочно, загоняя транзисторы «в режим печки». Нашёл только какой‑то патент 2002 года, номер Ru2297051c2, но там как‑то уныло всё. В кучу кони, люди, «скруглённые углы»…
Ну или с другой стороны — мой любимый кварцевый диск. Допустим, какой‑нибудь шибко дипольный оксид не разлагается до 1500, но хорошо плавится уже при 900. Размешиваем в расплавленном кварце эмульсию нанокапель этого оксида, остужаем до 1000, поляризуем и остужаем дальше. Теперь, если лазером расплавить, поляризация уйдёт. Вопросов только два — как прочитать и что мешает использовать обычный редкоземельный чугуний, который точно так же можно туда вплавить и потом намагнитить остывший диск могучим полем примерно как у ЯМР‑томографа (он же — МРТ), а размагнитить — выборочно, нагревая лазером. Там хотя бы примерно понятно, как читать потом — мы же получили магнитооптический диск, только очень большой, толстый, многослойный и стирается исключительно на заводе.
Разговоры вокруг отечественного связного 💬 Макс не унимаются с момента его официального выхода. Блогеры по всему миру "изучают" безопасность приложения, выискивая, куда он "ходит" и какую "секретную" информацию передает. В основном, все инфоповоды крутятся вокруг изучения манифеста приложения и его разрешений в системе, не углубляясь в изучение сетевых пакетов, исходники и декомпилляцию. А я как раз тот ленивый инфобезник, который еще ни разу не высказался относительно данного вопроса, поэтому исправляюсь.
В прошлую пятницу на весь 🇷🇺 российский интернет прогремела новость: все фото из ваших чатов в Макс может увидеть любой человек по ссылке.
Когда в личный чат или в папку «Избранное» в мессенджере загружается изображение, для него генерируется статичная гиперссылка. Ее можно найти в коде страницы в веб-версии Max. Эта ссылка открывается с других браузеров и устройств без авторизации в мессенджере - обнаружили пользователи. Более того, фото по ссылке останется в открытом доступе, даже если его удалить из переписки в Max.
На лицо классический IDOR. Но если мы проанализируем ссылки на фотографии, которые генерирует Макс, мы обнаружим, что изображения по ним действительно доступны без авторизации. Часть адреса у разных изображений совпадает, однако они содержат различающиеся подстроки длиной не менее 21 символа (минимум 16^21 комбинаций), а значит получить доступ к таким изображениям простым перебором адресов невозможно. Более того, EDR и WAF вас уже на 1000 запросе за несколько секунд обнаружат и отправят отдыхать минут на 5.
Ну а про хранение файлов "закон Яровой" никто не отменял.
А знаете, где еще применяется такая технология? В недавно (октябрь 2024 года) заблокированном мессенджере Discord. Все медиа файлы из приложения можно открыть в исходном качестве по прямой ссылке без регистрации и смс (именно поэтому его многие использовали как файлообменник, а платформа ограничивала размер передаваемого файла 8 мегабайтами). И, о новость, если потом данный файл удалить, он все равно остается доступным по прямой ссылке (см. прилагаемое видео).
Возвращаясь к Максу, не могу не обратить внимание, что его разработчиком является крупнейший IT-гигант Mail.ru. Я лично принимал участие в тестировании его на безопасность в период 2020-2021 годах и могу с уверенностью сказать, что там более чем секьюрно. Кроме того, опыт в обеспечении безопасности ВК, ОК и других массовых продуктов у них уже в генах.
Более того, у Макса есть Bug Bounty программа от Bi.Zone и за некоторые уязвимости там выплачивают до 10 миллионов рублей:
Получение доступа к приватной переписке определенных пользователей - 10 000 000 ₽
Получение доступа к местоположению определенных пользователей в реальном времени - 4 000 000 ₽
Получение доступа к телефонной книге определенных пользователей - 2 000 000 ₽
За год существования программы, было реально найдено 13 багов, за которые суммарно выплатили 873 тысячи. При указанной выборке я могу сделать вывод, что Макс достаточно безопасен, раз никто пока не смог сорвать джек-пот.
Поэтому, не верьте всему тому, что пишут в интернете: делите все минимум на 10. Ну и конечно, что попадает в интернет - остается в интернете, поэтому не забывайте про цифровую гигиену.
🧠 Обязательно поделись с теми, кому это может быть полезно 💬 Телеграм | 💬 Max | 📝 Хабр | 💙 ВКонтакте | ⚡️Бустануть канал
Ответьте на три вопроса и получите 3 000 ₽ на хранение данных
Хранить данные можно по-разному: в S3, базах данных, аппаратных СХД. К тому же способы можно комбинировать и даже для самых тривиальных задач получить сотни вариантов решения. А если вы работаете с чувствительными данными, то подход к способу хранения данных становится еще ответственнее.
Чтобы было легче определиться, мы предлагаем новым клиентам тест-драйв наших хранилищ и 3 000 бонусных рублей на него. Ответьте на три вопроса, получите рекомендацию по хранению и протестируйте их.
S3 в Рег.облаке: лимит вырос с 500 ГБ до 20 ТБ
S3 в Рег.облаке теперь масштабируется до 20 ТБ — теперь пользователи самостоятельно выставляют квоту через панель. Раньше максимальный лимит объектного хранилища был 500 ГБ — чтобы его поднять, нужно было писать в поддержку. Теперь квота выставляется в режиме реального времени через панель управления Рег.облака.
Сценарии, где это пригодится:
архивные резервные копии, которые копятся быстрее, чем ожидалось;
медиафайлы высокого разрешения и потоковые данные;
логи и датасеты для обучения ML-моделей;
любые задачи, где объем данных растет непредсказуемо.
Повышенные лимиты и мгновенное масштабирование дают компаниям возможность заранее планировать рост проектов и работать с большими объемами данных без ограничений по хранилищу.
Поднять квоту можно в личном кабинете Рег.облака.
Годовалый ребёнок без присмотра решил понажимать на кнопки на коробочке и случайно удалил 32 ТБ данных на NAS‑сервере. Зачем вообще было производителю добавлять функцию «Удалить весь RAID» в меню «Быстрая настройка», родитель не понял.
Когда работаешь с оборудованием, вне зависимости от должности и профессии, то телефон просто набит всевозможными рабочими фотографиями. Если говорим про инженера или архитектора, то скорее всего у них запечатлены план-схемы инфраструктуры, СКС разводки, серийный и MAC-адреса устройств, ...; робототехники обычно снимают своих "подопечных" и эксперименты с различной периферией; ну а у аппаратчиков - каждый шаг разбора, теста и реверса.
И все бы ничего, но иногда в галерею попадают изображения инсайдерского характера, разглашение которых может быть очень "больно" и "дорого". Поэтому требования к телефону, его настройке и разрешениям носят критический характер.
Представьте ситуацию, что сотрудник банка фотографирует вас с паспортом в качестве подтверждения личности для последующей выдачи карты. А вместе с тем, на телефоне установлена автозагрузка фотографий в облачный Google Images, с привязкой к геолокации и автоматическим размещением на Google Maps.
Скажете бред? А я отвечу, что я лично был в ситуации, когда наша команда готовились к Red Teaming'у одного градообразующего мобильного оператора и мы изучали местность по вышеуказанным картам. На наше везение, на здании ЦОДа, в которое нам необходимо было проникнуть, были фотографии серверной, разводки СКС, логины и пароли и еще много чего интересного.
В ходе разбирательства сотрудник пояснил, что злого умысла выгружать внутренние фото у него не было. Просто он озаботился бэкапами своей семейной галереи... в которую попали рабочие фотографии.
Сейчас, да что уж греха таить - уже как пару лет ваш телефон уже не ваш телефон (как и в Windows "Мой компьютер" плавно переименован в "Этот компьютер"). Все, что храните на телефоне, сразу становится достоянием общественности: разрешение на просмотр фото всеми приложениями, доступ к геолокации, камере и микрофону в фоновом режиме, доступ к контактам и самая прикольная тема, когда приложение запрашивает доступ на просмотр активности другого приложения...😂
Да и если почитать лицензионное соглашение, то и само устройство вам не принадлежит: ПО за компанией-разработчиком, а его реверс-инжиниринг и модификация запрещены уголовным законом. Что же касается железа, то эти кирпичи настроены на работу только со штатным кастомным ПО и драйверами, а всевозможные дебаг порты и флэш карты заблокированы.
В чем смысл моего повествования? Удобство использования всегда идет в разрез безопасности. Короткий и легкий пароль - удобно, но не безопасно; длинный и тяжелый - не удобно, но вряд ли вас взломают. Использовать все фичи телефона, включая камеру - удобно, но может все-таки рабочие и очень личные вещи оставить на "откуп" хотя бы оффлайн мыльницам?
В общем, есть над чем подумать на длинных выходных! А пока делитесь скриншотами своей телефонной галереи - давайте вместе оценим вашу работу)
🧠 Обязательно поделись с теми, кому это может быть полезно 💬 Телеграм | 💬 Max | 📝 Хабр | 💙 ВКонтакте | ⚡️Бустануть канал
Бесплатный проект Kiwix позволяет использовать различные ресурсы типа Википедии, TED Talks, Stack Exchange и другие локально и без интернета. Работает просто: скачиваете ZIM-архив один раз, а потом можете искать статьи и просматривать их где угодно, на любом устройстве. Решение доступно на Windows, macOS, Linux, Android и iOS.
Как крупнейший брокер перенес 200 серверов и 100 ТБ данных в российское облако без потерь и неожиданностей
💼 Что за компания
«Ренессанс Брокер» — один из крупнейших профессиональных участников российского рынка ценных бумаг. Сфера деятельности брокера строго регламентирована, а IT-инфраструктура в компании как кровеносная система: любой простой, даже измеряемый минутами, может привести к финансовым потерям и ущербу деловой репутации. Наиболее критический сценарий для IT-инфраструктуры — отказ или перегрузка торгового сервера или шлюза, обеспечивающего связь с биржей.
🕵️ Задача
Перенести критически важные бэк-офисные системы из иностранного облака в российское, соблюсти требования по SLA, RTO, RPO и обеспечить производительность ключевых компонентов инфраструктуры на аналогичном или лучшем уровне. Например, в случае инцидента время на восстановление работы критических систем должно стремиться к нулю. При этом для баз данных брокер требовал RPO, равное нулю, ведь потеря даже одной транзакции недопустима.
«Ренессанс Брокер» переносил системы с известными нагрузками, поэтому опирался на конкретные цифры производительности базы данных и сети:
для транзакционных запросов должно сохраниться среднее время отклика,
задержка между критически связанными компонентами внутри облака должна оставаться минимальной,
задержка доступа до новых облачных ресурсов должна быть сопоставима или меньше предыдущей.
👨💻 Решение
На пилотном этапе брокер сосредоточился на тестировании фундаментальных сервисов Cloud.ru Advanced: виртуальных машин, блочного хранилища и объектного хранилища стандартного и холодного класса хранения. Тестирование подтвердило, что инфраструктура Cloud.ru соответствует текущим требованиям к производительности. Это стало одним из аргументов для принятия решения о начале полномасштабной миграции, так как позволило гарантировать бизнесу отсутствие ухудшения в работе критически важных приложений и баз данных.
Сроки миграции в облако Cloud.ru были спланированы и реализованы в два этапа. На приоритетную миграцию закладывали 2–3 месяца. Второй этап по плану должен был занять около 6 месяцев: за это время надо было не просто перенести системы, но и архитектурно их усовершенствовать, например, переехать на новую версию ПО или изменить стек с одной СУБД на другую, включая критически важное разделение зарубежной и российской инфраструктур для соответствия новым регуляторным и законодательным требованиям.
📈 Результаты
Миграция полностью уложилась в запланированный срок. Все сервисы, включая 200 серверов и 100 ТБ данных, были перенесены с минимальным временем простоя. Изменения затронули практически всех сотрудников компании. Для них переход был максимально прозрачным и свелся в основном к смене адресов для подключения: они продолжили работать с уже знакомыми системами, но уже в новой среде.
Снижение совокупной стоимости владения (TCO) облачной инфраструктурой стало для «Ренессанс Брокера» одним из самых значимых количественных результатов миграции. Клиент достиг этого снижения за счет более прозрачной и предсказуемой модели ценообразования, что позволяет эффективнее управлять бюджетом и избегать неожиданных затрат.
Другой важный результат — сохранение и укрепление высокого уровня SLA в новой среде: брокер обеспечил выполнение строгих требований к доступности и полную сохранность данных.
Что общего между счетами за коммуналку и облачными сервисами?
Самый большой страх перед облаками — это «открытый кран», который за месяц сольет весь бюджет компании. Но есть и хорошая новость: чтобы не разориться, не нужно творить чудеса. Достаточно навести порядок в своей «цифровой квартире» и приучить команду к осознанному управлению ресурсами. Применяем логику рачительного домовладельца к облачной архитектуре и смотрим, где можно сэкономить без потери в производительности.
1. Вынесите счетчик из подвала
Трудно экономить воду, если счетчик спрятан в темном углу за слоем пыли или вообще, запрятан внутри самого поставщика. В ИТ всё так же: команды не начнут оптимизировать код, пока не увидят, сколько стоит их «пробег». Поэтому начните с активации расширенных панелей мониторинга (Billing Dashboards). Расходы должны быть на виду у тех, кто их генерирует, а не только у бухгалтерии в конце месяца.
2. Распределите ответственность
У каждой «лампочки» должен быть хозяин. Назначьте ответственных за каждый ресурс, сервис, базу данных или инстанс, но не для галочки, а специалиста, который понимает, как работает этот ресурс и сколько он стоит. Да, на старте это потребует времени (и, возможно, обучения сотрудников), но в итоге вы получаете прозрачность. Золотое правило: если ресурс нельзя идентифицировать — он не должен существовать. Только так можно понять, кто «льет воду», а кто экономит.
3. Проводите регулярную поверку
Этот пункт напрямую вытекает из предыдущего. Поверка — это не просто аудит «для бухгалтерии», а профессиональный осмотр. Маленькая капля за месяц превращается в кубометры, а забытый «тестовый» сервер — в десятки и сотни тысяч рублей. Проводите ежемесячный аудит: удаляйте брошенные инстансы и делайте оптимизацию мощностей (меняйте размер слишком мощных машин на те, что реально нужны). Сохраняйте историю, чтобы видеть динамику ваших «протечек».
4. «Умный дом» для бюджета
Современные системы защиты перекрывают воду автоматически, как только датчик на полу зафиксировал протечку. В облаках такая страховка также обязательна. Настройте пороговые значения и оповещения о расходах, которые предоставляют облачные провайдеры. Своевременное уведомление о том, что лимит бюджета исчерпан на 80% на первой неделе, спасет вас от крайне неприятного сюрприза в конце месяца.
5. Энергоэффективность на этапе чертежа
Глупо строить дом из картона, а потом пытаться согреть его промышленным обогревателем, поэтому о его энергоэффективности думают еще на этапе проекта. Стоимость облачных услуг напрямую зависит от архитектурных решений. Иногда лишний час работы архитектора на старте окупается многократным снижением счетов за поддержку системы в будущем.
Переезд в облако не избавляет от ответственности за инфраструктуру, он просто меняет фокус, с обслуживания «железа» на оптимизацию процессов. Ни один облачный провайдер не придет к вам, чтобы выключить за вами свет. Это ваша «цифровая квартира», и уют (как и бюджет) в ней зависит только от вас.
Представлен проект CapacityTester — утилита с графическим интерфейсом для выявления реальной ёмкости носителей информации. Решение кроссплатформенное, написано на C++ и создано с использованием фреймворка Qt.
Есть два режима работы CapacityTester:
Аналогичный используемому при работе консольных утилит f3write/f3read (пакет f3 — Fight Flash Fraud), когда свободное место на носителе (с файловой системой) заполняется специально сформированными файлами. На носителях большого объёма требуется длительное время для проверки.
Деструктивный режим, когда данные пишутся напрямую на носитель, и фейковая ёмкость может быть выявлена быстрее (у f3 тоже, вроде бы, есть аналогичный режим, но это не точно).
Помимо авторских сборок, у программы есть пакет в репозиториях Altlinux и PKGBUILD в AUR.
Проект Pentaract позволяет сделать Telegram бесконечное хранилище файлов и превратить мессенджер в личное облако. Основа — PostgreSQL. Технология максимально экономит место, не создаёт лишний мусор, таблицы или списки. Работает без ограничений и без нарушений политики и целостности Telegram.
Иногда возникает вопрос - как долго данные могут сохраниться на том или ином носителе. Можно ответить теоретически, а можно проверить на практике...
И вот уже почти полтора года две microSD карты старательно лежат в коробочке и пытаются сохранить мои бесценные данные. 22 августа 2024 года была приобретена карточка SanDisk Extreme Pro 512 GB, залита под завязку данными, и положена на хранение в прохладное темное место. По предложению коллег по форуму 25 августа была куплена еще и самая дешевая карточка, Smartbuy 512 GB, тоже залита данными и положена рядом. Карты были выбраны просто - самая дорогая из доступных, и самая дешевая. Условия хранения - бытовые, температура - 21-26 градусов, влажность 30-60%, темнота.
Пара промежуточных тестов - в этой статье под спойлером в разделе "2) Накопители на флеш-памяти". Чтобы зря не ходили туда - дорогая карта изменений за год не продемонстрировала, у дешевой после года - резко упала скорость после начального участка, перезаписанного изначально два раза.
Смотрим - что стало с картами по состоянию на 1 января 2026 года.
Верхний график - дорогая карта, нижний - дешевая. Интересно то, что провал скорости у дешевой карты исчез, остался только в конце. Дополнительно были проверены коды восстановления у файлов, лежащих на картах - ошибок нет, данные читаются те, что были записаны.
Резюме: обе карты сохранили данные в течение полутора лет.
Следующая проверка - 1 июля 2026 года.
Открытый проект Digler помогает спасти удалённые файлы на жёстком диске, проводит глубокий анализ SSD или HDD и может вернут утерянные данные. Работает со всеми файловыми системами, даже если метаданные отсутствуют. Сканирует не только физические SSD, но и образы дисков. Создаёт детальные отчёты, которые помогут точечно спасти нужные файлы. Умеет работать с файлами любых форматов.
Премьера года: знакомьтесь с DataForge!
Вебинар — 16 декабря, 12:00
Друзья, делюсь новостью, которой горжусь: коллеги запускают премьерный вебинар и впервые подробно покажут DataForge — новую российскую self-service платформу для централизованного управления аналитическими данными.
Я внимательно следила за развитием этого продукта и на некоторых этапах принимала участие в обсуждениях — особенно за те функции, которые лично для меня, как аналитика, принципиально важны:
— быстрый сбор и систематизация витрин
— возможность видеть и настраивать бизнес-логику
— единый подход к расчётам для всех систем без бесконечного ручного труда в Excel
DataForge — это инструмент, который сам собирает и поддерживает Data Mart слой для любых связанных систем. Особенно актуален для тех, кто строит витрины на ClickHouse: автоматическая генерация витрин, согласованность расчётов для всех потребителей данных — и всё это без лишних доработок со стороны разработчиков.
О чём расскажут на вебинаре:
Какие задачи решает DataForge и как ускоряет работу всех подключённых систем, включая BI
Как устроена структура продукта: его место в архитектуре и ключевые компоненты
Подробно покажем семантический слой: реестры показателей, измерений, единая бизнес-логика
Как работает автоматическая генерация SQL и публикация витрин в базе
Как DataForge обеспечивает согласованность метрик и прозрачность данных в любых BI-инструментах
Как платформа автоматически транслирует изменения в бизнес-логике во все связанные системы
Спикеры:
Технический директор и владелец продукта DataForge
Формат:
Онлайн, 1 час живого диалога с экспертами, включая демонстрацию интерфейса и ключевых возможностей платформы
Участие бесплатное!
В Рег.облаке запустили Платформу данных на open-source технологиях
В Рег.облаке стала доступна Платформа данных — индивидуально разворачиваемая среда для полного цикла работы с данными: от сбора и хранения до аналитики, ML-разработки и эксплуатации моделей. Решение проектно конфигурируется под задачи конкретного заказчика и разворачивается в нужном контуре.
Платформа основана на открытых технологиях и позволяет собрать единый data-стек без вендор-лока. В рамках проекта объединяются инструменты для ETL/ELT, потоковой обработки, хранилищ, ML-среды и аналитики, а также могут подключаться проприетарные модули под специфические сценарии.
Что входит в решение:
open-source инструменты для хранения, обработки, аналитики и машинного обучения;
готовые модули для каталогизации данных, визуализации и ML;
возможность интеграции собственных инструментов и сервисов;
управляемая эксплуатация: обновления, мониторинг и поддержка.
Основные возможности:
единый контур для ETL/ELT, потоковой обработки, ML и BI;
масштабируемая архитектура для работы с терабайтами данных;
кастомизация инструментов под окружение заказчика;
изолированные сегменты для работы с конфиденциальными данными;
быстрое развертывание и добавление новых модулей.
Технологический стек
Хранение и управление данными: S3, PostgreSQL, ClickHouse, Apache Iceberg, Open Metadata.
Обработка и трансформация: Airflow, Apache Spark, Flink, Kafka, Trino, Apache Impala.
Аналитика и визуализация: Superset, Metabase, ClickHouse, PostgreSQL, Apache Impala.
Машинное обучение: JupyterLab, Kubeflow, MLflow.
Партнерские решения: готовые SaaS-модули для расширения функциональности.
Платформа подходит для построения единого дата-стека, сквозной аналитики, машинного обучения и обработки больших данных в распределенных инфраструктурах.
Примеры сценариев использования:
консолидация данных и построение бизнес-отчетности;
миграция с legacy-систем на современную архитектуру;
обучение и развертывание ML-моделей;
подготовка данных для AI-систем и нейросетей.
Подробнее о Платформе данных читайте на сайте Рег.облака.
Получите максимум от объектного хранилища данных
Через 25 минут на вебинаре «Внутри S3». Мы создаем масштабируемые, отказоустойчивые и быстрые S3-хранилища: ледяные, холодные, горячие и стандартные. Познакомим вас с устройством сервиса под капотом и разберем, как используют S3 компании из разных сфер. Присоединяйтесь!
Что обсудим:
👉 как устроено S3 в Selectel на всех уровнях;
👉 для чего нужны разные типы хранения данных и как с ними работать;
👉 как использовать частные инсталляции S3;
👉 как построить собственную дата-платформу с помощью хранилища Selectel.
Подключайтесь к трансляции:
В Рег.облаке появилась возможность разворачивать приватное S3-хранилище на выделенных кластерах
В Рег.облаке стала доступна индивидуальная инсталляция приватного объектного хранилища на базе Ceph — полностью изолированной системы хранения данных с поддержкой S3-API. Кластер разворачивается только под конкретного заказчика и в конфигурации, соответствующей его инфраструктуре и требованиям безопасности.
Хранилище можно развернуть в одном из дата-центров Рег.облака или на стороне клиента, если необходим полный физический контроль над оборудованием и контуром.
Что входит в решение:
выделенный Ceph-кластер под одного клиента;
поддержка стандартного S3-API;
размещение в ЦОДе или на стороне заказчика;
обслуживание и эксплуатация кластера силами инженеров Рег.облака.
Основные возможности:
полная физическая и логическая изоляция данных;
масштабирование от сотен терабайт до нескольких петабайт;
отказоустойчивость за счет репликации (обычно x3);
высокая пропускная способность в локальной сети (до 100 Гбит/с);
предсказуемая модель подписки, включающая оборудование, ПО и поддержку.
Технические характеристики:
технология: Ceph Object Storage;
протокол: S3-совместимый API;
масштабируемость: 500 ТБ – 5 ПБ;
изоляция: выделенное оборудование под каждого клиента;
надежность: репликация данных;
размещение: ЦОД Рег.облака или площадка заказчика.
Хранилище подходит для резервных копий и журналов транзакций, создания Data Lake и работы с большими аналитическими массивами. Приватный S3 пригодится для хранения и раздачи медиаконтента, а также для корпоративных архивов и защищенных хранилищ документов.
Посмотреть доступные конфигурации приватного S3-хранилища можно на сайте Рег.облака.
Repeater - легкий оркестратор для аналитики
Repeater запускает задачи по расписанию. Задачи описываются в toml-файлах и отображаются в веб-интерфейсе.
title = "wiki" cron = "55 * * * *" [[tasks]] name = "wiki_pageviews" cmd = "python3 ./examples/wiki_pageviews.py --end_date={{.scheduled_dt}}" [[tasks]] name = "trigger_outliers_update" cmd = "python3 ./examples/trigger_outliers_update.py"
Возможен запуск при завершении другой задачи, уведомления о падениях, параллельные этапы. Repeater подойдёт для импорта данных и обновления витрин в хранилище.
Попробуйте!
Демо: https://repeater.up.railway.app/
Репозиторий: https://github.com/andrewbrdk/Repeater
Вендинговый оператор перенес mission-critical инфраструктуру в облако Cloud.ru и настроил резервное копирование базы данных 💽
👨💻 Что за компания
UVENCO — крупнейший оператор вендинговых автоматов бренда UNICUM в России, обслуживает 20 000 торговых аппаратов, включая микромаркеты и кофе-поинты, в 65 городах страны.
Все автоматы оборудованы системой онлайн-телеметрии, которая помогает удаленно мониторить их работу, планировать маршрут и график обслуживания, контролировать продажи и остатки товаров. Так оператор в режиме реального времени видит состояние всего парка оборудования и может обеспечить одинаково высокое обслуживание во всех городах, где стоит вендинг UVENCO.
🕵️ Какая была задача
Система онлайн-телеметрии на 20 000 автоматов — это тысячи транзакций в секунду, постоянные записи в базы данных и высокая чувствительность к задержкам. Для UVENCO это mission-critical система: любая деградация ядра телеметрии отразится на продажах и сервисе по всей стране.
Ранее телеметрия работала на локальных серверах. Но для требуемого SLA пришлось бы резервировать вычислительные кластеры, систему хранения данных (СХД), сеть и питание — это дорого и сложно в сопровождении. Масштабирование под ввод новых автоматов тормозилось бы капитальными затратами.
👨🔧 Как ее решили
IT-специалисты UVENCO развернули виртуальные машины и перенесли сервисы телеметрии на платформу Облако VMware. Миграция выполнялась средствами VCDA без изменения архитектуры приложений. После оценки производительности инженеры Cloud.ru предложили перейти на выделенный хост, чтобы исключить шум соседей и закрепить ресурсы только за UVENCO.
📈 Что в результате
Телеметрия работает стабильно, БД регулярно и корректно резервируется. Переезд снял риск простоев и дал UVENCO возможность оперативно масштабироваться под рост нагрузки.
Как настроить резервное копирование в S3
Автоматизация резервного копирования помогает снизить риск потери данных. Один из простых способов — использовать rclone, утилиту для синхронизации и переноса файлов между локальными системами и хранилищами, совместимыми с S3.
Подготовили подробный гайдлайн, как установить rclone на Windows, подключить S3-хранилище, создать скрипт для копирования бэкапов и добавить его в Планировщик заданий — чтобы резервное копирование выполнялось без участия администратора.
Подробную инструкцию смотрите в базе знаний Рег.облака.
GlowByte приглашает на первый Data Sapience Data Day: дата, программа, регистрация
Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.
В программе конференции:
Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️ перспективам развития дата-ландшафта;
▫️ влиянию искусственного интеллекта на управление данными;
▫️ оценке готовности рынка (технологии/решения/компетенции);
▫️ вопросам миграции в публичные облака.
Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.
Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.
В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.
▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.
Первый Data Sapience Data Day: дата, программа, регистрация
Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.
В программе конференции:
Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️перспективам развития дата-ландшафта;
▫️влиянию искусственного интеллекта на управление данными;
▫️оценке готовности рынка (технологии/решения/компетенции);
▫️вопросам миграции в публичные облака.
Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.
Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.
В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.
▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.
Наше хранилище S3 недавно попало в топ-5 по функциональности и в топ-3 по поддерживаемым протоколам в рейтинге Cnews среди облачных провайдеров. В общем рейтинге мы на 7-м месте.
Хороший повод рассказать про S3 подробнее.
Хранилище работает на базе Ceph — распределенной системы хранения данных с открытым исходным кодом. Она дает вам полный контроль над данными и позволяет кратно масштабироваться.
Конкретнее о преимуществах:
1️⃣ Тройная репликация — данные хранятся в три копии на разных серверах, чтобы даже в случае отказа одного из них ваши данные были в полной безопасности.
2️⃣ Высокая производительность — для быстрого доступа мы используем горячие пулы на NVMe и холодные пулы на HDD для тех данных, которые вы не будете часто запрашивать.
3️⃣ Управление через стандартный S3 API — чтобы интегрироваться в любые системы, поддерживающие S3, мы используем интерфейс RADOS Gateway (RGW), который транслирует запросы на S3 в язык Ceph и управляет ими через API.
Кстати, спойлер: скоро планируем запускать S3 в Москве.
Начать пользоваться можно даже за 1 рубль на минималке в холодном хранилище. Пора тестить →
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark — с DataFusion Comet и Impala
Друзья, в блоге компании Data Sapience, партнера GlowByte, вышла новая статья, третья в цикле материалов про нагрузочные испытания вычислительных технологий массивных параллельных вычислений.
Ранее техническим руководителем решений Data Ocean Nova и Data Ocean Flex Loader Евгением Вилковым были опубликованы статьи, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS.
В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Как запустить демопроект на Django, не утонуть в рутине и не потерять данные?
Настройка серверов, управление контейнерами, риск потерять наработанное после их перезагрузки... Или, другими словами, развертывание демо на Django.
Но мы знаем, что делать 🦸 Приглашаем вас на вебинар — ждем всех, кто хочет быстрее развертывать свои приложения.
О чем поговорим:
как организовать хранение файлов в Evolution Object Storage;
как подключить хранилище к приложению напрямую, без использования S3-клиентов;
как делать, чтобы защитить данные от потери после перезагрузки контейнеров.
Ну и куда без практики: в конце встречи в life-time расскажем, как запустить демо на Django в Evolution Container Apps.
📅 Когда? 28 октября в 11:00 мск.
📍Где? Встретимся онлайн — заходите на страницу вебинара и регистрируйтесь.
Первые заметки с GITEX GLOBAL 2025
GITEX в Дубае из года в год подтверждает, что это не просто выставка, а политико-технологическая витрина региона. Государственные ИИ, «суверенные» облака, умный транспорт, автоматизированные госуслуги — всё это разворачивается на фоне гонки за цифровую независимость. В этом году площадка разделена на крупные тематические треки — ИИ, безопасность, инфраструктура, индустриальные решения, системный и промышленный софт и т.д.
Первое и, пожалуй, главное наблюдение – это особое внимание к теме ИТ-безопасности, которая явно стала необходимостью. Главными запросами рынка стали отказоустойчивость и непрерывность бизнес-процессов, что заметно не только в России, но и по всему миру. Это подтверждает и масштаб секции по безопасности, и широта географии. Теперь задачи производителей решений класса СРК типа Veeam или Acronics не ограничиваются только копированием данных. Они обеспечивают шифрование, консистентность, безопасность передачи данных и обнаруживают аномалии в процессе копирования. Резервное копирование больше не воспринимается как рутинная строка в статье расходов на инфраструктуру компании, а становится частью безопасности и устойчивости бизнеса.
Отдельная тема дискуссий — этика и приватность. Каждая ИИ-новинка сопровождается обсуждением того, что можно доверять ИИ и как предотвращать злоупотребления.
Что касается ИИ, то конкурировать теперь приходится не с его наличием, а с качеством интеграции. Поэтому ИИ теперь ощущается как рутинный слой стека, который ставят «по умолчанию» — поиск, суммаризация, рекомендации, автоматизация. Маркетинга, конечно, тоже хватает: «AI-ready», «AI-powered» встречается на каждом втором стенде. Но, судя по интересу посетителей, бизнес отлично понимает, что смысл в применимости, а не в вывеске.
Из показательных примеров — AI-автомобили, которые патрулируя по городу, в реальном времени могут выявлять нарушения визового режима, рядом — демонстрация «умных полицейских станций», автоматизированных пунктов обслуживания граждан (вспомним времена, когда Робокоп казался далеким будущим). Такие примеры хорошо иллюстрируют сдвиг к прикладным государственным сервисам.
Обойти всё за один день объективно нереально. Масштаб и география участников впечатляют. Поэтому планирую ещё одно посещение, чтобы собрать больше информации про облачные решения и последние тренды на рынке СРК. А заодно добраться до российских стендов: судя по программе и экспозиции, там тоже есть что показать.
Главный вывод на сегодня: GITEX-2025 — уже не про «космические корабли», а про реальную применимость: отказоустойчивость, безопасность, стоимость владения. AI никуда не делся, он просто растворился в продукте.
Полезные ссылки про AI, облака и новости в дайджесте за сентябрь 🌂
🎙️ Провели конференцию GoCloud Tech. В программе — 20+ выступлений, демо и релизы новых сервисов, технические воркшопы и много нетворкинга. На GoCloud Tech было:
850+ офлайн-участников;
2 800+ онлайн-зрителей;
4 трека, 37 спикеров, 5 воркшопов и 13 демозон.
Записи всех докладов можете посмотреть на удобной площадке: YouTube или VK Видео.
🤖 На конференции поделились результатами первых двух месяцев работы AI-помощника Cloud.ru в облаке:
к помощнику обратились 4 000 пользователей;
отправили свыше 12 000 сообщений;
пользователи ускорили рутинные операции в 15 раз.
Другие новые возможности сервиса:
SRE-агент для мониторинга приложений и алертов по логам. Помощник обратит внимание на аномалии в работе сервисов и даст советы по улучшениям.
FinOps-оптимизация. AI-помощник Cloud.ru может найти неиспользуемые виртуальные машины, которые можно отключить, или активные виртуальные машины, которые можно оптимизировать для снижения затрат.
💡 Делимся важными анонсами платформы Cloud․ru Evolution:
Запустили Evolution VPN. Это защищенная сеть, которая позволяет удаленно подключаться к облаку, получать безопасный доступ к ресурсам внутри корпоративной сети или VPC.
Magic Link расширяет возможности Magic Router. Теперь без использования интернета можно организовывать сетевую связность между облачными ресурсами, созданными в разных проектах облачной платформы одного или разных клиентов.
Evolution Data Platform теперь в коммерческой эксплуатации. Теперь все data-сервисы разворачиваются в едином кластере на общем платформенном слое. Это упрощает интеграцию сервисов и весь цикл работ с данными.
🎁 Дарим юрлицам 35 000 бонусов для работы с Evolution Data Platform. Используйте бонусы, чтобы работать с Big Data, собирать данные для машинного обучения, автоматизировать обработку данных — и не только.
💸 Анонсировали тарифы для Evolution Foundation Models — сервиса с популярными моделями, доступными по API. До 31 октября больше 20 LLM доступны бесплатно, а с 1 ноября средняя цена составит:
35 рублей за миллион входных токенов;
70 рублей за миллион выходных токенов.
Добавили новые модели, которые в Evolution Foundation Models можно использовать бесплатно до 31 октября: это Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B и GigaChat 2 MAX.
👨💻 Вместе с GitVerse и Хабром запустили программу «Код без границ» для развития open source проектов. Чтобы принять участие, разместите свой проект на GitVerse и подайте заявку до 31 октября. Победители получат от 50 до 150 тысяч рублей, облачные ресурсы от Cloud․ru и доступ к профессиональному сообществу.
🎥 Провели много полезных вебинаров — переходите по ссылкам, чтобы посмотреть их в записи:
Как повысить отказоустойчивость Kubernetes: мультикластерная архитектура на Karmada.
Admission Control в Kubernetes: управление доступом и политиками безопасности.
Кому принадлежит AI-контент: авторские права на код, изображения и тексты.
Контролируемый вайб-кодинг: сокращаем технический долг и уязвимости.
🎬 Смотрите новый выпуск подкаста ClientFirst о запуске e-commerce в METRO, сохранении культуры IT-команды и задачах, для которых подходит AI. Спикеры — директор по продажам и маркетингу Cloud.ru Андрей Зотов и IT-директор METRO Антон Антоничев. Запись есть на YouTube, VK Видео и RuTube.
💼 Делимся кейсами наших клиентов о том, как решать задачи бизнеса в облаке:
Как «Страна Девелопмент» повысила производительность на 30%.
Как разработчик «Жива Технологии» развернул приложение с AI-ассистентом в облаке Cloud.ru.
🎨 Прокачали наш бесплатный курс «Креативное мышление и AI для решения задач». Прокачайте стратегическое мышление, научитесь находить первоначальные проблемы, освойте ТОС и CRAFT для генерации идей. А еще — создайте креативного AI-ассистента в Chatbox, который будет давать нешаблонные ответы под ваши задачи.
💳 Присоединяйтесь к реферальной программе Cloud.ru: рекомендуйте нас клиентам и получайте 20% от их чека в первый год и 15% — в последующие.
До встречи в следующем дайджесте!
Дарим 35 000 рублей, чтобы протестировать сервисы Evolution Data Platform 🎁
Переходите по ссылке, чтобы получить 35 000 рублей и попробовать сервисы для работы с Big Data и машинным обучением. Оцените интерактивную аналитику, постройте ETL-пайплайны и Data Lakehouse-решения для вашего бизнеса.
Какие сервисы можно протестировать с бонусными рублями?
Evolution Managed Trino — аналитический SQL-движок Trino, чтобы облегчить обработку больших объемов данных с помощью распределенных запросов.
Evolution Managed Spark позволит развернуть кластерный вычислительный сервис, создать и конфигурировать инстансы Spark.
Evolution Managed Metastore подойдет для хранения метаданных: информацию о таблицах, колонках и партициях.
Evolution Managed BI — облачный сервис для удобной визуализации и анализа данных. Собирайте информацию из MySQL, Oracle, PostgreSQL и других источников — и стройте на их основе графики, таблицы и диаграммы.
Evolution Managed Airflow позволяет обрабатывать данные по принципу ETL, объединять задачи в пайплайны, планировать и запускать их по расписанию.
Тратьте бонусные рубли прозрачно: 1 бонус = 1 рубль. Получить подарок можно до конца года, а действовать он будет 60 дней с момента активации.
🚀 Объём корпоративных данных растёт на десятки процентов в год, а специалистов всё так же не хватает. В статье для VC.RU мы вместе с Екатериной Ризановой рассказали, как ИИ-агенты помогают решать эту проблему: берут на себя рутинные задачи в хранилищах данных и BI-системах, ускоряют работу команд и экономят компаниям миллионы рублей в год.
ИИ-агент — это не чат-бот. Он сам выполняет действия: анализирует код витрин, строит lineage, генерирует SQL, находит инсайты и помогает сотрудникам сосредоточиться на действительно важных задачах.
👉 Делюсь материалом: https://vc.ru/ai/2233616-ii-agent-dlya-rabotyi-s-bolshimi-dannymi
Как организовать хранение кадровых документов 1,5 млн пользователей в облаке: опыт HRlink 📄
Когда ваш бизнес обслуживает более 6 400 корпоративных клиентов, а платформу используют 1,5 млн человек, вы точно задумаетесь об отказоустойчивости, надежном хранении данных, соответствии 152-ФЗ, да и на вопросы производительности СУБД взглянете по-новому.
С такими задачами столкнулась компания HRlink. Рассказываем, как на IT-инфраструктуре Selectel она:
развернула сервис в облаке с возможностью гибкого масштабирования,
повысила производительность более 5 000 баз данных,
организовала надежное хранение кадровых документов,
обеспечила безопасную обработку персональных данных.
Подробности кейса читайте в Академии Selectel, а также оставляйте заявку на бесплатную миграцию ➡️
Как облако помогает нанимать людей
Привет, Хабр! На связи Ольга, в Хайстекс я занимаюсь развитием бизнеса и корпоративных связей. В блоге компании мы опубликовали перевод статьи с отличным примером того, как управляемые облачные сервисы перестают быть только техническим инструментом и становятся стратегическим фактором даже там, где главная ценность бизнеса — люди и их экспертиза.
В статье рассматривается кейс SkillGigs, сервиса для подбора специалистов в сфере здравоохранения и технологий. Управляемые облачные сервисы позволили внедрить 3D-резюме, выстроить мультиоблачную архитектуру, обеспечить безопасность и упростить интерфейс для пользователей. Результат: поиск стал быстрее, рекомендации — точнее, а процесс найма удобнее. Этот пример хорошо показывает, что облако — это уже не просто «поддержка инфраструктуры», а реальный драйвер бизнеса.
Статья не перегружена кейсами, в ней собраны ключевые выводы и один практический пример. Хороший повод пересмотреть своё отношение к облачным сервисам и понять, где они реально дают бизнес-эффект.
Кажется я опять удалил бэкап из бакета... А нет, у меня ж стоит блокировка 😮💨
Добавили в S3 новую функцию — блокировку объектов (Object Lock). Теперь можно зафиксировать, или по-айтишному — «залочить» версии объектов так, что их нельзя удалить или изменить в течение заданного времени. Даже админу бакета.
👌 Идеально для архивов, резервных копий и важных логов.
Есть несколько режимов:
GOVERNANCE — «админ может удалять, а другие нет»
Объекты защищены от случайных действий, но пользователи с особыми правами могут их удалять в любой момент
COMPLIANCE — «тут и админ бессилен»
Объекты остаются нетронутыми до конца срока блокировки, даже если у вас админские права
Без глобальной защиты — «по дефолту»
Блокировка версий объектов не будет устанавливаться в бакете
Новые правила передачи данных банками и операторами связи в 2025–2026 годах: что изменилось в законах
В 2025 году утверждены два постановления Правительства, которые вводят новые правила взаимодействия банков и операторов связи с государственными органами через систему межведомственного электронного взаимодействия (СМЭВ). Оба документа направлены на обеспечение доступа к сведениям, которые могут понадобиться для оперативно-розыскной деятельности и обеспечения безопасности РФ.
Новые постановления напрямую связаны с изменениями в законодательстве, вступившими в силу весной 2025 года.
Статья 9 Федерального закона о банках и банковской деятельности с апреля 2025 года обязывает кредитные организации предоставлять сведения уполномоченным органам через МЭВ в сроки и формате, которые устанавливаются Правительством РФ совместно с Банком России.
Статья 46 Федерального закона «О связи» закрепила аналогичную обязанность для операторов связи.
До этих изменений порядок был иным:
правоохранительные органы направляли запросы в банки и операторам связи в бумажном или электронном виде напрямую;
не существовало единого формата и технического канала передачи данных.
Для банков (ПП РФ от 30.08.2025 № 1344).
Правила вступят в силу с 1 марта 2026 года
Подключиться к системе банкам нужно до 31 августа 2026 года. Минцифры обещает техническую поддержку и предоставление адаптера СМЭВ бесплатно.
В соответствии с правилами Банки будут обязаны по запросам органов передавать через систему межведомственного электронного взаимодействия (далее – СМЭВ) широкий перечень данных о клиентах.
Передаваться будут:
сведения о счетах и вкладах, движении средств по ним;
место и время выдачи наличных;
телефонные номера, связь по которым оплачивается картой или иным средством платежа клиента;
участие клиента в брокерской деятельности;
данные о сейфовых ячейках.
Если у банка нет запрашиваемой информации - он обязан сообщить об этом.
При нарушении формы запроса (например, отсутствует номер, дата, ссылка на правовое основание) банк возвращает его без рассмотрения и объясняет причину.
Сроки в правилах указано, что в соответствии со ст. 26 ЗаконА о банках, но четкого срока установить не удалось.
Для операторов связи (ПП РФ от 29.08.2025 № 1316)
Правила вступили в силу уже с 1 сентября 2025 года, а к СМЭВ операторы должны подключиться до 28 февраля 2026 года.
Сроки передачи данных гораздо жестче, чем для банков:
в течение 24 часов с момента получения запроса нужно передать основные сведения;
на дополнительные данные (например, историю использования номера за три года) дается 72 часа.
Если выполнить запрос вовремя невозможно, оператор обязан уведомить орган в течение тех же 24 часов и указать предполагаемый срок исполнения.
Передаваться будут:
Ф.И.О. абонента, дата рождения, адрес;
паспортные данные;
дата заключения договора об оказании услуг связи;
дата последнего использования номера.
Есть и технические ограничения: мобильные операторы не могут передавать более 0,05% сведений от всех своих номеров в сутки, для остальных операторов лимит — 0,03%. Это сделано, чтобы избежать перегрузки системы и массовой выгрузки информации.
Как юрист я вижу несколько ключевых моментов:
Баланс между безопасностью и правами клиентов. Наши данные становятся более доступными для правоохранительных органов.
С одной стороны, государство получает быстрый и централизованный доступ к информации, что повышает эффективность раскрытия преступлений. С другой речь идёт о персональных и финансовых данных, и любая ошибка или утечка может серьёзно ударить по физ.лицам и компаниям.
Нагрузка на банки и операторов связи как техническая, так и организационная. При этом компаниям нужно будет выстроить внутренний контроль, обучение сотрудников и аудиты безопасности.
Риски для банков и операторов связи. Нарушение сроков, передача неполных сведений или ошибок в ответах могут привести к санкциям.
Больше интересного на моем канале.
Новый веб-интерфейс S3 в Рег.облаке: все основные операции теперь прямо в браузере
В Рег.облаке важное обновление для всех, кто работает с данными. Мы завершили большой этап по развитию интерфейса работы с объектами в нашем S3-совместимом хранилище. Теперь все основные операции с объектами доступны прямо через визуальный интерфейс личного кабинета — без необходимости использовать командную строку или сторонние файловые менеджеры.
Существенно расширили функциональность веб-интерфейса, добавив в него все ключевые фичи:
просмотр и сортировка объектов в бакете;
создание папок для организации данных;
прямая загрузка файлов до 1 ГБ прямо из браузера;
скачивание файлов;
генерация предварительно подписанных URL-ссылок для безопасного предоставления доступа к объектам на время;
копирование, перемещение и переименование объектов;
удаление отдельных объектов и папок, а также массовое удаление для очистки хранилища;
быстрый поиск по объектам в бакете.
Как это можно использовать на практике?
Обмен тестовыми данными с подрядчиком. Разработчик выгружает артефакты сборки в бакет и создает предварительно подписанную ссылку, а подрядчик скачивает файл по ссылке без регистрации в облаке и настройки сложных политик доступа. Это экономит время и упрощает взаимодействие.
Организация структуры в бакете. DevOps-инженер может навести порядок в хранилище: сгруппировать файлы по папкам, переименовать старые версии и удалить лишнее. В результате вся команда быстрее находит нужные данные, а хранилище становится опрятным и логичным.
Массовое удаление старых данных. Аналитики ежедневно загружают в бакет выгрузки объемом в десятки гигабайт. Когда отчеты или расчеты устаревают, их можно удалить одной операцией, а не по одному файлу. Это мгновенно освобождает место и упрощает управление.
Общекомандное хранилище. Команда может использовать бакет как единое пространство для тяжелых файлов: документов, образов, архивов логов. Больше не нужно пересылать гигабайты через почту или сторонние сервисы.
Подключить S3-хранилище можно в личном кабинете Рег.облака. Новый веб-интерфейс уже доступен всем пользователям.
