Открытый проект Digler помогает спасти удалённые файлы на жёстком диске, проводит глубокий анализ SSD или HDD и может вернут утерянные данные. Работает со всеми файловыми системами, даже если метаданные отсутствуют. Сканирует не только физические SSD, но и образы дисков. Создаёт детальные отчёты, которые помогут точечно спасти нужные файлы. Умеет работать с файлами любых форматов.
Друзья, делюсь новостью, которой горжусь: коллеги запускают премьерный вебинар и впервые подробно покажут DataForge — новую российскую self-service платформу для централизованного управления аналитическими данными.
Я внимательно следила за развитием этого продукта и на некоторых этапах принимала участие в обсуждениях — особенно за те функции, которые лично для меня, как аналитика, принципиально важны: — быстрый сбор и систематизация витрин — возможность видеть и настраивать бизнес-логику — единый подход к расчётам для всех систем без бесконечного ручного труда в Excel
DataForge — это инструмент, который сам собирает и поддерживает Data Mart слой для любых связанных систем. Особенно актуален для тех, кто строит витрины на ClickHouse: автоматическая генерация витрин, согласованность расчётов для всех потребителей данных — и всё это без лишних доработок со стороны разработчиков.
О чём расскажут на вебинаре:
Какие задачи решает DataForge и как ускоряет работу всех подключённых систем, включая BI
Как устроена структура продукта: его место в архитектуре и ключевые компоненты
В Рег.облаке запустили Платформу данных на open-source технологиях
В Рег.облаке стала доступна Платформа данных — индивидуально разворачиваемая среда для полного цикла работы с данными: от сбора и хранения до аналитики, ML-разработки и эксплуатации моделей. Решение проектно конфигурируется под задачи конкретного заказчика и разворачивается в нужном контуре.
Платформа основана на открытых технологиях и позволяет собрать единый data-стек без вендор-лока. В рамках проекта объединяются инструменты для ETL/ELT, потоковой обработки, хранилищ, ML-среды и аналитики, а также могут подключаться проприетарные модули под специфические сценарии.
Что входит в решение:
open-source инструменты для хранения, обработки, аналитики и машинного обучения;
готовые модули для каталогизации данных, визуализации и ML;
возможность интеграции собственных инструментов и сервисов;
управляемая эксплуатация: обновления, мониторинг и поддержка.
Основные возможности:
единый контур для ETL/ELT, потоковой обработки, ML и BI;
масштабируемая архитектура для работы с терабайтами данных;
кастомизация инструментов под окружение заказчика;
изолированные сегменты для работы с конфиденциальными данными;
быстрое развертывание и добавление новых модулей.
Технологический стек
Хранение и управление данными: S3, PostgreSQL, ClickHouse, Apache Iceberg, Open Metadata. Обработка и трансформация: Airflow, Apache Spark, Flink, Kafka, Trino, Apache Impala. Аналитика и визуализация: Superset, Metabase, ClickHouse, PostgreSQL, Apache Impala. Машинное обучение: JupyterLab, Kubeflow, MLflow. Партнерские решения: готовые SaaS-модули для расширения функциональности.
Платформа подходит для построения единого дата-стека, сквозной аналитики, машинного обучения и обработки больших данных в распределенных инфраструктурах.
Примеры сценариев использования:
консолидация данных и построение бизнес-отчетности;
миграция с legacy-систем на современную архитектуру;
Через 25 минут на вебинаре «Внутри S3». Мы создаем масштабируемые, отказоустойчивые и быстрые S3-хранилища: ледяные, холодные, горячие и стандартные. Познакомим вас с устройством сервиса под капотом и разберем, как используют S3 компании из разных сфер. Присоединяйтесь!
В Рег.облаке появилась возможность разворачивать приватное S3-хранилище на выделенных кластерах
В Рег.облаке стала доступна индивидуальная инсталляция приватного объектного хранилища на базе Ceph — полностью изолированной системы хранения данных с поддержкой S3-API. Кластер разворачивается только под конкретного заказчика и в конфигурации, соответствующей его инфраструктуре и требованиям безопасности.
Хранилище можно развернуть в одном из дата-центров Рег.облака или на стороне клиента, если необходим полный физический контроль над оборудованием и контуром.
Что входит в решение:
выделенный Ceph-кластер под одного клиента;
поддержка стандартного S3-API;
размещение в ЦОДе или на стороне заказчика;
обслуживание и эксплуатация кластера силами инженеров Рег.облака.
Основные возможности:
полная физическая и логическая изоляция данных;
масштабирование от сотен терабайт до нескольких петабайт;
отказоустойчивость за счет репликации (обычно x3);
высокая пропускная способность в локальной сети (до 100 Гбит/с);
предсказуемая модель подписки, включающая оборудование, ПО и поддержку.
Технические характеристики:
технология: Ceph Object Storage;
протокол: S3-совместимый API;
масштабируемость: 500 ТБ – 5 ПБ;
изоляция: выделенное оборудование под каждого клиента;
надежность: репликация данных;
размещение: ЦОД Рег.облака или площадка заказчика.
Хранилище подходит для резервных копий и журналов транзакций, создания Data Lake и работы с большими аналитическими массивами. Приватный S3 пригодится для хранения и раздачи медиаконтента, а также для корпоративных архивов и защищенных хранилищ документов.
Посмотреть доступные конфигурации приватного S3-хранилища можно на сайте Рег.облака.
Repeater запускает задачи по расписанию. Задачи описываются в toml-файлах и отображаются в веб-интерфейсе.
title = "wiki"
cron = "55 * * * *"
[[tasks]]
name = "wiki_pageviews"
cmd = "python3 ./examples/wiki_pageviews.py --end_date={{.scheduled_dt}}"
[[tasks]]
name = "trigger_outliers_update"
cmd = "python3 ./examples/trigger_outliers_update.py"
Возможен запуск при завершении другой задачи, уведомления о падениях, параллельные этапы. Repeater подойдёт для импорта данных и обновления витрин в хранилище.
Вендинговый оператор перенес mission-critical инфраструктуру в облако Cloud.ru и настроил резервное копирование базы данных 💽
👨💻 Что за компания
UVENCO — крупнейший оператор вендинговых автоматов бренда UNICUM в России, обслуживает 20 000 торговых аппаратов, включая микромаркеты и кофе-поинты, в 65 городах страны.
Все автоматы оборудованы системой онлайн-телеметрии, которая помогает удаленно мониторить их работу, планировать маршрут и график обслуживания, контролировать продажи и остатки товаров. Так оператор в режиме реального времени видит состояние всего парка оборудования и может обеспечить одинаково высокое обслуживание во всех городах, где стоит вендинг UVENCO.
🕵️ Какая была задача
Система онлайн-телеметрии на 20 000 автоматов — это тысячи транзакций в секунду, постоянные записи в базы данных и высокая чувствительность к задержкам. Для UVENCO это mission-critical система: любая деградация ядра телеметрии отразится на продажах и сервисе по всей стране.
Ранее телеметрия работала на локальных серверах. Но для требуемого SLA пришлось бы резервировать вычислительные кластеры, систему хранения данных (СХД), сеть и питание — это дорого и сложно в сопровождении. Масштабирование под ввод новых автоматов тормозилось бы капитальными затратами.
👨🔧 Как ее решили
IT-специалисты UVENCO развернули виртуальные машины и перенесли сервисы телеметрии на платформу Облако VMware. Миграция выполнялась средствами VCDA без изменения архитектуры приложений. После оценки производительности инженеры Cloud.ru предложили перейти на выделенный хост, чтобы исключить шум соседей и закрепить ресурсы только за UVENCO.
📈 Что в результате
Телеметрия работает стабильно, БД регулярно и корректно резервируется. Переезд снял риск простоев и дал UVENCO возможность оперативно масштабироваться под рост нагрузки.
Автоматизация резервного копирования помогает снизить риск потери данных. Один из простых способов — использовать rclone, утилиту для синхронизации и переноса файлов между локальными системами и хранилищами, совместимыми с S3.
Подготовили подробный гайдлайн, как установить rclone на Windows, подключить S3-хранилище, создать скрипт для копирования бэкапов и добавить его в Планировщик заданий — чтобы резервное копирование выполнялось без участия администратора.
GlowByte приглашает на первый Data Sapience Data Day: дата, программа, регистрация
Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.
Data Sapience Data Day 2025
В программе конференции:
Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка: ▫️ перспективам развития дата-ландшафта; ▫️ влиянию искусственного интеллекта на управление данными; ▫️ оценке готовности рынка (технологии/решения/компетенции); ▫️ вопросам миграции в публичные облака.
Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.
Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.
В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.
▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️ Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.
Первый Data Sapience Data Day: дата, программа, регистрация
Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.
Data Sapience Data Day 2025
В программе конференции:
Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка: ▫️перспективам развития дата-ландшафта; ▫️влиянию искусственного интеллекта на управление данными; ▫️оценке готовности рынка (технологии/решения/компетенции); ▫️вопросам миграции в публичные облака.
Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.
Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.
В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.
▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️ Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.
Наше хранилище S3 недавно попало в топ-5 по функциональности и в топ-3 по поддерживаемым протоколам в рейтинге Cnews среди облачных провайдеров. В общем рейтинге мы на 7-м месте.
Хороший повод рассказать про S3 подробнее.
Хранилище работает на базе Ceph — распределенной системы хранения данных с открытым исходным кодом. Она дает вам полный контроль над данными и позволяет кратно масштабироваться.
Конкретнее о преимуществах:
1️⃣ Тройная репликация — данные хранятся в три копии на разных серверах, чтобы даже в случае отказа одного из них ваши данные были в полной безопасности.
2️⃣ Высокая производительность — для быстрого доступа мы используем горячие пулы на NVMe и холодные пулы на HDD для тех данных, которые вы не будете часто запрашивать.
3️⃣ Управление через стандартный S3 API — чтобы интегрироваться в любые системы, поддерживающие S3, мы используем интерфейс RADOS Gateway (RGW), который транслирует запросы на S3 в язык Ceph и управляет ими через API.
Кстати, спойлер: скоро планируем запускать S3 в Москве.
Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark — с DataFusion Comet и Impala
Друзья, в блоге компании Data Sapience, партнера GlowByte, вышла новая статья, третья в цикле материалов про нагрузочные испытания вычислительных технологий массивных параллельных вычислений.
В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
GITEX в Дубае из года в год подтверждает, что это не просто выставка, а политико-технологическая витрина региона. Государственные ИИ, «суверенные» облака, умный транспорт, автоматизированные госуслуги — всё это разворачивается на фоне гонки за цифровую независимость. В этом году площадка разделена на крупные тематические треки — ИИ, безопасность, инфраструктура, индустриальные решения, системный и промышленный софт и т.д.
Стенд Google Cloud на GITEX 2025
Первое и, пожалуй, главное наблюдение – это особое внимание к теме ИТ-безопасности, которая явно стала необходимостью. Главными запросами рынка стали отказоустойчивость и непрерывность бизнес-процессов, что заметно не только в России, но и по всему миру. Это подтверждает и масштаб секции по безопасности, и широта географии. Теперь задачи производителей решений класса СРК типа Veeam или Acronics не ограничиваются только копированием данных. Они обеспечивают шифрование, консистентность, безопасность передачи данных и обнаруживают аномалии в процессе копирования. Резервное копирование больше не воспринимается как рутинная строка в статье расходов на инфраструктуру компании, а становится частью безопасности и устойчивости бизнеса.
Отдельная тема дискуссий — этика и приватность. Каждая ИИ-новинка сопровождается обсуждением того, что можно доверять ИИ и как предотвращать злоупотребления.
Что касается ИИ, то конкурировать теперь приходится не с его наличием, а с качеством интеграции. Поэтому ИИ теперь ощущается как рутинный слой стека, который ставят «по умолчанию» — поиск, суммаризация, рекомендации, автоматизация. Маркетинга, конечно, тоже хватает: «AI-ready», «AI-powered» встречается на каждом втором стенде. Но, судя по интересу посетителей, бизнес отлично понимает, что смысл в применимости, а не в вывеске.
Из показательных примеров — AI-автомобили, которые патрулируя по городу, в реальном времени могут выявлять нарушения визового режима, рядом — демонстрация «умных полицейских станций», автоматизированных пунктов обслуживания граждан (вспомним времена, когда Робокоп казался далеким будущим). Такие примеры хорошо иллюстрируют сдвиг к прикладным государственным сервисам.
Обойти всё за один день объективно нереально. Масштаб и география участников впечатляют. Поэтому планирую ещё одно посещение, чтобы собрать больше информации про облачные решения и последние тренды на рынке СРК. А заодно добраться до российских стендов: судя по программе и экспозиции, там тоже есть что показать.
Главный вывод на сегодня: GITEX-2025 — уже не про «космические корабли», а про реальную применимость: отказоустойчивость, безопасность, стоимость владения. AI никуда не делся, он просто растворился в продукте.
Полезные ссылки про AI, облака и новости в дайджесте за сентябрь 🌂
🎙️ Провели конференцию GoCloud Tech. В программе — 20+ выступлений, демо и релизы новых сервисов, технические воркшопы и много нетворкинга. На GoCloud Tech было:
850+ офлайн-участников;
2 800+ онлайн-зрителей;
4 трека, 37 спикеров, 5 воркшопов и 13 демозон.
Записи всех докладов можете посмотреть на удобной площадке: YouTube или VK Видео.
🤖 На конференции поделились результатами первых двух месяцев работы AI-помощника Cloud.ru в облаке:
к помощнику обратились 4 000 пользователей;
отправили свыше 12 000 сообщений;
пользователи ускорили рутинные операции в 15 раз.
Другие новые возможности сервиса:
SRE-агент для мониторинга приложений и алертов по логам. Помощник обратит внимание на аномалии в работе сервисов и даст советы по улучшениям.
FinOps-оптимизация. AI-помощник Cloud.ru может найти неиспользуемые виртуальные машины, которые можно отключить, или активные виртуальные машины, которые можно оптимизировать для снижения затрат.
Запустили Evolution VPN. Это защищенная сеть, которая позволяет удаленно подключаться к облаку, получать безопасный доступ к ресурсам внутри корпоративной сети или VPC.
Magic Link расширяет возможности Magic Router. Теперь без использования интернета можно организовывать сетевую связность между облачными ресурсами, созданными в разных проектах облачной платформы одного или разных клиентов.
Evolution Data Platform теперь в коммерческой эксплуатации. Теперь все data-сервисы разворачиваются в едином кластере на общем платформенном слое. Это упрощает интеграцию сервисов и весь цикл работ с данными.
🎁 Дарим юрлицам 35 000 бонусов для работы с Evolution Data Platform. Используйте бонусы, чтобы работать с Big Data, собирать данные для машинного обучения, автоматизировать обработку данных — и не только.
💸 Анонсировали тарифы для Evolution Foundation Models — сервиса с популярными моделями, доступными по API. До 31 октября больше 20 LLM доступны бесплатно, а с 1 ноября средняя цена составит:
35 рублей за миллион входных токенов;
70 рублей за миллион выходных токенов.
Добавили новые модели, которые в Evolution Foundation Models можно использовать бесплатно до 31 октября: это Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B и GigaChat 2 MAX.
👨💻 Вместе с GitVerse и Хабром запустили программу «Код без границ» для развития open source проектов. Чтобы принять участие, разместите свой проект на GitVerse и подайте заявку до 31 октября. Победители получат от 50 до 150 тысяч рублей, облачные ресурсы от Cloud․ru и доступ к профессиональному сообществу.
🎥 Провели много полезных вебинаров — переходите по ссылкам, чтобы посмотреть их в записи:
🎬 Смотрите новый выпуск подкаста ClientFirst о запуске e-commerce в METRO, сохранении культуры IT-команды и задачах, для которых подходит AI. Спикеры — директор по продажам и маркетингу Cloud.ru Андрей Зотов и IT-директор METRO Антон Антоничев. Запись есть на YouTube, VK Видео и RuTube.
💼 Делимся кейсами наших клиентов о том, как решать задачи бизнеса в облаке:
🎨 Прокачали наш бесплатный курс «Креативное мышление и AI для решения задач». Прокачайте стратегическое мышление, научитесь находить первоначальные проблемы, освойте ТОС и CRAFT для генерации идей. А еще — создайте креативного AI-ассистента в Chatbox, который будет давать нешаблонные ответы под ваши задачи.
💳 Присоединяйтесь к реферальной программе Cloud.ru: рекомендуйте нас клиентам и получайте 20% от их чека в первый год и 15% — в последующие.
Дарим 35 000 рублей, чтобы протестировать сервисы Evolution Data Platform 🎁
Переходите по ссылке, чтобы получить 35 000 рублей и попробовать сервисы для работы с Big Data и машинным обучением. Оцените интерактивную аналитику, постройте ETL-пайплайны и Data Lakehouse-решения для вашего бизнеса.
Какие сервисы можно протестировать с бонусными рублями?
Evolution Managed Trino — аналитический SQL-движок Trino, чтобы облегчить обработку больших объемов данных с помощью распределенных запросов.
Evolution Managed Spark позволит развернуть кластерный вычислительный сервис, создать и конфигурировать инстансы Spark.
Evolution Managed BI — облачный сервис для удобной визуализации и анализа данных. Собирайте информацию из MySQL, Oracle, PostgreSQL и других источников — и стройте на их основе графики, таблицы и диаграммы.
Evolution Managed Airflow позволяет обрабатывать данные по принципу ETL, объединять задачи в пайплайны, планировать и запускать их по расписанию.
Тратьте бонусные рубли прозрачно: 1 бонус = 1 рубль. Получить подарок можно до конца года, а действовать он будет 60 дней с момента активации.
🚀 Объём корпоративных данных растёт на десятки процентов в год, а специалистов всё так же не хватает. В статье для VC.RU мы вместе с Екатериной Ризановой рассказали, как ИИ-агенты помогают решать эту проблему: берут на себя рутинные задачи в хранилищах данных и BI-системах, ускоряют работу команд и экономят компаниям миллионы рублей в год.
ИИ-агент — это не чат-бот. Он сам выполняет действия: анализирует код витрин, строит lineage, генерирует SQL, находит инсайты и помогает сотрудникам сосредоточиться на действительно важных задачах.
Как организовать хранение кадровых документов 1,5 млн пользователей в облаке: опыт HRlink 📄
Когда ваш бизнес обслуживает более 6 400 корпоративных клиентов, а платформу используют 1,5 млн человек, вы точно задумаетесь об отказоустойчивости, надежном хранении данных, соответствии 152-ФЗ, да и на вопросы производительности СУБД взглянете по-новому.
С такими задачами столкнулась компания HRlink. Рассказываем, как на IT-инфраструктуре Selectel она:
развернула сервис в облаке с возможностью гибкого масштабирования,
повысила производительность более 5 000 баз данных,
Привет, Хабр! На связи Ольга, в Хайстекс я занимаюсь развитием бизнеса и корпоративных связей. В блоге компании мы опубликовали перевод статьи с отличным примером того, как управляемые облачные сервисы перестают быть только техническим инструментом и становятся стратегическим фактором даже там, где главная ценность бизнеса — люди и их экспертиза.
В статье рассматривается кейс SkillGigs, сервиса для подбора специалистов в сфере здравоохранения и технологий. Управляемые облачные сервисы позволили внедрить 3D-резюме, выстроить мультиоблачную архитектуру, обеспечить безопасность и упростить интерфейс для пользователей. Результат: поиск стал быстрее, рекомендации — точнее, а процесс найма удобнее. Этот пример хорошо показывает, что облако — это уже не просто «поддержка инфраструктуры», а реальный драйвер бизнеса.
Статья не перегружена кейсами, в ней собраны ключевые выводы и один практический пример. Хороший повод пересмотреть своё отношение к облачным сервисам и понять, где они реально дают бизнес-эффект.
Кажется я опять удалил бэкап из бакета... А нет, у меня ж стоит блокировка 😮💨
Добавили в S3 новую функцию — блокировку объектов (Object Lock). Теперь можно зафиксировать, или по-айтишному — «залочить» версии объектов так, что их нельзя удалить или изменить в течение заданного времени. Даже админу бакета.
👌 Идеально для архивов, резервных копий и важных логов.
Есть несколько режимов:
GOVERNANCE — «админ может удалять, а другие нет»
Объекты защищены от случайных действий, но пользователи с особыми правами могут их удалять в любой момент
COMPLIANCE — «тут и админ бессилен»
Объекты остаются нетронутыми до конца срока блокировки, даже если у вас админские права
Без глобальной защиты — «по дефолту»
Блокировка версий объектов не будет устанавливаться в бакете