Хранение данных *

Вендинговый оператор перенес mission-critical инфраструктуру в облако Cloud.ru и настроил резервное копирование базы данных 💽

👨‍💻 Что за компания

UVENCO — крупнейший оператор вендинговых автоматов бренда UNICUM в России, обслуживает 20 000 торговых аппаратов, включая микромаркеты и кофе-поинты, в 65 городах страны.

Все автоматы оборудованы системой онлайн-телеметрии, которая помогает удаленно мониторить их работу, планировать маршрут и график обслуживания, контролировать продажи и остатки товаров. Так оператор в режиме реального времени видит состояние всего парка оборудования и может обеспечить одинаково высокое обслуживание во всех городах, где стоит вендинг UVENCO.

🕵️ Какая была задача

Система онлайн-телеметрии на 20 000 автоматов — это тысячи транзакций в секунду, постоянные записи в базы данных и высокая чувствительность к задержкам. Для UVENCO это mission-critical система: любая деградация ядра телеметрии отразится на продажах и сервисе по всей стране.

Ранее телеметрия работала на локальных серверах. Но для требуемого SLA пришлось бы резервировать вычислительные кластеры, систему хранения данных (СХД), сеть и питание — это дорого и сложно в сопровождении. Масштабирование под ввод новых автоматов тормозилось бы капитальными затратами.

👨‍🔧 Как ее решили

IT-специалисты UVENCO развернули виртуальные машины и перенесли сервисы телеметрии на платформу Облако VMware. Миграция выполнялась средствами VCDA без изменения архитектуры приложений. После оценки производительности инженеры Cloud.ru предложили перейти на выделенный хост, чтобы исключить шум соседей и закрепить ресурсы только за UVENCO.

📈 Что в результате

Телеметрия работает стабильно, БД регулярно и корректно резервируется. Переезд снял риск простоев и дал UVENCO возможность оперативно масштабироваться под рост нагрузки.

Читать кейс полностью 💼

Как настроить резервное копирование в S3

Автоматизация резервного копирования помогает снизить риск потери данных. Один из простых способов — использовать rclone, утилиту для синхронизации и переноса файлов между локальными системами и хранилищами, совместимыми с S3.

Подготовили подробный гайдлайн, как установить rclone на Windows, подключить S3-хранилище, создать скрипт для копирования бэкапов и добавить его в Планировщик заданий — чтобы резервное копирование выполнялось без участия администратора.

Подробную инструкцию смотрите  в базе знаний Рег.облака.

Что будет с фотками, если закроется облако

Облачное хранилище работает отлично, пока работает. Но провайдер может закрыться, подписка закончиться, а аккаунт заблокироваться. Что тогда будет с вашими фотками?

Закрытие сервиса

Обычно провайдеры предупреждают о закрытии за месяц-два или три. Это время дается, чтобы вы могли выгрузить всё, что хранилось в облаке. Но общего правила нет.

Parse объявил о закрытии за год, а Everpix – за месяц. Но и в том, и в другом случае пользователям дали возможность выгрузить свои данные. Только после этого архивы удалили физически. 

Истечение подписки

У каждого провайдера свои правила хранения после окончания оплаченного периода. iCloud держит данные всего месяц, Dropbox – 2, а Google Drive позволяет загрузить их в течение двух лет.

Часть сервисов блокирует только загрузку новых файлов, оставляя возможность скачать старые. Но после истечения грейс-периода поддержка не восстанавливает ничего.

Есть что рассказать? Станьте голосом комьюнити и делитесь с участниками своими кейсами в сообществе.

Случаи потери данных

Бывает, что данные пропадают случайно. Вероятность такого исхода мала, но не равна нулю. Так, в 2015 году в дата-центр Google в Бельгии молния ударила 4 раза подряд. Пострадало около 0.000001% данных, то есть где-то 10 байт на гигабайт. Тем, кто попал в эту погрешность, конечно, легче не стало. Но цифры показывают, насколько это редкая ситуация.

В целом же, облака остаются более надёжным решением, в отличие от локальных дисков. Главное – оплачивать подписку вовремя.

GlowByte приглашает на первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️ перспективам развития дата-ландшафта;
▫️ влиянию искусственного интеллекта на управление данными;
▫️ оценке готовности рынка (технологии/решения/компетенции);
▫️ вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️перспективам развития дата-ландшафта;
▫️влиянию искусственного интеллекта на управление данными;
▫️оценке готовности рынка (технологии/решения/компетенции);
▫️вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Наше хранилище S3 недавно попало в топ-5 по функциональности и в топ-3 по поддерживаемым протоколам в рейтинге Cnews среди облачных провайдеров. В общем рейтинге мы на 7-м месте.

Хороший повод рассказать про S3 подробнее.

Хранилище работает на базе Ceph — распределенной системы хранения данных с открытым исходным кодом. Она дает вам полный контроль над данными и позволяет кратно масштабироваться.

Конкретнее о преимуществах:

1️⃣ Тройная репликация — данные хранятся в три копии на разных серверах, чтобы даже в случае отказа одного из них ваши данные были в полной безопасности.

2️⃣ Высокая производительность — для быстрого доступа мы используем горячие пулы на NVMe и холодные пулы на HDD для тех данных, которые вы не будете часто запрашивать.

3️⃣ Управление через стандартный S3 API — чтобы интегрироваться в любые системы, поддерживающие S3, мы используем интерфейс RADOS Gateway (RGW), который транслирует запросы на S3 в язык Ceph и управляет ими через API.

Кстати, спойлер: скоро планируем запускать S3 в Москве.

Начать пользоваться можно даже за 1 рубль на минималке в холодном хранилище. Пора тестить →

Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark — с DataFusion Comet и Impala

Друзья, в блоге компании Data Sapience, партнера GlowByte, вышла новая статья, третья в цикле материалов про нагрузочные испытания вычислительных технологий массивных параллельных вычислений.

Ранее техническим руководителем решений Data Ocean Nova и Data Ocean Flex Loader Евгением Вилковым были опубликованы статьи, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS.

В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

Как запустить демопроект на Django, не утонуть в рутине и не потерять данные?

Настройка серверов, управление контейнерами, риск потерять наработанное после их перезагрузки... Или, другими словами, развертывание демо на Django.

Но мы знаем, что делать 🦸 Приглашаем вас на вебинар — ждем всех, кто хочет быстрее развертывать свои приложения.

О чем поговорим:

• как организовать хранение файлов в Evolution Object Storage;

• как подключить хранилище к приложению напрямую, без использования S3-клиентов;

• как делать, чтобы защитить данные от потери после перезагрузки контейнеров.

Ну и куда без практики: в конце встречи в life-time расскажем, как запустить демо на Django в Evolution Container Apps.

📅 Когда? 28 октября в 11:00 мск.

📍Где? Встретимся онлайн — заходите на страницу вебинара и регистрируйтесь.

Первые заметки с GITEX GLOBAL 2025

GITEX в Дубае из года в год подтверждает, что это не просто выставка, а политико-технологическая витрина региона. Государственные ИИ, «суверенные» облака, умный транспорт, автоматизированные госуслуги — всё это разворачивается на фоне гонки за цифровую независимость. В этом году площадка разделена на крупные тематические треки — ИИ, безопасность, инфраструктура, индустриальные решения, системный и промышленный софт и т.д.

Первое и, пожалуй, главное наблюдение – это особое внимание к теме ИТ-безопасности, которая явно стала необходимостью. Главными запросами рынка стали отказоустойчивость и непрерывность бизнес-процессов, что заметно не только в России, но и по всему миру. Это подтверждает и масштаб секции по безопасности, и широта географии. Теперь задачи производителей решений класса СРК типа Veeam или Acronics не ограничиваются только копированием данных. Они обеспечивают шифрование, консистентность, безопасность передачи данных и обнаруживают аномалии в процессе копирования. Резервное копирование больше не воспринимается как рутинная строка в статье расходов на инфраструктуру компании, а становится частью безопасности и устойчивости бизнеса.

Отдельная тема дискуссий — этика и приватность. Каждая ИИ-новинка сопровождается обсуждением того, что можно доверять ИИ и как предотвращать злоупотребления.

Что касается ИИ, то конкурировать теперь приходится не с его наличием, а с качеством интеграции. Поэтому ИИ теперь ощущается как рутинный слой стека, который ставят «по умолчанию» — поиск, суммаризация, рекомендации, автоматизация. Маркетинга, конечно, тоже хватает: «AI-ready», «AI-powered» встречается на каждом втором стенде. Но, судя по интересу посетителей, бизнес отлично понимает, что смысл в применимости, а не в вывеске.

Из показательных примеров — AI-автомобили, которые патрулируя по городу, в реальном времени могут выявлять нарушения визового режима, рядом — демонстрация «умных полицейских станций», автоматизированных пунктов обслуживания граждан (вспомним времена, когда Робокоп казался далеким будущим). Такие примеры хорошо иллюстрируют сдвиг к прикладным государственным сервисам.

Обойти всё за один день объективно нереально. Масштаб и география участников впечатляют. Поэтому планирую ещё одно посещение, чтобы собрать больше информации про облачные решения и последние тренды на рынке СРК. А заодно добраться до российских стендов: судя по программе и экспозиции, там тоже есть что показать.

Главный вывод на сегодня: GITEX-2025 — уже не про «космические корабли», а про реальную применимость: отказоустойчивость, безопасность, стоимость владения. AI никуда не делся, он просто растворился в продукте.

Полезные ссылки про AI, облака и новости в дайджесте за сентябрь 🌂

🎙️ Провели конференцию GoCloud Tech. В программе — 20+ выступлений, демо и релизы новых сервисов, технические воркшопы и много нетворкинга. На GoCloud Tech было:

• 850+ офлайн-участников;

• 2 800+ онлайн-зрителей;

• 4 трека, 37 спикеров, 5 воркшопов и 13 демозон.

Записи всех докладов можете посмотреть на удобной площадке: YouTube или VK Видео.

🤖 На конференции поделились результатами первых двух месяцев работы AI-помощника Cloud.ru в облаке:

• к помощнику обратились 4 000 пользователей;

• отправили свыше 12 000 сообщений;

• пользователи ускорили рутинные операции в 15 раз.

Другие новые возможности сервиса:

• SRE-агент для мониторинга приложений и алертов по логам. Помощник обратит внимание на аномалии в работе сервисов и даст советы по улучшениям.

• FinOps-оптимизация. AI-помощник Cloud.ru может найти неиспользуемые виртуальные машины, которые можно отключить, или активные виртуальные машины, которые можно оптимизировать для снижения затрат.

💡 Делимся важными анонсами платформы Cloud․ru Evolution:

• Запустили Evolution VPN. Это защищенная сеть, которая позволяет удаленно подключаться к облаку, получать безопасный доступ к ресурсам внутри корпоративной сети или VPC.

• Magic Link расширяет возможности Magic Router. Теперь без использования интернета можно организовывать сетевую связность между облачными ресурсами, созданными в разных проектах облачной платформы одного или разных клиентов.

• Evolution Data Platform теперь в коммерческой эксплуатации. Теперь все data-сервисы разворачиваются в едином кластере на общем платформенном слое. Это упрощает интеграцию сервисов и весь цикл работ с данными.

🎁 Дарим юрлицам 35 000 бонусов для работы с Evolution Data Platform. Используйте бонусы, чтобы работать с Big Data, собирать данные для машинного обучения, автоматизировать обработку данных — и не только.

💸 Анонсировали тарифы для Evolution Foundation Models — сервиса с популярными моделями, доступными по API. До 31 октября больше 20 LLM доступны бесплатно, а с 1 ноября средняя цена составит:

• 35 рублей за миллион входных токенов;

• 70 рублей за миллион выходных токенов.

Добавили новые модели, которые в Evolution Foundation Models можно использовать бесплатно до 31 октября: это Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B и GigaChat 2 MAX.

👨‍💻 Вместе с GitVerse и Хабром запустили программу «Код без границ» для развития open source проектов. Чтобы принять участие, разместите свой проект на GitVerse и подайте заявку до 31 октября. Победители получат от 50 до 150 тысяч рублей, облачные ресурсы от Cloud․ru и доступ к профессиональному сообществу.

🎥 Провели много полезных вебинаров — переходите по ссылкам, чтобы посмотреть их в записи:

• Как повысить отказоустойчивость Kubernetes: мультикластерная архитектура на Karmada.

• Admission Control в Kubernetes: управление доступом и политиками безопасности.

• Кому принадлежит AI-контент: авторские права на код, изображения и тексты.

• Контролируемый вайб-кодинг: сокращаем технический долг и уязвимости.

🎬 Смотрите новый выпуск подкаста ClientFirst о запуске e-commerce в METRO, сохранении культуры IT-команды и задачах, для которых подходит AI. Спикеры — директор по продажам и маркетингу Cloud.ru Андрей Зотов и IT-директор METRO Антон Антоничев. Запись есть на YouTube, VK Видео и RuTube.

💼 Делимся кейсами наших клиентов о том, как решать задачи бизнеса в облаке:

• Как «Страна Девелопмент» повысила производительность на 30%.

• Как разработчик «Жива Технологии» развернул приложение с AI-ассистентом в облаке Cloud.ru.

🎨 Прокачали наш бесплатный курс «Креативное мышление и AI для решения задач». Прокачайте стратегическое мышление, научитесь находить первоначальные проблемы, освойте ТОС и CRAFT для генерации идей. А еще — создайте креативного AI-ассистента в Chatbox, который будет давать нешаблонные ответы под ваши задачи.

💳 Присоединяйтесь к реферальной программе Cloud.ru: рекомендуйте нас клиентам и получайте 20% от их чека в первый год и 15% — в последующие.

До встречи в следующем дайджесте!

Дарим 35 000 рублей, чтобы протестировать сервисы Evolution Data Platform 🎁

Переходите по ссылке, чтобы получить 35 000 рублей и попробовать сервисы для работы с Big Data и машинным обучением. Оцените интерактивную аналитику, постройте ETL-пайплайны и Data Lakehouse-решения для вашего бизнеса.

Какие сервисы можно протестировать с бонусными рублями?

1. Evolution Managed Trino — аналитический SQL-движок Trino, чтобы облегчить обработку больших объемов данных с помощью распределенных запросов.

2. Evolution Managed Spark позволит развернуть кластерный вычислительный сервис, создать и конфигурировать инстансы Spark.

3. Evolution Managed Metastore подойдет для хранения метаданных: информацию о таблицах, колонках и партициях.

4. Evolution Managed BI — облачный сервис для удобной визуализации и анализа данных. Собирайте информацию из MySQL, Oracle, PostgreSQL и других источников — и стройте на их основе графики, таблицы и диаграммы.

5. Evolution Managed Airflow позволяет обрабатывать данные по принципу ETL, объединять задачи в пайплайны, планировать и запускать их по расписанию.

Тратьте бонусные рубли прозрачно: 1 бонус = 1 рубль. Получить подарок можно до конца года, а действовать он будет 60 дней с момента активации.

🚀 Объём корпоративных данных растёт на десятки процентов в год, а специалистов всё так же не хватает. В статье для VC.RU мы вместе с Екатериной Ризановой рассказали, как ИИ-агенты помогают решать эту проблему: берут на себя рутинные задачи в хранилищах данных и BI-системах, ускоряют работу команд и экономят компаниям миллионы рублей в год.

ИИ-агент — это не чат-бот. Он сам выполняет действия: анализирует код витрин, строит lineage, генерирует SQL, находит инсайты и помогает сотрудникам сосредоточиться на действительно важных задачах.

👉 Делюсь материалом: https://vc.ru/ai/2233616-ii-agent-dlya-rabotyi-s-bolshimi-dannymi

Как организовать хранение кадровых документов 1,5 млн пользователей в облаке: опыт HRlink 📄

Когда ваш бизнес обслуживает более 6 400 корпоративных клиентов, а платформу используют 1,5 млн человек, вы точно задумаетесь об отказоустойчивости, надежном хранении данных, соответствии 152-ФЗ, да и на вопросы производительности СУБД взглянете по-новому.

С такими задачами столкнулась компания HRlink. Рассказываем, как на IT-инфраструктуре Selectel она:

• развернула сервис в облаке с возможностью гибкого масштабирования,

• повысила производительность более 5 000 баз данных,

• организовала надежное хранение кадровых документов,

• обеспечила безопасную обработку персональных данных.  

Подробности кейса читайте в Академии Selectel, а также оставляйте заявку на бесплатную миграцию ➡️

Как облако помогает нанимать людей

Привет, Хабр! На связи Ольга, в Хайстекс я занимаюсь развитием бизнеса и корпоративных связей. В блоге компании мы опубликовали перевод статьи с отличным примером того, как управляемые облачные сервисы перестают быть только техническим инструментом и становятся стратегическим фактором даже там, где главная ценность бизнеса — люди и их экспертиза.

В статье рассматривается кейс SkillGigs, сервиса для подбора специалистов в сфере здравоохранения и технологий. Управляемые облачные сервисы позволили внедрить 3D-резюме, выстроить мультиоблачную архитектуру, обеспечить безопасность и упростить интерфейс для пользователей. Результат: поиск стал быстрее, рекомендации — точнее, а процесс найма удобнее. Этот пример хорошо показывает, что облако — это уже не просто «поддержка инфраструктуры», а реальный драйвер бизнеса.

Статья не перегружена кейсами, в ней собраны ключевые выводы и один практический пример. Хороший повод пересмотреть своё отношение к облачным сервисам и понять, где они реально дают бизнес-эффект.

Кажется я опять удалил бэкап из бакета... А нет, у меня ж стоит блокировка 😮‍💨

Добавили в S3 новую функцию — блокировку объектов (Object Lock). Теперь можно зафиксировать, или по-айтишному — «залочить» версии объектов так, что их нельзя удалить или изменить в течение заданного времени. Даже админу бакета.

👌 Идеально для архивов, резервных копий и важных логов.

Есть несколько режимов:

GOVERNANCE — «админ может удалять, а другие нет»

Объекты защищены от случайных действий, но пользователи с особыми правами могут их удалять в любой момент

COMPLIANCE — «тут и админ бессилен»

Объекты остаются нетронутыми до конца срока блокировки, даже если у вас админские права

Без глобальной защиты — «по дефолту»

Блокировка версий объектов не будет устанавливаться в бакете

⚙️ Подробности в доке →

Ну все, осталось только включить блокировку в настройках →

Новые правила передачи данных банками и операторами связи в 2025–2026 годах: что изменилось в законах

В 2025 году утверждены два постановления Правительства, которые вводят новые правила взаимодействия банков и операторов связи с государственными органами через систему межведомственного электронного взаимодействия (СМЭВ). Оба документа направлены на обеспечение доступа к сведениям, которые могут понадобиться для оперативно-розыскной деятельности и обеспечения безопасности РФ.

Новые постановления напрямую связаны с изменениями в законодательстве, вступившими в силу весной 2025 года.

• Статья 9 Федерального закона о банках и банковской деятельности с апреля 2025 года обязывает кредитные организации предоставлять сведения уполномоченным органам через МЭВ в сроки и формате, которые устанавливаются Правительством РФ совместно с Банком России.

• Статья 46 Федерального закона «О связи» закрепила аналогичную обязанность для операторов связи.

 До этих изменений порядок был иным:

• правоохранительные органы направляли запросы в банки и операторам связи в бумажном или электронном виде напрямую;

• не существовало единого формата и технического канала передачи данных.

Для банков (ПП РФ от 30.08.2025 № 1344).

Правила вступят в силу с 1 марта 2026 года

Подключиться к системе банкам нужно до 31 августа 2026 года. Минцифры обещает техническую поддержку и предоставление адаптера СМЭВ бесплатно.

В соответствии с правилами Банки будут обязаны по запросам органов передавать через систему межведомственного электронного взаимодействия (далее – СМЭВ) широкий перечень данных о клиентах.

Передаваться будут:

• сведения о счетах и вкладах, движении средств по ним;

• место и время выдачи наличных;

• телефонные номера, связь по которым оплачивается картой или иным средством платежа клиента;

• участие клиента в брокерской деятельности;

• данные о сейфовых ячейках.

Если у банка нет запрашиваемой информации - он обязан сообщить об этом.

При нарушении формы запроса (например, отсутствует номер, дата, ссылка на правовое основание) банк возвращает его без рассмотрения и объясняет причину.

Сроки в правилах указано, что в соответствии со ст. 26 ЗаконА о банках, но четкого срока установить не удалось.

Для операторов связи (ПП РФ от 29.08.2025 № 1316)

Правила вступили в силу уже с 1 сентября 2025 года, а к СМЭВ операторы должны подключиться до 28 февраля 2026 года.

 Сроки передачи данных гораздо жестче, чем для банков:

• в течение 24 часов с момента получения запроса нужно передать основные сведения;

• на дополнительные данные (например, историю использования номера за три года) дается 72 часа.

 Если выполнить запрос вовремя невозможно, оператор обязан уведомить орган в течение тех же 24 часов и указать предполагаемый срок исполнения.

 Передаваться будут:

• Ф.И.О. абонента, дата рождения, адрес;

• паспортные данные;

• дата заключения договора об оказании услуг связи;

• дата последнего использования номера.

Есть и технические ограничения: мобильные операторы не могут передавать более 0,05% сведений от всех своих номеров в сутки, для остальных операторов лимит — 0,03%. Это сделано, чтобы избежать перегрузки системы и массовой выгрузки информации.

Как юрист я вижу несколько ключевых моментов:

Баланс между безопасностью и правами клиентов. Наши данные становятся более доступными для правоохранительных органов.

С одной стороны, государство получает быстрый и централизованный доступ к информации, что повышает эффективность раскрытия преступлений. С другой речь идёт о персональных и финансовых данных, и любая ошибка или утечка может серьёзно ударить по физ.лицам и компаниям.

Нагрузка на банки и операторов связи как техническая, так и организационная. При этом компаниям нужно будет выстроить внутренний контроль, обучение сотрудников и аудиты безопасности.

Риски для банков и операторов связи. Нарушение сроков, передача неполных сведений или ошибок в ответах могут привести к санкциям.

Больше интересного на моем канале.

Новый веб-интерфейс S3 в Рег.облаке: все основные операции теперь прямо в браузере

В Рег.облаке важное обновление для всех, кто работает с данными. Мы завершили большой этап по развитию интерфейса работы с объектами в нашем S3-совместимом хранилище. Теперь все основные операции с объектами доступны прямо через визуальный интерфейс личного кабинета — без необходимости использовать командную строку или сторонние файловые менеджеры.

Существенно расширили функциональность веб-интерфейса, добавив в него все ключевые фичи:

• просмотр и сортировка объектов в бакете;

• создание папок для организации данных;

• прямая загрузка файлов до 1 ГБ прямо из браузера;

• скачивание файлов;

• генерация предварительно подписанных URL-ссылок для безопасного предоставления доступа к объектам на время;

• копирование, перемещение и переименование объектов;

• удаление отдельных объектов и папок, а также массовое удаление для очистки хранилища;

• быстрый поиск по объектам в бакете.

Как это можно использовать на практике?

• Обмен тестовыми данными с подрядчиком. Разработчик выгружает артефакты сборки в бакет и создает предварительно подписанную ссылку, а подрядчик скачивает файл по ссылке без регистрации в облаке и настройки сложных политик доступа. Это экономит время и упрощает взаимодействие.

• Организация структуры в бакете. DevOps-инженер может навести порядок в хранилище: сгруппировать файлы по папкам, переименовать старые версии и удалить лишнее. В результате вся команда быстрее находит нужные данные, а хранилище становится опрятным и логичным.

• Массовое удаление старых данных. Аналитики ежедневно загружают в бакет выгрузки объемом в десятки гигабайт. Когда отчеты или расчеты устаревают, их можно удалить одной операцией, а не по одному файлу. Это мгновенно освобождает место и упрощает управление.

• Общекомандное хранилище. Команда может использовать бакет как единое пространство для тяжелых файлов: документов, образов, архивов логов. Больше не нужно пересылать гигабайты через почту или сторонние сервисы.

Подключить S3-хранилище можно в личном кабинете Рег.облака. Новый веб-интерфейс уже доступен всем пользователям.

Zotero Tags и MarkDB-Connect

Написал статью о том, какие теги можно внедрить в Zotero (статус, оценка, научность). Также написал небольшой гайд по плагину MarkDB-Connect.

Подключайтесь к вебинару про работу с ПДн в соответствии с требованиями 152-ФЗ

В 12:00 (мск) в прямом эфире расскажем, как сделать хранение персональных данных безопасным: с чего начать, как выбрать подходящее решение и подтвердить эффективность реализованных мер.

Программа вебинара

Что обсудим на вебинаре

• Из чего складываются требования к защите персональных данных.

• Как определить уровень защищенности персональных данных.

• Как реализовать меры защиты.

• Защита персональных данных в облачной инфраструктуре.

• Как подтвердить эффективность мер защиты.

• Как Selectel помогает соблюдать требования 152-ФЗ.

Смотреть трансляцию

📱на YouTube

📱в VK

Как навести порядок в данных и при чем тут ETL

Как ETL оптимизирует работу с данными и делает их полезными? Очищает, адаптирует под требования аналитики и собирает в единой структуре хранения. Этот термин расшифровывается как Extract, Transform, Load — «извлечение», «преобразование» и «загрузка». Иначе говоря, речь фактически идет о процессе, с помощью которого информацию из разных источников приводят к единому виду и собирают в одном месте.

ETL позволяет не просто достать информацию, но и навести порядок — удалить лишнее, проверить на ошибки и загрузить в хранилище. После этого с данными уже можно работать: составлять отчеты, обучать модели искусственного интеллекта, анализировать поведение пользователей или оптимизировать внутренние процессы.

Сегодня без ETL дата-инженерам непросто получить чистую, согласованную и удобную для анализа картину — в базе знаний Рег.облака подготовили подробный гайд, как реализовать ETL-процесс за пять простых шагов.

Как построить эффективную стратегию бэкапа

Любая стратегия бэкапа проверяется не в теории, а в проде. В блоге «Хайстекс» вышла первая статья, где QA-инженер Юлия Воробьёва показывает как построить систему резервного копирования с Хайстекс Акура и S3-хранилищем Selectel. Реальный кейс и пошаговый разбор: от выбора хранилища до восстановления инфраструктуры. Всё глазами автора, который сам настраивал и тестировал.

Что внутри:

• Рабочая архитектура. Одно целевое облако с двумя подключениями: к площадке восстановления (поднимаем ВМ при необходимости) и к объектному хранилищу — S3 Selectel, где лежат точки восстановления.

• Агенты. Внешние для VMware и внутренние в ОС конкретной ВМ. Репликация односторонняя, по защищенному каналу и без просадок продакшена.

• Расписания и RPO. Расписание от непрерывных запусков до Unix Crontab. Контроль исполнения на стороне Акуры, человеческий фактор «забыл сделать бэкап» исключен. 

• Retention. Политика на уровне ВМ, группы или всего клиента, под любые контуры и SLA.

• Хранение в S3. Данные режутся на настраиваемые чанки с метаданными; нулевые блоки не сохраняются, таким образом экономим место и деньги.

• Восстановление. Предсказуемые сценарии: полный подъем ВМ через Cloud Site и файловое восстановление «на месте» из S3. При необходимости возможны RAW-экспорт и failback.

  

Бэкап — это не галочка в чек-листе, а процесс, которым нужно управлять, от выбора хранилища до проверенного сценария восстановления. Мы показали рабочую схему без магии и ручной возни. Под катом детали, скриншоты и пошаговые действия. В комментариях можно обсудить ваши кейсы, грабли и метрики: как настраиваете retention, чем меряете RTO/RPO и что помогло сократить простои.

Успей зарегистрироваться на IT-конференцию про облака, AI и данные — GoCloud Tech 2025 и попробовать новые сервисы на практике 🕹️

Привет! Совсем скоро закончится регистрация на нашу очередную технологическую конференцию о создании решений на базе AI и облаков. И мы хотим напомнить, что помимо демозон, Career Lab, активностей, мерча и afterparty, вас на площадке будут ждать воркшопы:

• 👩‍🔧 Вайб-кодинг с минимумом технического долга с сервисами Cloud.ru

Вайб-кодинг с минимумом технического долга — согласитесь, звучит дерзко? Но на самом деле, если подойди к вопросу грамотно, то это может стать реальность.

На воркшопе разберем практики чистого и безопасного вайб-кодинга, рассмотрим, как с помощью сервиса Evolution Foundation Models подключить кодовые LLM-модели к VS Code IDE и научим ее генерировать фичи в вашем стиле без пропуска уязвимостей. Затем настроим IDE так, чтобы она творила магию и ни разу не сделала rm -rf, а еще — рассмотрим сервис мониторинга качества кода и безопасности SonarQube, чтобы ловить проблемы раньше, чем они доберутся до продакшна.

• 👨‍🔧 Плейлист как на ладони: real-time аналитика для музыкального стриминга без боли и магии

New Music Friday — это традиция выпуска новых музыкальных релизов в пятницу, когда лейблы и артисты синхронно публикуют свежие треки, что вызывает «пиковый» всплеск внимания у слушателей в первые часы и дни их выхода. На воркшопе мы изучим это явление, используя потоковую обработку и мгновенный доступ к данным, и покажем, как в этом помогают сервисы Cloud.ru Evolution:

- Managed Kafka — принимать события прослушиваний в реальном времен;.

- Managed Spark — читать сообщения из Kafka, обогащать их и сохранять в объектное хранилище в формате Iceberg (мгновенный доступ к историческим и текущим срезам);

- Managed Trino — мгновенно объединять потоковые данные из Iceberg с static‑данными о треках и пользователях, хранящиеся в Managed Postgres;

- Managed Metastore — поддерживать схемы Iceberg и обеспечивать согласованность;

- Managed BI — визуализировать результаты на дашбордах в real-time.

• 👩‍🔧 Создание мультиагентной системы

Приглашаем всех, кто хочет попробовать:

- фреймворк Smolagents от Hugging Face,

- создавать кастомные инструменты для агентов,

- делать интеграцию с внешними API (Serper.dev и другими),

- координировать работу между несколькими специализированными агентами.

• 👨‍🔧 Маркетплейсы глазами вендора

Предлагаем взглянуть на весь путь партнера, который хочет вывести свой продукт или решение на Маркетплейс, на примере компании Русбитех-Астра. Вы узнайте про основные потребности и сложности, с которыми сталкиваются партнеры в процессе выхода на маркетплейсы, а еще — совместно создадите идеальную витрину.

Почувствуйте себя менеджером продукта, присоединяйтесь к дискуссии и делитесь идеями, чтобы мы могли сделать Маркетплейс Cloud.ru еще удобнее и полезнее для действующих и будущих партнеров и клиентов.

• 👩‍🔧 Быстрая разработка в GigaIDE Cloud

Что, еще одна IDE? Зачем нам еще одна IDE? Вопрос хороший, ведь ответ — возможно, низачем. На самом деле нам нужна среда, которая позволит решать больше актуальных проблем с помощью уже существующих инструментов (например, Visual Studio Code или Jupyter Notebook).

Репозиторий из GitHub или GitVerse так долго открывается, что уже легко забыть, зачем мы это делали. Чтобы изменить три строчки в ноутбуке, нужно разворачивать Jupyter Lab, а для того, чтобы воспользоваться AI-ассистентом, нужно ставить плагины, покупать учетки и настраивать прокси. Знакомо?

Чтобы закрыть этот гэп, Microsoft придумала GitHub CodeSpaces — онлайн-среду, встроенную в GitHub. А в России есть отличная альтернатива — GitVerse, которая позволит в пару кликов запустить полноценную среду разработки, уже настроенную на нужный репозиторий, с бесплатным AI-ассистентом и набором полезных плагинов. А на воркшопе мы как раз попробуем все это сделать и оценим, какие задачи это поможет упростить.

📅 Когда: 3 сентября

📍 Где: в Лофт-пространстве Goelro в Москве + трек «AI&ML» онлайн

Зарегистрироваться 👈

Снятся ли управляемым СУБД быстрые NVME-oF RDMA-диски — тема доклада на IT-конференции GoCloud Tech 2025 ☁️

Мы задались вопросом улучшения производительности управляемой PostgreSQL и хотим рассказать, что из этого получилось. По ходу доклада обсудим:

- почему IO Latency имеет значение, а bandwidth нет;

- причем тут подключаемые диски NVME-oF;

- почему offloading — не панацея, а RDMA полезен лишь в малых дозах;

- как провести full-scale эксперименты в целой AZ и остаться вменяемым человеком.

Трек: Data&Analytics — обсудим тренды и возможности облачных сервисов, методы их интеграции с AI-агентами, а также инструменты для быстрого и эффективного решения задач хранения, обработки и анализа данных. 

📅 Когда: 3 сентября в 13:40 мск

👉 Зарегистрироваться

Что еще интересного будет на GoCloud Tech, смотрите в программе конференции.

Заставь дурака богу молиться…

Доброго. Чёрт дернул меня сменить пароль на ящике mail.ru и если бы я знал чем это может обернуться, но обо всём по-порядку. К слову почта создана мной аж в нулевых и ей сейчас 20+ лет, с момента создания.

Итак 22/08, примерно в 10.00 мск. я решил сменить пароль в своём ящике mail.ru. Сказано - сделано, но что-то пошло не так. То ли не тот пароль, то ли случайно нажал клавишу и сохранил, например пароль + ещё какой символ случайно, но не суть. А суть в том, что выйдя из ящика, я в него уже попасть не смог.

Поначалу недооценил масштаб проблемы, думая у меня в аккаунте давно привязан номер тел.а и если что, восстановим через смс (нет, см. далее). Итак, нажимаю заветную кнопку восстановить пароль и мне не предлагается использовать тел. для восстановления, а перекидывает на стандартную форму восстановления, где нужно указать 100500 данных, а-ля когда создал ящик, какой был первый пароль (ага, пароль 20 летней давности помню, "конечно"). В числе прочих был вопрос какой был последний пароль, но вот его не то что вспоминаю, а точно знаю - пароль достаточно сложный, длинный со спец.символами. Долго ли коротко ли, всё заполнил - отправляю и... фиг вам, цитата: " Мы подробно изучили всю информацию, которую вы прислали, и пришли к выводу, что этих данных недостаточно для восстановления доступа."

Теперь техничка.

1.      В почте привязан тел. с лохматых времён. Тел исправен и есть доступ.

2.      В почтовом аккаунте привязан личный домен для сервиса почта для домена.

3.      У меня внешний статический ip адрес, доступ к почте почти всегда только через почтовые приложения с пк (на смартфоне, с его динамическим ip этой почты нет)

4.      У меня есть 100% предыдущий пароль, сохранён электронно, т.е. человеческого фактора в ошибке набора тут нет. Copy-paste. С этим предыдущим паролем входил минимум неск.последних лет.

5.      Интересный нюанс. В почте созданы пароли приложений для почтовых программ и несмотря на потерю доступа к аккаунту - почтовые приложения без проблем продолжают работать. Я могу получать, отправлять почту без никаких ограничений!

6.      Я предоставил им скриншоты из почтовых программ за много месяцев, начиная с текущего, со списком принятых и отправленных писем.

7.      Я даже в процессе восстановления авторизовывался на госуслугах (есть у них такая опция).

Теперь, по пунктам, что в итоге. Любой технический специалист, например по пп.1-2 (напомню тел. и домен привязаны к почте давно) скажет, что смс + доказательство владения доменом, например изменения ТХТ, DNS записей домена у регистратора - является необходимым и достаточным для подтверждения личности человека + в моём случае ip адреса, кстати я им отправляю письма в поддержку с того же ip адреса, что и содержится в логе почте за последние несколько лет как минимум + п.5 - я даже отправлял им письма в поддержку с этого же проблемного адреса (!)вдумайтесь в это все.

Я не знаю как с ними ещё бороться!

Ну и да, золотые слова, сказанные мне кем-то когда-то:

"Запомни, твоя почта на не твоём домене - не твоя почта!"

ps Оцените чудо ответ тп mailru на мой вопрос - у меня давно привязан к аккаунту номер телефона, почему я не могу восстановить доступ по номеру, при условии, что у них же в справке есть такой вариант восстановления?

UPD.

Интересный момент. Предыд. пароль был сохранён электронно. Веб доступ в те редкие случаи, когда это было необходимо, осуществлялся последние несколько лет именно с этим паролем путём copy-paste. Т.е. человеческого фактора с ошибкой в пароле быть не может.

Собственно в числе прочих, при восстановлении был неоднократно задан вопрос - укажите последний пароль к ящику до его смены. Я его неоднократно им отправлял. В ответ я был просто обескуражен - они ответили пароль НЕ верный и более того, предоставленный мной пароль НИКОГДА не был в этом аккаунте. Вот тут я прям даже не знаю что ответить.

Ах да, причём здесь заголовок? Я обеими руками за безопасность, но когда не пускают своих - это уже не безопасность, а...

Тренды в мире данных: куда стремятся СУБД и как их сравнивать в новых реалиях — тема доклада на IT-конференции GoCloud Tech 2025 ☁️

Приглашаем обсудить современные тенденции в мире данных. На встрече поговорим о стремлении СУБД к «облачности» и HTAP-универсальности, а еще разберем нововведения в бенчмарках — почему классических решений недостаточно и что с этим делать.

Трек: Data&Analytics — обсудим тренды и возможности облачных сервисов, методы их интеграции с AI-агентами, а также инструменты для быстрого и эффективного решения задач хранения, обработки и анализа данных.

📅 Когда: 3 сентября в 15:20 мск

👉 Зарегистрироваться

Что еще интересного будет на GoCloud Tech, смотрите в программе конференции.

Знакомьтесь с программой, выбирайте доклады и регистрируйтесь на GoCloud Tech 2025 🤖

Делимся программой IT-конференции про AI, облака и работу с данными — GoCloud Tech 2025.

10:00 – 11:00 Регистрация

11:00 – 11:30 Открытие конференции

12:00 – 17:00 Доклады. Четыре трека на выбор:

• AI&ML — про AI-продукты нашей разработки и работу с GenAI. Узнаете, как устроены RAG-системы и мультиагентные ассистенты, а также, как они уже применяются в работе и как начать их использовать

• Cloud Infrastructure — про построение устойчивой, масштабируемой и безопасной облачной инфраструктуры: нюансы сетевой архитектуры, проектирование IaaS‑кластеров на K8s, возможности балансировщиков и производительность SDN.

• Data&Analytics — про современные подходы к Big Data и аналитике: тренды, возможности облачных сервисов, интеграцию с AI-агентами и инструменты для быстрого и эффективного решения задач хранения, обработки и анализа.

• Dev Platform Services — в рамках трека разберем детали и заглянем «под капот» решений, чтобы затем облегчить повседневную рутину разработки и настройки сервисов, а еще — оптимизировать процессы в инженерных командах.

17:15 – 21:00 Afterparty и нетворкинг

Также вас ждут технические воркшопы, кастомный мерч, демо и интерактивные зоны новых AI-сервисов и сервисов платформы собственной разработки Cloud․ru Evolution.

📆 Когда: 3 сентября

📍 Где: приходите в Лофт-пространство Goelro в Москве или подключайтесь к онлайн-трансляции трека «AI&ML» в VK и на Twitch. Основная программа начнется в 11:00.

Зарегистрироваться 👈

И читайте про наши прошлые конференции:

• Бороздим облака будущего: впечатления айтишника о конференции GoCloud

• «Все говорили, что зашло» — как прошла ламповая IT-конференция для инженеров и технарей — GoCloud Tech

• Темы, доклады, две конфы: история трека для инженеров и исследователей «Под капотом»

• Как прошла GoCloud 2025 — масштабная IT-конференция про облака и AI. Делимся итогами

Подключайтесь к вебинару про резервное копирование и автоматизацию бэкапов

В 12:00 (мск) в прямом эфире расскажем, как настроить резервное копирование виртуальных машин и облаков, а также рассмотрим практический пример интеграции рассмотрим интеграции S3-хранилища Selectel с системой Хайстекс Акура.

Программа вебинара

— Краткий обзор облака и S3-хранилища Selectel.

— Возможности интеграции хранилища с другими сервисами: зачем нужно и как это сделать.

— Демо интеграции S3 со сторонними партнерскими бэкап-сервисами на примере Хайстекс.

Рекомендуем присоединиться системным администраторам, DevOps-инженерам и руководителям технических команд.

Смотреть трансляцию

📱на YouTube

📱в VK

Data Warehouse: сравниваем подходы к хранению данных

На примере Data Warehouse рассказываем о подходах к хранению корпоративных данных и сравниваем альтернативные решения. Data Warehouse (DWH) — это централизованное корпоративное хранилище данных, в котором собирается, обрабатывается и хранится информация из разных источников. Его цель — предоставить единую и структурированную базу данных для анализа и принятия решений. В основе DWH лежит концепция предметно-ориентированной базы данных.

Чем Data Warehouse отличается от баз данных, Data Lake и Data Mart:

• базы данных хорошо справляются с транзакциями, заточены под быстрые действия и работают с текущими, постоянно изменяющимися данными;

• Data Lake — это хранилище, куда можно складывать данные «как есть»: структурированные, полуструктурированные и неструктурированные. Например, логи, изображения, JSON-файлы и многое другое;

• Data Warehouse (DWH) — это усиленный уровень, предназначенный для аналитики. Данные сюда попадают после подготовки: проходят через процессы очистки, нормализации, трансформации и объединения;

• Data Mart — «мини-DWH» для конкретной задачи. Этот инструмент обычно проще и меньше по объему, но может обновляться чаще и работать с более узкой, оперативной аналитикой.

На старте проектирования архитектуры важно разобраться в разнице между разными типами хранилищ — у каждого своя специфика и уровень зрелости. Подробнее о Data Warehouse и подходах к построению DWH читайте в базе знаний Облака Рег.ру.

Вывели S3 из беты и выпустили объекты в Облаке Рег.ру

В облачной платформе Рег.ру важный апдейт — объектное хранилище S3 вывели из бета-тестирования, и теперь облачный сервис готов к полноценному использованию. С момента запуска S3 в декабре 2024 года мы значительно расширили функциональность и увеличили объем хранения. За это время услугой уже воспользовалось более 1100 пользователей и разместили 130 ТБ данных.

Вот что удалось нам сделать за это время — краткий обзор ключевых релизов и фич с момента запуска:

• добавили управление ключами доступа для создания различных профилей доступа к бакетам; 

• подключили управление политиками, чтобы настраивать различные уровни прав доступа по ключам;

• внедрили объекты в личном кабинете, и теперь появилась возможность просматривать содержимое бакета в веб-интерфейсе;

• расширили пул задач для улучшения жизненного цикла услуги; 

• масштабировали и увеличили объем хранилища на +33%.

Подробнее о том, как мы пронесли S3 от запуска до выхода из беты, читайте в статье. 

Напомним, что объектное хранилище S3 в Облаке Рег.ру использует стандартный тип хранения с репликацией по технологии Erasure Coding (кодирование с восстановлением). Тарификация производится только за фактически используемый объем данных, без дополнительных затрат за входящий/исходящий трафик и количество запросов. Подключить S3 можно в личном кабинете на сайте Рег.ру.

Выпущена новая версия СУБД Picodata — Picodata 25.3 

Компания Picodata (входит в Группу Arenadata) выпустила новую версию СУБД Picodata — Picodata 25.3. Обновление включает расширенные возможности SQL, механизм автоматического обновления схемы данных, а также повышение стабильности кластера.

Улучшение обратной совместимости

В Picodata 25.3 реализовано автоматическое обновление схемы данных при переходе инстансов на новый релиз Picodata. Этот механизм учитывает сделанные изменения в системных таблицах и сохраняет обратную совместимость при обновлении на следующий релиз СУБД: при переводе кластера на новую версию Picodata необходимые DDL/DML-команды выполнятся без вмешательства администратора, а требуемые в новой схеме внутренние функции также будут созданы автоматически.

Новые возможности SQL

В релиз добавлены новые возможности языка SQL в Picodata, в частности:

• поддержка NULLS FIRST/LAST при сортировке результатов запроса (ORDER BY);

• обработка конфликтов при вставке данных в глобальные таблицы (INSERT INTO … ON CONFLICT DO FAIL/REPLACE/NOTHING);

• новая встроенная оконная функция LAST_VALUE();

• оператор % для определения остатка деления по модулю для целых чисел;

• возможность определения лидера raft-группы через функции pico_raft_leader_id() и pico_raft_leader_uuid();

• возможность определения версии текущего инстанса с помощью функции version();

• изменение, связанное с совместимостью: вместо скалярной функции instance_uuid (которая теперь объявлена устаревшей), рекомендуется использовать новую функцию pico_instance_uuid.

Улучшенная совместимость с PostgreSQL

Picodata теперь поддерживает безопасное соединение при обращении к внешнему LDAP-серверу. При подключении через протокол PostgreSQL (например, с помощью клиента psql) с методом аутентификации LDAP можно задействовать TLS-шифрование (при условии, что оно включено на LDAP-сервере). На стороне Picodata для этого потребуется установить значения у трёх переменных окружения. Например:

export TT_LDAP_URL="ldap://127.0.0.1:1389"
export TT_LDAP_DN_FMT='cn=$USER,ou=users,dc=example,dc=org'
export TT_LDAP_ENABLE_TLS=true

Изменение в конфигурации

Добавлен новый параметр instance.pg.advertise — публичный адрес сервера для подключения по протоколу PostgreSQL. По умолчанию, его значение соответствует значению instance.pg.listen. Этот параметр пригодится в ситуации, когда снаружи инстанс доступен по адресу, отличающемуся от адреса во внутренней сети.

Улучшенный веб-интерфейс

Команда Picodata продолжает развивать компонент webui для Picodata. В версии Picodata 25.3 веб-интерфейс не просто выглядит лучше, он также стал удобнее и информативнее:

• на панели Cluster ID отображается больше полезной информации, включая список включённых плагинов;

• в области просмотра сведений об инстансе теперь присутствует адрес подключения по протоколу PostgreSQL.

Механизм плагинов

При подключении плагина к кластеру Picodata теперь допускается расхождение минорных версий плагина и инстанса (например, плагин, собранный для версии 25.3.1, будет работать в Picodata 25.3.2).

Полный список нововведений и список исправленных ошибок доступны в документе CHANGELOG.

Роль Picodata для Ansible

Выпущена новая версия роли Picodata для Ansible, которая совместима с Picodata 25.3. Изменения в роли:

• при сборке информации при сбое (тег crash_dump) можно исключить сборку snap- и xlog-файлов;

• добавлена возможность выполнять lua-команды на инстансах кластера (тег command);

• исправлена работа с несколькими плагинами в инвентаризационном файле и ряд прочих ошибок.

Для установки Picodata 25.3 следуйте инструкциям на сайте. Готовые пакеты доступны для следующих дистрибутивов Linux:

• Astra 1.8

• Debian 12 (bookworm)

• RHEL/Rocky 9

• Fedora 41–42

Инструкции и руководства по установке, использованию и администрированию Picodata размещены на портале документации Picodata.

Три новых облачных сервиса теперь в общем доступе ☁️☁️☁️

Теперь для них доступны все конфигурации, полноценная поддержка, а также соблюдение тарифов и SLA.

Вы уже можете использовать:

• Evolution Managed Metastore — для хранения метаданных.

• Evolution Managed Trino — массивно-параллельный аналитический SQL-движок для обработки больших объемов данных из разных источников.

• Evolution Managed Redis — для создания и управления кластерами Redis.

👉 А если хотите узнать больше о сервисах для работы с данными, спросите нашего AI-помощника в личном кабинете. Он расскажет обо всех нюансах и подберет подходящий вам вариант.

А что б не вспомнить такой носитель данных, как перфолента?

Вот смотрите: допустим, 5 мкм лавсан, потом 1 мкм алюминий и снова 5 мкм лавсан. УФ-лазер с механическим приводом перфорирует поперёк ленты дорожки с шагом, скажем, тот же 1 мкм (УФ может и лучше, но пока не будем пальцы гнуть). Поскольку механика позиционирует луч с точностью до «куда-то туда» — применяем старые добрые старт- и стоп-биты.

На ленте шириной в 5 мм мы легко пробьём 4096 бит, старты, стопы и ещё останется запас с краёв. А чтобы прочитать её значительно быстрее, чем мы это макраме вымучивали — берём линейную ПЗС-матрицу от сканера (разрешение 1×16384 или примерно того порядка), сканируем всю ширину ленты разом, ну и (ваш Кэп) просто её протягиваем. Перекосы головки чтения относительно головки записи решаются кольцевым буфером — там хранится несколько последних строчек и нет никаких проблем найти там реальное положение дорожек, я такие синхронизации за пучок пятачок делал, задача детская.

В результате наши 4 килобита на микрон дают 512 терабайт в габаритах кассеты C-90, минус Рид-Соломон. Если я, конечно, по причине крайней усталости в нулях не запутался. Вот такая вот перфоленточка…

В Облаке Рег.ру добавили управление политиками доступа в S3

В облачной платформе Рег.ру продолжаем развивать возможности объектного хранилища S3. Подготовили новый апдейт — теперь пользователи могут управлять политиками доступа к бакетам. Обновление особенно пригодится для работы с высоконагруженными задачами и над проектами, в которых важны усиленные требования к безопасности.

Ключевые обновления в S3:

• индивидуальные политики для отдельных пользователей и сервисов;

• ролевое управление доступом (с разделением по методам GET/PUT/POST/DELETE);

• шаблоны для быстрой настройки;

• 20+ параметров для тонкой конфигурации.

Новый пакет обновлений в S3 логично дополняет возможность управления ключами доступа, подключенную еще в мае. Напомним, что тогда при работе с S3 пользователям облака стали доступны новые действия: создание, генерация, удаление. 

Попробовать обновленные фичи в S3 уже можно на сайте.

SpaceWeb запустил сервис объектного хранилища S3

В SpaceWeb расширили линейку облачных сервисов и подключили объектное хранилище S3. С новым сервисом можно работать напрямую из кода, CMS или через API. S3 не только хранит данные, но и снижает нагрузку на серверы, сохраняя контроль над данными, а также предлагает:

• возможность шифрования;

• гибкие механизмы управления доступом как на уровне бакетов, так и объектов;

• безопасное хранение информации, независимо от объема данных.

Объектное хранилище S3 поможет, прежде всего, веб-разработчикам, для которых важны вопросы масштабирования и эффективного управления данными без использования сторонней инфраструктуры. Протестировать и заказать новый сервис можно на сайте.

Опыт сети гипермаркетов Hoff: перенести резервные копии данных в облако и оптимизировать затраты 🛒

Что за компания

Hoff — Home of furnishing — российская сеть гипермаркетов мебели и товаров для дома. 60 магазинов в разных форматах работают в крупных городах по всей России.

Какая была задача

У Hoff есть интернет-магазин и приложение, которые размещены в основном дата-центре. Компании были нужны резервные копии сайта и приложения на случай, если в работе локальной инфраструктуры произойдет сбой.

Основные требования Hoff к провайдеру и облачным ресурсам: отказоустойчивость, скорость реакции на запросы, круглосуточная связь с поддержкой, качество ответов и компетентность сотрудников.

Как ее решили

Вместо покупки дополнительных серверов и затрат на их содержание Hoff решила разместить копии в облаке. Так компания не только оптимизировала расходы на инфраструктуру, но и обеспечила непрерывную работу бизнеса.

Cloud.ru построила для Hoff инфраструктуру в Облаке VMware, подключила интернет-канал, настроила два выделенных канала связи, коммутацию и маршрутизацию сети, а еще предоставила доступ к API, чтобы автоматизировать процесс переключения между площадками.

Что в результате

В облаке развернута онлайн-реплика боевой площадки — она меньше по количеству вычислительных мощностей, но идентичная по данным и функционалу. При необходимости реплика мгновенно масштабируется по вычислительным мощностям в 10 раз (до 800 CPU, 2 TB RAM, 27 TB SSD), чтобы выдержать весь пользовательский трафик, который будет переключен с вышедшей из строя основной площадки.

Читать кейс полностью 💼

Можно ли самостоятельно расширить дисковое пространство при этом не выключая физический сервер? 💽 

Да, если речь о сервисе Evolution Bare Metal. Приходите на вебинар, и вы узнаете:

• как работает Evolution Bare Metal и для каких задач он подходит;

• примеры критических сценариев нехватки дискового пространства;

• особенности архитектуры сервиса: почему наше решение отказоустойчивое;

• подтвержденные метрики: скорость работы и эффективность.

Также проведем демо, на котором покажем, как за минуту расширить дисковое пространство в Evolution Bare Metal.

Будет полезно разработчикам и IT-менеджерам, дата-инженерам и аналитикам данных, а также для всем, кто только задумывается о переезде в облако и хочет узнать больше про его возможности.

📆 Когда: 3 июля в 11:00 мск

📍 Где: онлайн

Зарегистрироваться 👈

ITFB Group совместно с Nexign, Sber Tech и Arenadata приглашают на вебинар, посвященный теме Датацентричность как стратегический приоритет: какие ИТ-инструменты помогут бизнесу принимать обоснованные решения?

Когда: 10 июля, 11:00

Где: онлайн

В рамках вебинара вас ждет уникальный формат:

• Экспертные доклады

• Живой круглый стол

Что обсудим:

• Лучшие российские платформы для управления данными (ETL, BI, BigData)

• Практические кейсы внедрения от Nexign, Arenadata и СберТех

• Как измерить ROI от дата-стратегии и ускорить цифровую трансформацию

Спикеры:

• Дмитрий Лемеш (Nexign) – интеграция данных для бизнеса

• Антон Близгарёв (Arenadata) – BigData без сложностей

• Владимир Федосеев (СберТех) – аналитика на автомате Модератор: Николай Чекин (ITFB Group)

Для кого?

→ ИТ-директора и директора по данным
→ Руководители цифровой трансформации
→ Специалисты по работе с данными (ETL, DWH, BI)

Регистрируйтесь сейчас!

Зарегистрироваться

В Облаке Рег.ру добавили образ NextCloud + OnlyOffice

Запустили удобное корпоративное хранилище для совместной работы с документами в Облаке Рег.ру. Набор офисных приложений OnlyOffice теперь также доступен в облаке — добавили предустановленный образ NextCloud + OnlyOffice. Обновленное облачное решение предлагает универсальную экосистему для совместной работы: 

• NextCloud подходит для хранения любых документов и файлов;

• OnlyOffice позволяет редактировать документы и закрывает большинство стандартных задач пользователей.

Для заказа доступны облачные серверы во всех локациях. Минимальная конфигурация — 4 vCPU, 16 ГБ RAM, 40 ГБ диска. 

Новый образ NextCloud 31 + OnlyOffice 5 уже можно тестировать на нашем сайте.

Как компания «Литрес» построила облачное аналитическое хранилище на базе КХД Cloud.ru и сократила время обработки и анализа данных 📚

Что за компания

Компания «Литрес», основанная в 2005 году, сегодня является лидером на рынке лицензионных электронных и аудиокниг в России и странах СНГ. Ежемесячная аудитория сервиса Литрес составляет 11 млн человек, которые скачивают более 2,7 млн книг в месяц. 

Какая была задача

«Литрес» подошла к этапу, когда мощностей для быстрого расчета витрин для аналитики и отчетности перестало хватать, поскольку был накоплен значительный объем данных — около 6 ТБ. Компания решила разработать собственное хранилище — создать надежную и масштабируемую платформу для хранения и обработки больших объемов данных, что позволило бы оптимизировать бизнес-процессы и повысить эффективность работы.

Как ее решили

Изначально у нас было два варианта, как можно сделать большую аналитическую базу. Первый и самый очевидный — запустить Greenplum. Но для этого нужно было выделять серверы, оптимизировать решение, нанимать администраторов — это сложно и долго. В качестве второго варианта можно было закупить готовое решение у подрядчика, однако выяснилось, что поддержка такого решения при приемлемом уровне производительности стоит космических денег. В итоге в Cloud.ru нам предложили альтернативу — КХД — облачное корпоративное хранилище, которое дает возможность быстро обрабатывать огромные массивы данных из разных систем хранения и источников. Решение нас заинтересовало.

Кирилл Шевченко

Руководитель отдела разработки информационно-аналитических систем группы компаний «Литрес»

Чтобы понять, какое решение выгоднее и эффективнее, «Литрес» провели исследование и сравнили работу КХД, ClickHouse в облаке и локального ClickHouse компании. Результат — КХД лучше всего справился с поставленными задачами (например, обработка больших запросов на таблицах с JOIN заняла всего 20 минут).

Что в результате

Команда «Литрес» создала собственное хранилище на базе КХД Cloud.ru и в результате сократила время на обработку и анализ данных:

• обновление всего хранилища занимает 40 минут вместо 3 часов, 

• среднее время выполнения процедур — 2 минуты вместо часа,

• на обработку простого запроса при обновлении витрин хватает 5 секунд.

• раньше на создание одной витрины требовалось несколько дней, а теперь можно создать 3 витрины в день.

Читать кейс полностью 💼

Как защитить данные без полных бэкапов: разбираем косвенную адресацию в СХД

Мгновенный снимок (снапшот) — это компактная с точки зрения дискового пространства копия данных, созданная в определенный момент времени. Снапшот способен моментально зафиксировать состояние тома, в отличие от резервной копии, создание которой при большом объеме данных может занять длительное время и требовать остановки записи для сохранения консистентности. Снапшот же не создает независимую копию данных, а лишь обеспечивает возможность обратиться к данным тома на момент создания снапшота.

В TATLIN.UNIFIED снапшоты создаются путем копирования карты блоков данных оригинального тома. Сами данные не копируются, поэтому снапшоты создаются очень быстро и не занимают дополнительного места в области данных.

Со временем в родительском томе заполняются новые блоки данных. Некоторые данные у родительского тома и снапшота начинают различаться, но данные, на которые уже ссылается снапшот, не перезаписываются и не освобождаются. Оригинальный физический блок данных считается занятым до тех пор, пока снапшот, который на него ссылается, не будет удален. После удаления снапшота блоки данных, которые он не разделял с другими ресурсами, освобождаются и могут быть использованы для последующих операций записи. Такой вариант реализации снапшотов называют Redirect-On-Write (RoW).

В своей статье Алексей Шушарин, главный эксперт по разработке ПО в департаменте СХД YADRO, подробно рассказал о снапшотах, клонах и всех процессах, связанных с косвенной адресацией. А также о том, как грамотно вписать эту функциональность в стек хранилища.