Хранение данных *

Как настроить резервное копирование в S3

Автоматизация резервного копирования помогает снизить риск потери данных. Один из простых способов — использовать rclone, утилиту для синхронизации и переноса файлов между локальными системами и хранилищами, совместимыми с S3.

Подготовили подробный гайдлайн, как установить rclone на Windows, подключить S3-хранилище, создать скрипт для копирования бэкапов и добавить его в Планировщик заданий — чтобы резервное копирование выполнялось без участия администратора.

Подробную инструкцию смотрите  в базе знаний Рег.облака.

Что будет с фотками, если закроется облако

Облачное хранилище работает отлично, пока работает. Но провайдер может закрыться, подписка закончиться, а аккаунт заблокироваться. Что тогда будет с вашими фотками?

Закрытие сервиса

Обычно провайдеры предупреждают о закрытии за месяц-два или три. Это время дается, чтобы вы могли выгрузить всё, что хранилось в облаке. Но общего правила нет.

Parse объявил о закрытии за год, а Everpix – за месяц. Но и в том, и в другом случае пользователям дали возможность выгрузить свои данные. Только после этого архивы удалили физически. 

Истечение подписки

У каждого провайдера свои правила хранения после окончания оплаченного периода. iCloud держит данные всего месяц, Dropbox – 2, а Google Drive позволяет загрузить их в течение двух лет.

Часть сервисов блокирует только загрузку новых файлов, оставляя возможность скачать старые. Но после истечения грейс-периода поддержка не восстанавливает ничего.

Есть что рассказать? Станьте голосом комьюнити и делитесь с участниками своими кейсами в сообществе.

Случаи потери данных

Бывает, что данные пропадают случайно. Вероятность такого исхода мала, но не равна нулю. Так, в 2015 году в дата-центр Google в Бельгии молния ударила 4 раза подряд. Пострадало около 0.000001% данных, то есть где-то 10 байт на гигабайт. Тем, кто попал в эту погрешность, конечно, легче не стало. Но цифры показывают, насколько это редкая ситуация.

В целом же, облака остаются более надёжным решением, в отличие от локальных дисков. Главное – оплачивать подписку вовремя.

GlowByte приглашает на первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️ перспективам развития дата-ландшафта;
▫️ влиянию искусственного интеллекта на управление данными;
▫️ оценке готовности рынка (технологии/решения/компетенции);
▫️ вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️перспективам развития дата-ландшафта;
▫️влиянию искусственного интеллекта на управление данными;
▫️оценке готовности рынка (технологии/решения/компетенции);
▫️вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Наше хранилище S3 недавно попало в топ-5 по функциональности и в топ-3 по поддерживаемым протоколам в рейтинге Cnews среди облачных провайдеров. В общем рейтинге мы на 7-м месте.

Хороший повод рассказать про S3 подробнее.

Хранилище работает на базе Ceph — распределенной системы хранения данных с открытым исходным кодом. Она дает вам полный контроль над данными и позволяет кратно масштабироваться.

Конкретнее о преимуществах:

1️⃣ Тройная репликация — данные хранятся в три копии на разных серверах, чтобы даже в случае отказа одного из них ваши данные были в полной безопасности.

2️⃣ Высокая производительность — для быстрого доступа мы используем горячие пулы на NVMe и холодные пулы на HDD для тех данных, которые вы не будете часто запрашивать.

3️⃣ Управление через стандартный S3 API — чтобы интегрироваться в любые системы, поддерживающие S3, мы используем интерфейс RADOS Gateway (RGW), который транслирует запросы на S3 в язык Ceph и управляет ими через API.

Кстати, спойлер: скоро планируем запускать S3 в Москве.

Начать пользоваться можно даже за 1 рубль на минималке в холодном хранилище. Пора тестить →

Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark — с DataFusion Comet и Impala

Друзья, в блоге компании Data Sapience, партнера GlowByte, вышла новая статья, третья в цикле материалов про нагрузочные испытания вычислительных технологий массивных параллельных вычислений.

Ранее техническим руководителем решений Data Ocean Nova и Data Ocean Flex Loader Евгением Вилковым были опубликованы статьи, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS.

В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

Как запустить демопроект на Django, не утонуть в рутине и не потерять данные?

Настройка серверов, управление контейнерами, риск потерять наработанное после их перезагрузки... Или, другими словами, развертывание демо на Django.

Но мы знаем, что делать 🦸 Приглашаем вас на вебинар — ждем всех, кто хочет быстрее развертывать свои приложения.

О чем поговорим:

• как организовать хранение файлов в Evolution Object Storage;

• как подключить хранилище к приложению напрямую, без использования S3-клиентов;

• как делать, чтобы защитить данные от потери после перезагрузки контейнеров.

Ну и куда без практики: в конце встречи в life-time расскажем, как запустить демо на Django в Evolution Container Apps.

📅 Когда? 28 октября в 11:00 мск.

📍Где? Встретимся онлайн — заходите на страницу вебинара и регистрируйтесь.

Первые заметки с GITEX GLOBAL 2025

GITEX в Дубае из года в год подтверждает, что это не просто выставка, а политико-технологическая витрина региона. Государственные ИИ, «суверенные» облака, умный транспорт, автоматизированные госуслуги — всё это разворачивается на фоне гонки за цифровую независимость. В этом году площадка разделена на крупные тематические треки — ИИ, безопасность, инфраструктура, индустриальные решения, системный и промышленный софт и т.д.

Первое и, пожалуй, главное наблюдение – это особое внимание к теме ИТ-безопасности, которая явно стала необходимостью. Главными запросами рынка стали отказоустойчивость и непрерывность бизнес-процессов, что заметно не только в России, но и по всему миру. Это подтверждает и масштаб секции по безопасности, и широта географии. Теперь задачи производителей решений класса СРК типа Veeam или Acronics не ограничиваются только копированием данных. Они обеспечивают шифрование, консистентность, безопасность передачи данных и обнаруживают аномалии в процессе копирования. Резервное копирование больше не воспринимается как рутинная строка в статье расходов на инфраструктуру компании, а становится частью безопасности и устойчивости бизнеса.

Отдельная тема дискуссий — этика и приватность. Каждая ИИ-новинка сопровождается обсуждением того, что можно доверять ИИ и как предотвращать злоупотребления.

Что касается ИИ, то конкурировать теперь приходится не с его наличием, а с качеством интеграции. Поэтому ИИ теперь ощущается как рутинный слой стека, который ставят «по умолчанию» — поиск, суммаризация, рекомендации, автоматизация. Маркетинга, конечно, тоже хватает: «AI-ready», «AI-powered» встречается на каждом втором стенде. Но, судя по интересу посетителей, бизнес отлично понимает, что смысл в применимости, а не в вывеске.

Из показательных примеров — AI-автомобили, которые патрулируя по городу, в реальном времени могут выявлять нарушения визового режима, рядом — демонстрация «умных полицейских станций», автоматизированных пунктов обслуживания граждан (вспомним времена, когда Робокоп казался далеким будущим). Такие примеры хорошо иллюстрируют сдвиг к прикладным государственным сервисам.

Обойти всё за один день объективно нереально. Масштаб и география участников впечатляют. Поэтому планирую ещё одно посещение, чтобы собрать больше информации про облачные решения и последние тренды на рынке СРК. А заодно добраться до российских стендов: судя по программе и экспозиции, там тоже есть что показать.

Главный вывод на сегодня: GITEX-2025 — уже не про «космические корабли», а про реальную применимость: отказоустойчивость, безопасность, стоимость владения. AI никуда не делся, он просто растворился в продукте.

Полезные ссылки про AI, облака и новости в дайджесте за сентябрь 🌂

🎙️ Провели конференцию GoCloud Tech. В программе — 20+ выступлений, демо и релизы новых сервисов, технические воркшопы и много нетворкинга. На GoCloud Tech было:

• 850+ офлайн-участников;

• 2 800+ онлайн-зрителей;

• 4 трека, 37 спикеров, 5 воркшопов и 13 демозон.

Записи всех докладов можете посмотреть на удобной площадке: YouTube или VK Видео.

🤖 На конференции поделились результатами первых двух месяцев работы AI-помощника Cloud.ru в облаке:

• к помощнику обратились 4 000 пользователей;

• отправили свыше 12 000 сообщений;

• пользователи ускорили рутинные операции в 15 раз.

Другие новые возможности сервиса:

• SRE-агент для мониторинга приложений и алертов по логам. Помощник обратит внимание на аномалии в работе сервисов и даст советы по улучшениям.

• FinOps-оптимизация. AI-помощник Cloud.ru может найти неиспользуемые виртуальные машины, которые можно отключить, или активные виртуальные машины, которые можно оптимизировать для снижения затрат.

💡 Делимся важными анонсами платформы Cloud․ru Evolution:

• Запустили Evolution VPN. Это защищенная сеть, которая позволяет удаленно подключаться к облаку, получать безопасный доступ к ресурсам внутри корпоративной сети или VPC.

• Magic Link расширяет возможности Magic Router. Теперь без использования интернета можно организовывать сетевую связность между облачными ресурсами, созданными в разных проектах облачной платформы одного или разных клиентов.

• Evolution Data Platform теперь в коммерческой эксплуатации. Теперь все data-сервисы разворачиваются в едином кластере на общем платформенном слое. Это упрощает интеграцию сервисов и весь цикл работ с данными.

🎁 Дарим юрлицам 35 000 бонусов для работы с Evolution Data Platform. Используйте бонусы, чтобы работать с Big Data, собирать данные для машинного обучения, автоматизировать обработку данных — и не только.

💸 Анонсировали тарифы для Evolution Foundation Models — сервиса с популярными моделями, доступными по API. До 31 октября больше 20 LLM доступны бесплатно, а с 1 ноября средняя цена составит:

• 35 рублей за миллион входных токенов;

• 70 рублей за миллион выходных токенов.

Добавили новые модели, которые в Evolution Foundation Models можно использовать бесплатно до 31 октября: это Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B и GigaChat 2 MAX.

👨‍💻 Вместе с GitVerse и Хабром запустили программу «Код без границ» для развития open source проектов. Чтобы принять участие, разместите свой проект на GitVerse и подайте заявку до 31 октября. Победители получат от 50 до 150 тысяч рублей, облачные ресурсы от Cloud․ru и доступ к профессиональному сообществу.

🎥 Провели много полезных вебинаров — переходите по ссылкам, чтобы посмотреть их в записи:

• Как повысить отказоустойчивость Kubernetes: мультикластерная архитектура на Karmada.

• Admission Control в Kubernetes: управление доступом и политиками безопасности.

• Кому принадлежит AI-контент: авторские права на код, изображения и тексты.

• Контролируемый вайб-кодинг: сокращаем технический долг и уязвимости.

🎬 Смотрите новый выпуск подкаста ClientFirst о запуске e-commerce в METRO, сохранении культуры IT-команды и задачах, для которых подходит AI. Спикеры — директор по продажам и маркетингу Cloud.ru Андрей Зотов и IT-директор METRO Антон Антоничев. Запись есть на YouTube, VK Видео и RuTube.

💼 Делимся кейсами наших клиентов о том, как решать задачи бизнеса в облаке:

• Как «Страна Девелопмент» повысила производительность на 30%.

• Как разработчик «Жива Технологии» развернул приложение с AI-ассистентом в облаке Cloud.ru.

🎨 Прокачали наш бесплатный курс «Креативное мышление и AI для решения задач». Прокачайте стратегическое мышление, научитесь находить первоначальные проблемы, освойте ТОС и CRAFT для генерации идей. А еще — создайте креативного AI-ассистента в Chatbox, который будет давать нешаблонные ответы под ваши задачи.

💳 Присоединяйтесь к реферальной программе Cloud.ru: рекомендуйте нас клиентам и получайте 20% от их чека в первый год и 15% — в последующие.

До встречи в следующем дайджесте!

Дарим 35 000 рублей, чтобы протестировать сервисы Evolution Data Platform 🎁

Переходите по ссылке, чтобы получить 35 000 рублей и попробовать сервисы для работы с Big Data и машинным обучением. Оцените интерактивную аналитику, постройте ETL-пайплайны и Data Lakehouse-решения для вашего бизнеса.

Какие сервисы можно протестировать с бонусными рублями?

1. Evolution Managed Trino — аналитический SQL-движок Trino, чтобы облегчить обработку больших объемов данных с помощью распределенных запросов.

2. Evolution Managed Spark позволит развернуть кластерный вычислительный сервис, создать и конфигурировать инстансы Spark.

3. Evolution Managed Metastore подойдет для хранения метаданных: информацию о таблицах, колонках и партициях.

4. Evolution Managed BI — облачный сервис для удобной визуализации и анализа данных. Собирайте информацию из MySQL, Oracle, PostgreSQL и других источников — и стройте на их основе графики, таблицы и диаграммы.

5. Evolution Managed Airflow позволяет обрабатывать данные по принципу ETL, объединять задачи в пайплайны, планировать и запускать их по расписанию.

Тратьте бонусные рубли прозрачно: 1 бонус = 1 рубль. Получить подарок можно до конца года, а действовать он будет 60 дней с момента активации.

🚀 Объём корпоративных данных растёт на десятки процентов в год, а специалистов всё так же не хватает. В статье для VC.RU мы вместе с Екатериной Ризановой рассказали, как ИИ-агенты помогают решать эту проблему: берут на себя рутинные задачи в хранилищах данных и BI-системах, ускоряют работу команд и экономят компаниям миллионы рублей в год.

ИИ-агент — это не чат-бот. Он сам выполняет действия: анализирует код витрин, строит lineage, генерирует SQL, находит инсайты и помогает сотрудникам сосредоточиться на действительно важных задачах.

👉 Делюсь материалом: https://vc.ru/ai/2233616-ii-agent-dlya-rabotyi-s-bolshimi-dannymi

Как организовать хранение кадровых документов 1,5 млн пользователей в облаке: опыт HRlink 📄

Когда ваш бизнес обслуживает более 6 400 корпоративных клиентов, а платформу используют 1,5 млн человек, вы точно задумаетесь об отказоустойчивости, надежном хранении данных, соответствии 152-ФЗ, да и на вопросы производительности СУБД взглянете по-новому.

С такими задачами столкнулась компания HRlink. Рассказываем, как на IT-инфраструктуре Selectel она:

• развернула сервис в облаке с возможностью гибкого масштабирования,

• повысила производительность более 5 000 баз данных,

• организовала надежное хранение кадровых документов,

• обеспечила безопасную обработку персональных данных.  

Подробности кейса читайте в Академии Selectel, а также оставляйте заявку на бесплатную миграцию ➡️

Как облако помогает нанимать людей

Привет, Хабр! На связи Ольга, в Хайстекс я занимаюсь развитием бизнеса и корпоративных связей. В блоге компании мы опубликовали перевод статьи с отличным примером того, как управляемые облачные сервисы перестают быть только техническим инструментом и становятся стратегическим фактором даже там, где главная ценность бизнеса — люди и их экспертиза.

В статье рассматривается кейс SkillGigs, сервиса для подбора специалистов в сфере здравоохранения и технологий. Управляемые облачные сервисы позволили внедрить 3D-резюме, выстроить мультиоблачную архитектуру, обеспечить безопасность и упростить интерфейс для пользователей. Результат: поиск стал быстрее, рекомендации — точнее, а процесс найма удобнее. Этот пример хорошо показывает, что облако — это уже не просто «поддержка инфраструктуры», а реальный драйвер бизнеса.

Статья не перегружена кейсами, в ней собраны ключевые выводы и один практический пример. Хороший повод пересмотреть своё отношение к облачным сервисам и понять, где они реально дают бизнес-эффект.

Кажется я опять удалил бэкап из бакета... А нет, у меня ж стоит блокировка 😮‍💨

Добавили в S3 новую функцию — блокировку объектов (Object Lock). Теперь можно зафиксировать, или по-айтишному — «залочить» версии объектов так, что их нельзя удалить или изменить в течение заданного времени. Даже админу бакета.

👌 Идеально для архивов, резервных копий и важных логов.

Есть несколько режимов:

GOVERNANCE — «админ может удалять, а другие нет»

Объекты защищены от случайных действий, но пользователи с особыми правами могут их удалять в любой момент

COMPLIANCE — «тут и админ бессилен»

Объекты остаются нетронутыми до конца срока блокировки, даже если у вас админские права

Без глобальной защиты — «по дефолту»

Блокировка версий объектов не будет устанавливаться в бакете

⚙️ Подробности в доке →

Ну все, осталось только включить блокировку в настройках →

Новые правила передачи данных банками и операторами связи в 2025–2026 годах: что изменилось в законах

В 2025 году утверждены два постановления Правительства, которые вводят новые правила взаимодействия банков и операторов связи с государственными органами через систему межведомственного электронного взаимодействия (СМЭВ). Оба документа направлены на обеспечение доступа к сведениям, которые могут понадобиться для оперативно-розыскной деятельности и обеспечения безопасности РФ.

Новые постановления напрямую связаны с изменениями в законодательстве, вступившими в силу весной 2025 года.

• Статья 9 Федерального закона о банках и банковской деятельности с апреля 2025 года обязывает кредитные организации предоставлять сведения уполномоченным органам через МЭВ в сроки и формате, которые устанавливаются Правительством РФ совместно с Банком России.

• Статья 46 Федерального закона «О связи» закрепила аналогичную обязанность для операторов связи.

 До этих изменений порядок был иным:

• правоохранительные органы направляли запросы в банки и операторам связи в бумажном или электронном виде напрямую;

• не существовало единого формата и технического канала передачи данных.

Для банков (ПП РФ от 30.08.2025 № 1344).

Правила вступят в силу с 1 марта 2026 года

Подключиться к системе банкам нужно до 31 августа 2026 года. Минцифры обещает техническую поддержку и предоставление адаптера СМЭВ бесплатно.

В соответствии с правилами Банки будут обязаны по запросам органов передавать через систему межведомственного электронного взаимодействия (далее – СМЭВ) широкий перечень данных о клиентах.

Передаваться будут:

• сведения о счетах и вкладах, движении средств по ним;

• место и время выдачи наличных;

• телефонные номера, связь по которым оплачивается картой или иным средством платежа клиента;

• участие клиента в брокерской деятельности;

• данные о сейфовых ячейках.

Если у банка нет запрашиваемой информации - он обязан сообщить об этом.

При нарушении формы запроса (например, отсутствует номер, дата, ссылка на правовое основание) банк возвращает его без рассмотрения и объясняет причину.

Сроки в правилах указано, что в соответствии со ст. 26 ЗаконА о банках, но четкого срока установить не удалось.

Для операторов связи (ПП РФ от 29.08.2025 № 1316)

Правила вступили в силу уже с 1 сентября 2025 года, а к СМЭВ операторы должны подключиться до 28 февраля 2026 года.

 Сроки передачи данных гораздо жестче, чем для банков:

• в течение 24 часов с момента получения запроса нужно передать основные сведения;

• на дополнительные данные (например, историю использования номера за три года) дается 72 часа.

 Если выполнить запрос вовремя невозможно, оператор обязан уведомить орган в течение тех же 24 часов и указать предполагаемый срок исполнения.

 Передаваться будут:

• Ф.И.О. абонента, дата рождения, адрес;

• паспортные данные;

• дата заключения договора об оказании услуг связи;

• дата последнего использования номера.

Есть и технические ограничения: мобильные операторы не могут передавать более 0,05% сведений от всех своих номеров в сутки, для остальных операторов лимит — 0,03%. Это сделано, чтобы избежать перегрузки системы и массовой выгрузки информации.

Как юрист я вижу несколько ключевых моментов:

Баланс между безопасностью и правами клиентов. Наши данные становятся более доступными для правоохранительных органов.

С одной стороны, государство получает быстрый и централизованный доступ к информации, что повышает эффективность раскрытия преступлений. С другой речь идёт о персональных и финансовых данных, и любая ошибка или утечка может серьёзно ударить по физ.лицам и компаниям.

Нагрузка на банки и операторов связи как техническая, так и организационная. При этом компаниям нужно будет выстроить внутренний контроль, обучение сотрудников и аудиты безопасности.

Риски для банков и операторов связи. Нарушение сроков, передача неполных сведений или ошибок в ответах могут привести к санкциям.

Больше интересного на моем канале.

Новый веб-интерфейс S3 в Рег.облаке: все основные операции теперь прямо в браузере

В Рег.облаке важное обновление для всех, кто работает с данными. Мы завершили большой этап по развитию интерфейса работы с объектами в нашем S3-совместимом хранилище. Теперь все основные операции с объектами доступны прямо через визуальный интерфейс личного кабинета — без необходимости использовать командную строку или сторонние файловые менеджеры.

Существенно расширили функциональность веб-интерфейса, добавив в него все ключевые фичи:

• просмотр и сортировка объектов в бакете;

• создание папок для организации данных;

• прямая загрузка файлов до 1 ГБ прямо из браузера;

• скачивание файлов;

• генерация предварительно подписанных URL-ссылок для безопасного предоставления доступа к объектам на время;

• копирование, перемещение и переименование объектов;

• удаление отдельных объектов и папок, а также массовое удаление для очистки хранилища;

• быстрый поиск по объектам в бакете.

Как это можно использовать на практике?

• Обмен тестовыми данными с подрядчиком. Разработчик выгружает артефакты сборки в бакет и создает предварительно подписанную ссылку, а подрядчик скачивает файл по ссылке без регистрации в облаке и настройки сложных политик доступа. Это экономит время и упрощает взаимодействие.

• Организация структуры в бакете. DevOps-инженер может навести порядок в хранилище: сгруппировать файлы по папкам, переименовать старые версии и удалить лишнее. В результате вся команда быстрее находит нужные данные, а хранилище становится опрятным и логичным.

• Массовое удаление старых данных. Аналитики ежедневно загружают в бакет выгрузки объемом в десятки гигабайт. Когда отчеты или расчеты устаревают, их можно удалить одной операцией, а не по одному файлу. Это мгновенно освобождает место и упрощает управление.

• Общекомандное хранилище. Команда может использовать бакет как единое пространство для тяжелых файлов: документов, образов, архивов логов. Больше не нужно пересылать гигабайты через почту или сторонние сервисы.

Подключить S3-хранилище можно в личном кабинете Рег.облака. Новый веб-интерфейс уже доступен всем пользователям.

Zotero Tags и MarkDB-Connect

Написал статью о том, какие теги можно внедрить в Zotero (статус, оценка, научность). Также написал небольшой гайд по плагину MarkDB-Connect.

Подключайтесь к вебинару про работу с ПДн в соответствии с требованиями 152-ФЗ

В 12:00 (мск) в прямом эфире расскажем, как сделать хранение персональных данных безопасным: с чего начать, как выбрать подходящее решение и подтвердить эффективность реализованных мер.

Программа вебинара

Что обсудим на вебинаре

• Из чего складываются требования к защите персональных данных.

• Как определить уровень защищенности персональных данных.

• Как реализовать меры защиты.

• Защита персональных данных в облачной инфраструктуре.

• Как подтвердить эффективность мер защиты.

• Как Selectel помогает соблюдать требования 152-ФЗ.

Смотреть трансляцию

📱на YouTube

📱в VK

Как навести порядок в данных и при чем тут ETL

Как ETL оптимизирует работу с данными и делает их полезными? Очищает, адаптирует под требования аналитики и собирает в единой структуре хранения. Этот термин расшифровывается как Extract, Transform, Load — «извлечение», «преобразование» и «загрузка». Иначе говоря, речь фактически идет о процессе, с помощью которого информацию из разных источников приводят к единому виду и собирают в одном месте.

ETL позволяет не просто достать информацию, но и навести порядок — удалить лишнее, проверить на ошибки и загрузить в хранилище. После этого с данными уже можно работать: составлять отчеты, обучать модели искусственного интеллекта, анализировать поведение пользователей или оптимизировать внутренние процессы.

Сегодня без ETL дата-инженерам непросто получить чистую, согласованную и удобную для анализа картину — в базе знаний Рег.облака подготовили подробный гайд, как реализовать ETL-процесс за пять простых шагов.

Как построить эффективную стратегию бэкапа

Любая стратегия бэкапа проверяется не в теории, а в проде. В блоге «Хайстекс» вышла первая статья, где QA-инженер Юлия Воробьёва показывает как построить систему резервного копирования с Хайстекс Акура и S3-хранилищем Selectel. Реальный кейс и пошаговый разбор: от выбора хранилища до восстановления инфраструктуры. Всё глазами автора, который сам настраивал и тестировал.

Что внутри:

• Рабочая архитектура. Одно целевое облако с двумя подключениями: к площадке восстановления (поднимаем ВМ при необходимости) и к объектному хранилищу — S3 Selectel, где лежат точки восстановления.

• Агенты. Внешние для VMware и внутренние в ОС конкретной ВМ. Репликация односторонняя, по защищенному каналу и без просадок продакшена.

• Расписания и RPO. Расписание от непрерывных запусков до Unix Crontab. Контроль исполнения на стороне Акуры, человеческий фактор «забыл сделать бэкап» исключен. 

• Retention. Политика на уровне ВМ, группы или всего клиента, под любые контуры и SLA.

• Хранение в S3. Данные режутся на настраиваемые чанки с метаданными; нулевые блоки не сохраняются, таким образом экономим место и деньги.

• Восстановление. Предсказуемые сценарии: полный подъем ВМ через Cloud Site и файловое восстановление «на месте» из S3. При необходимости возможны RAW-экспорт и failback.

  

Бэкап — это не галочка в чек-листе, а процесс, которым нужно управлять, от выбора хранилища до проверенного сценария восстановления. Мы показали рабочую схему без магии и ручной возни. Под катом детали, скриншоты и пошаговые действия. В комментариях можно обсудить ваши кейсы, грабли и метрики: как настраиваете retention, чем меряете RTO/RPO и что помогло сократить простои.