Хранение данных *

🚀 Объём корпоративных данных растёт на десятки процентов в год, а специалистов всё так же не хватает. В статье для VC.RU мы вместе с Екатериной Ризановой рассказали, как ИИ-агенты помогают решать эту проблему: берут на себя рутинные задачи в хранилищах данных и BI-системах, ускоряют работу команд и экономят компаниям миллионы рублей в год.

ИИ-агент — это не чат-бот. Он сам выполняет действия: анализирует код витрин, строит lineage, генерирует SQL, находит инсайты и помогает сотрудникам сосредоточиться на действительно важных задачах.

👉 Делюсь материалом: https://vc.ru/ai/2233616-ii-agent-dlya-rabotyi-s-bolshimi-dannymi

Как организовать хранение кадровых документов 1,5 млн пользователей в облаке: опыт HRlink 📄

Когда ваш бизнес обслуживает более 6 400 корпоративных клиентов, а платформу используют 1,5 млн человек, вы точно задумаетесь об отказоустойчивости, надежном хранении данных, соответствии 152-ФЗ, да и на вопросы производительности СУБД взглянете по-новому.

С такими задачами столкнулась компания HRlink. Рассказываем, как на IT-инфраструктуре Selectel она:

• развернула сервис в облаке с возможностью гибкого масштабирования,

• повысила производительность более 5 000 баз данных,

• организовала надежное хранение кадровых документов,

• обеспечила безопасную обработку персональных данных.  

Подробности кейса читайте в Академии Selectel, а также оставляйте заявку на бесплатную миграцию ➡️

Как облако помогает нанимать людей

Привет, Хабр! На связи Ольга, в Хайстекс я занимаюсь развитием бизнеса и корпоративных связей. В блоге компании мы опубликовали перевод статьи с отличным примером того, как управляемые облачные сервисы перестают быть только техническим инструментом и становятся стратегическим фактором даже там, где главная ценность бизнеса — люди и их экспертиза.

В статье рассматривается кейс SkillGigs, сервиса для подбора специалистов в сфере здравоохранения и технологий. Управляемые облачные сервисы позволили внедрить 3D-резюме, выстроить мультиоблачную архитектуру, обеспечить безопасность и упростить интерфейс для пользователей. Результат: поиск стал быстрее, рекомендации — точнее, а процесс найма удобнее. Этот пример хорошо показывает, что облако — это уже не просто «поддержка инфраструктуры», а реальный драйвер бизнеса.

Статья не перегружена кейсами, в ней собраны ключевые выводы и один практический пример. Хороший повод пересмотреть своё отношение к облачным сервисам и понять, где они реально дают бизнес-эффект.

Кажется я опять удалил бэкап из бакета... А нет, у меня ж стоит блокировка 😮‍💨

Добавили в S3 новую функцию — блокировку объектов (Object Lock). Теперь можно зафиксировать, или по-айтишному — «залочить» версии объектов так, что их нельзя удалить или изменить в течение заданного времени. Даже админу бакета.

👌 Идеально для архивов, резервных копий и важных логов.

Есть несколько режимов:

GOVERNANCE — «админ может удалять, а другие нет»

Объекты защищены от случайных действий, но пользователи с особыми правами могут их удалять в любой момент

COMPLIANCE — «тут и админ бессилен»

Объекты остаются нетронутыми до конца срока блокировки, даже если у вас админские права

Без глобальной защиты — «по дефолту»

Блокировка версий объектов не будет устанавливаться в бакете

⚙️ Подробности в доке →

Ну все, осталось только включить блокировку в настройках →

Новые правила передачи данных банками и операторами связи в 2025–2026 годах: что изменилось в законах

В 2025 году утверждены два постановления Правительства, которые вводят новые правила взаимодействия банков и операторов связи с государственными органами через систему межведомственного электронного взаимодействия (СМЭВ). Оба документа направлены на обеспечение доступа к сведениям, которые могут понадобиться для оперативно-розыскной деятельности и обеспечения безопасности РФ.

Новые постановления напрямую связаны с изменениями в законодательстве, вступившими в силу весной 2025 года.

• Статья 9 Федерального закона о банках и банковской деятельности с апреля 2025 года обязывает кредитные организации предоставлять сведения уполномоченным органам через МЭВ в сроки и формате, которые устанавливаются Правительством РФ совместно с Банком России.

• Статья 46 Федерального закона «О связи» закрепила аналогичную обязанность для операторов связи.

 До этих изменений порядок был иным:

• правоохранительные органы направляли запросы в банки и операторам связи в бумажном или электронном виде напрямую;

• не существовало единого формата и технического канала передачи данных.

Для банков (ПП РФ от 30.08.2025 № 1344).

Правила вступят в силу с 1 марта 2026 года

Подключиться к системе банкам нужно до 31 августа 2026 года. Минцифры обещает техническую поддержку и предоставление адаптера СМЭВ бесплатно.

В соответствии с правилами Банки будут обязаны по запросам органов передавать через систему межведомственного электронного взаимодействия (далее – СМЭВ) широкий перечень данных о клиентах.

Передаваться будут:

• сведения о счетах и вкладах, движении средств по ним;

• место и время выдачи наличных;

• телефонные номера, связь по которым оплачивается картой или иным средством платежа клиента;

• участие клиента в брокерской деятельности;

• данные о сейфовых ячейках.

Если у банка нет запрашиваемой информации - он обязан сообщить об этом.

При нарушении формы запроса (например, отсутствует номер, дата, ссылка на правовое основание) банк возвращает его без рассмотрения и объясняет причину.

Сроки в правилах указано, что в соответствии со ст. 26 ЗаконА о банках, но четкого срока установить не удалось.

Для операторов связи (ПП РФ от 29.08.2025 № 1316)

Правила вступили в силу уже с 1 сентября 2025 года, а к СМЭВ операторы должны подключиться до 28 февраля 2026 года.

 Сроки передачи данных гораздо жестче, чем для банков:

• в течение 24 часов с момента получения запроса нужно передать основные сведения;

• на дополнительные данные (например, историю использования номера за три года) дается 72 часа.

 Если выполнить запрос вовремя невозможно, оператор обязан уведомить орган в течение тех же 24 часов и указать предполагаемый срок исполнения.

 Передаваться будут:

• Ф.И.О. абонента, дата рождения, адрес;

• паспортные данные;

• дата заключения договора об оказании услуг связи;

• дата последнего использования номера.

Есть и технические ограничения: мобильные операторы не могут передавать более 0,05% сведений от всех своих номеров в сутки, для остальных операторов лимит — 0,03%. Это сделано, чтобы избежать перегрузки системы и массовой выгрузки информации.

Как юрист я вижу несколько ключевых моментов:

Баланс между безопасностью и правами клиентов. Наши данные становятся более доступными для правоохранительных органов.

С одной стороны, государство получает быстрый и централизованный доступ к информации, что повышает эффективность раскрытия преступлений. С другой речь идёт о персональных и финансовых данных, и любая ошибка или утечка может серьёзно ударить по физ.лицам и компаниям.

Нагрузка на банки и операторов связи как техническая, так и организационная. При этом компаниям нужно будет выстроить внутренний контроль, обучение сотрудников и аудиты безопасности.

Риски для банков и операторов связи. Нарушение сроков, передача неполных сведений или ошибок в ответах могут привести к санкциям.

Больше интересного на моем канале.

Новый веб-интерфейс S3 в Рег.облаке: все основные операции теперь прямо в браузере

В Рег.облаке важное обновление для всех, кто работает с данными. Мы завершили большой этап по развитию интерфейса работы с объектами в нашем S3-совместимом хранилище. Теперь все основные операции с объектами доступны прямо через визуальный интерфейс личного кабинета — без необходимости использовать командную строку или сторонние файловые менеджеры.

Существенно расширили функциональность веб-интерфейса, добавив в него все ключевые фичи:

• просмотр и сортировка объектов в бакете;

• создание папок для организации данных;

• прямая загрузка файлов до 1 ГБ прямо из браузера;

• скачивание файлов;

• генерация предварительно подписанных URL-ссылок для безопасного предоставления доступа к объектам на время;

• копирование, перемещение и переименование объектов;

• удаление отдельных объектов и папок, а также массовое удаление для очистки хранилища;

• быстрый поиск по объектам в бакете.

Как это можно использовать на практике?

• Обмен тестовыми данными с подрядчиком. Разработчик выгружает артефакты сборки в бакет и создает предварительно подписанную ссылку, а подрядчик скачивает файл по ссылке без регистрации в облаке и настройки сложных политик доступа. Это экономит время и упрощает взаимодействие.

• Организация структуры в бакете. DevOps-инженер может навести порядок в хранилище: сгруппировать файлы по папкам, переименовать старые версии и удалить лишнее. В результате вся команда быстрее находит нужные данные, а хранилище становится опрятным и логичным.

• Массовое удаление старых данных. Аналитики ежедневно загружают в бакет выгрузки объемом в десятки гигабайт. Когда отчеты или расчеты устаревают, их можно удалить одной операцией, а не по одному файлу. Это мгновенно освобождает место и упрощает управление.

• Общекомандное хранилище. Команда может использовать бакет как единое пространство для тяжелых файлов: документов, образов, архивов логов. Больше не нужно пересылать гигабайты через почту или сторонние сервисы.

Подключить S3-хранилище можно в личном кабинете Рег.облака. Новый веб-интерфейс уже доступен всем пользователям.

Zotero Tags и MarkDB-Connect

Написал статью о том, какие теги можно внедрить в Zotero (статус, оценка, научность). Также написал небольшой гайд по плагину MarkDB-Connect.

Подключайтесь к вебинару про работу с ПДн в соответствии с требованиями 152-ФЗ

В 12:00 (мск) в прямом эфире расскажем, как сделать хранение персональных данных безопасным: с чего начать, как выбрать подходящее решение и подтвердить эффективность реализованных мер.

Программа вебинара

Что обсудим на вебинаре

• Из чего складываются требования к защите персональных данных.

• Как определить уровень защищенности персональных данных.

• Как реализовать меры защиты.

• Защита персональных данных в облачной инфраструктуре.

• Как подтвердить эффективность мер защиты.

• Как Selectel помогает соблюдать требования 152-ФЗ.

Смотреть трансляцию

📱на YouTube

📱в VK

Как навести порядок в данных и при чем тут ETL

Как ETL оптимизирует работу с данными и делает их полезными? Очищает, адаптирует под требования аналитики и собирает в единой структуре хранения. Этот термин расшифровывается как Extract, Transform, Load — «извлечение», «преобразование» и «загрузка». Иначе говоря, речь фактически идет о процессе, с помощью которого информацию из разных источников приводят к единому виду и собирают в одном месте.

ETL позволяет не просто достать информацию, но и навести порядок — удалить лишнее, проверить на ошибки и загрузить в хранилище. После этого с данными уже можно работать: составлять отчеты, обучать модели искусственного интеллекта, анализировать поведение пользователей или оптимизировать внутренние процессы.

Сегодня без ETL дата-инженерам непросто получить чистую, согласованную и удобную для анализа картину — в базе знаний Рег.облака подготовили подробный гайд, как реализовать ETL-процесс за пять простых шагов.

Как построить эффективную стратегию бэкапа

Любая стратегия бэкапа проверяется не в теории, а в проде. В блоге «Хайстекс» вышла первая статья, где QA-инженер Юлия Воробьёва показывает как построить систему резервного копирования с Хайстекс Акура и S3-хранилищем Selectel. Реальный кейс и пошаговый разбор: от выбора хранилища до восстановления инфраструктуры. Всё глазами автора, который сам настраивал и тестировал.

Что внутри:

• Рабочая архитектура. Одно целевое облако с двумя подключениями: к площадке восстановления (поднимаем ВМ при необходимости) и к объектному хранилищу — S3 Selectel, где лежат точки восстановления.

• Агенты. Внешние для VMware и внутренние в ОС конкретной ВМ. Репликация односторонняя, по защищенному каналу и без просадок продакшена.

• Расписания и RPO. Расписание от непрерывных запусков до Unix Crontab. Контроль исполнения на стороне Акуры, человеческий фактор «забыл сделать бэкап» исключен. 

• Retention. Политика на уровне ВМ, группы или всего клиента, под любые контуры и SLA.

• Хранение в S3. Данные режутся на настраиваемые чанки с метаданными; нулевые блоки не сохраняются, таким образом экономим место и деньги.

• Восстановление. Предсказуемые сценарии: полный подъем ВМ через Cloud Site и файловое восстановление «на месте» из S3. При необходимости возможны RAW-экспорт и failback.

  

Бэкап — это не галочка в чек-листе, а процесс, которым нужно управлять, от выбора хранилища до проверенного сценария восстановления. Мы показали рабочую схему без магии и ручной возни. Под катом детали, скриншоты и пошаговые действия. В комментариях можно обсудить ваши кейсы, грабли и метрики: как настраиваете retention, чем меряете RTO/RPO и что помогло сократить простои.

Успей зарегистрироваться на IT-конференцию про облака, AI и данные — GoCloud Tech 2025 и попробовать новые сервисы на практике 🕹️

Привет! Совсем скоро закончится регистрация на нашу очередную технологическую конференцию о создании решений на базе AI и облаков. И мы хотим напомнить, что помимо демозон, Career Lab, активностей, мерча и afterparty, вас на площадке будут ждать воркшопы:

• 👩‍🔧 Вайб-кодинг с минимумом технического долга с сервисами Cloud.ru

Вайб-кодинг с минимумом технического долга — согласитесь, звучит дерзко? Но на самом деле, если подойди к вопросу грамотно, то это может стать реальность.

На воркшопе разберем практики чистого и безопасного вайб-кодинга, рассмотрим, как с помощью сервиса Evolution Foundation Models подключить кодовые LLM-модели к VS Code IDE и научим ее генерировать фичи в вашем стиле без пропуска уязвимостей. Затем настроим IDE так, чтобы она творила магию и ни разу не сделала rm -rf, а еще — рассмотрим сервис мониторинга качества кода и безопасности SonarQube, чтобы ловить проблемы раньше, чем они доберутся до продакшна.

• 👨‍🔧 Плейлист как на ладони: real-time аналитика для музыкального стриминга без боли и магии

New Music Friday — это традиция выпуска новых музыкальных релизов в пятницу, когда лейблы и артисты синхронно публикуют свежие треки, что вызывает «пиковый» всплеск внимания у слушателей в первые часы и дни их выхода. На воркшопе мы изучим это явление, используя потоковую обработку и мгновенный доступ к данным, и покажем, как в этом помогают сервисы Cloud.ru Evolution:

- Managed Kafka — принимать события прослушиваний в реальном времен;.

- Managed Spark — читать сообщения из Kafka, обогащать их и сохранять в объектное хранилище в формате Iceberg (мгновенный доступ к историческим и текущим срезам);

- Managed Trino — мгновенно объединять потоковые данные из Iceberg с static‑данными о треках и пользователях, хранящиеся в Managed Postgres;

- Managed Metastore — поддерживать схемы Iceberg и обеспечивать согласованность;

- Managed BI — визуализировать результаты на дашбордах в real-time.

• 👩‍🔧 Создание мультиагентной системы

Приглашаем всех, кто хочет попробовать:

- фреймворк Smolagents от Hugging Face,

- создавать кастомные инструменты для агентов,

- делать интеграцию с внешними API (Serper.dev и другими),

- координировать работу между несколькими специализированными агентами.

• 👨‍🔧 Маркетплейсы глазами вендора

Предлагаем взглянуть на весь путь партнера, который хочет вывести свой продукт или решение на Маркетплейс, на примере компании Русбитех-Астра. Вы узнайте про основные потребности и сложности, с которыми сталкиваются партнеры в процессе выхода на маркетплейсы, а еще — совместно создадите идеальную витрину.

Почувствуйте себя менеджером продукта, присоединяйтесь к дискуссии и делитесь идеями, чтобы мы могли сделать Маркетплейс Cloud.ru еще удобнее и полезнее для действующих и будущих партнеров и клиентов.

• 👩‍🔧 Быстрая разработка в GigaIDE Cloud

Что, еще одна IDE? Зачем нам еще одна IDE? Вопрос хороший, ведь ответ — возможно, низачем. На самом деле нам нужна среда, которая позволит решать больше актуальных проблем с помощью уже существующих инструментов (например, Visual Studio Code или Jupyter Notebook).

Репозиторий из GitHub или GitVerse так долго открывается, что уже легко забыть, зачем мы это делали. Чтобы изменить три строчки в ноутбуке, нужно разворачивать Jupyter Lab, а для того, чтобы воспользоваться AI-ассистентом, нужно ставить плагины, покупать учетки и настраивать прокси. Знакомо?

Чтобы закрыть этот гэп, Microsoft придумала GitHub CodeSpaces — онлайн-среду, встроенную в GitHub. А в России есть отличная альтернатива — GitVerse, которая позволит в пару кликов запустить полноценную среду разработки, уже настроенную на нужный репозиторий, с бесплатным AI-ассистентом и набором полезных плагинов. А на воркшопе мы как раз попробуем все это сделать и оценим, какие задачи это поможет упростить.

📅 Когда: 3 сентября

📍 Где: в Лофт-пространстве Goelro в Москве + трек «AI&ML» онлайн

Зарегистрироваться 👈

Снятся ли управляемым СУБД быстрые NVME-oF RDMA-диски — тема доклада на IT-конференции GoCloud Tech 2025 ☁️

Мы задались вопросом улучшения производительности управляемой PostgreSQL и хотим рассказать, что из этого получилось. По ходу доклада обсудим:

- почему IO Latency имеет значение, а bandwidth нет;

- причем тут подключаемые диски NVME-oF;

- почему offloading — не панацея, а RDMA полезен лишь в малых дозах;

- как провести full-scale эксперименты в целой AZ и остаться вменяемым человеком.

Трек: Data&Analytics — обсудим тренды и возможности облачных сервисов, методы их интеграции с AI-агентами, а также инструменты для быстрого и эффективного решения задач хранения, обработки и анализа данных. 

📅 Когда: 3 сентября в 13:40 мск

👉 Зарегистрироваться

Что еще интересного будет на GoCloud Tech, смотрите в программе конференции.

Заставь дурака богу молиться…

Доброго. Чёрт дернул меня сменить пароль на ящике mail.ru и если бы я знал чем это может обернуться, но обо всём по-порядку. К слову почта создана мной аж в нулевых и ей сейчас 20+ лет, с момента создания.

Итак 22/08, примерно в 10.00 мск. я решил сменить пароль в своём ящике mail.ru. Сказано - сделано, но что-то пошло не так. То ли не тот пароль, то ли случайно нажал клавишу и сохранил, например пароль + ещё какой символ случайно, но не суть. А суть в том, что выйдя из ящика, я в него уже попасть не смог.

Поначалу недооценил масштаб проблемы, думая у меня в аккаунте давно привязан номер тел.а и если что, восстановим через смс (нет, см. далее). Итак, нажимаю заветную кнопку восстановить пароль и мне не предлагается использовать тел. для восстановления, а перекидывает на стандартную форму восстановления, где нужно указать 100500 данных, а-ля когда создал ящик, какой был первый пароль (ага, пароль 20 летней давности помню, "конечно"). В числе прочих был вопрос какой был последний пароль, но вот его не то что вспоминаю, а точно знаю - пароль достаточно сложный, длинный со спец.символами. Долго ли коротко ли, всё заполнил - отправляю и... фиг вам, цитата: " Мы подробно изучили всю информацию, которую вы прислали, и пришли к выводу, что этих данных недостаточно для восстановления доступа."

Теперь техничка.

1.      В почте привязан тел. с лохматых времён. Тел исправен и есть доступ.

2.      В почтовом аккаунте привязан личный домен для сервиса почта для домена.

3.      У меня внешний статический ip адрес, доступ к почте почти всегда только через почтовые приложения с пк (на смартфоне, с его динамическим ip этой почты нет)

4.      У меня есть 100% предыдущий пароль, сохранён электронно, т.е. человеческого фактора в ошибке набора тут нет. Copy-paste. С этим предыдущим паролем входил минимум неск.последних лет.

5.      Интересный нюанс. В почте созданы пароли приложений для почтовых программ и несмотря на потерю доступа к аккаунту - почтовые приложения без проблем продолжают работать. Я могу получать, отправлять почту без никаких ограничений!

6.      Я предоставил им скриншоты из почтовых программ за много месяцев, начиная с текущего, со списком принятых и отправленных писем.

7.      Я даже в процессе восстановления авторизовывался на госуслугах (есть у них такая опция).

Теперь, по пунктам, что в итоге. Любой технический специалист, например по пп.1-2 (напомню тел. и домен привязаны к почте давно) скажет, что смс + доказательство владения доменом, например изменения ТХТ, DNS записей домена у регистратора - является необходимым и достаточным для подтверждения личности человека + в моём случае ip адреса, кстати я им отправляю письма в поддержку с того же ip адреса, что и содержится в логе почте за последние несколько лет как минимум + п.5 - я даже отправлял им письма в поддержку с этого же проблемного адреса (!)вдумайтесь в это все.

Я не знаю как с ними ещё бороться!

Ну и да, золотые слова, сказанные мне кем-то когда-то:

"Запомни, твоя почта на не твоём домене - не твоя почта!"

ps Оцените чудо ответ тп mailru на мой вопрос - у меня давно привязан к аккаунту номер телефона, почему я не могу восстановить доступ по номеру, при условии, что у них же в справке есть такой вариант восстановления?

UPD.

Интересный момент. Предыд. пароль был сохранён электронно. Веб доступ в те редкие случаи, когда это было необходимо, осуществлялся последние несколько лет именно с этим паролем путём copy-paste. Т.е. человеческого фактора с ошибкой в пароле быть не может.

Собственно в числе прочих, при восстановлении был неоднократно задан вопрос - укажите последний пароль к ящику до его смены. Я его неоднократно им отправлял. В ответ я был просто обескуражен - они ответили пароль НЕ верный и более того, предоставленный мной пароль НИКОГДА не был в этом аккаунте. Вот тут я прям даже не знаю что ответить.

Ах да, причём здесь заголовок? Я обеими руками за безопасность, но когда не пускают своих - это уже не безопасность, а...

Тренды в мире данных: куда стремятся СУБД и как их сравнивать в новых реалиях — тема доклада на IT-конференции GoCloud Tech 2025 ☁️

Приглашаем обсудить современные тенденции в мире данных. На встрече поговорим о стремлении СУБД к «облачности» и HTAP-универсальности, а еще разберем нововведения в бенчмарках — почему классических решений недостаточно и что с этим делать.

Трек: Data&Analytics — обсудим тренды и возможности облачных сервисов, методы их интеграции с AI-агентами, а также инструменты для быстрого и эффективного решения задач хранения, обработки и анализа данных.

📅 Когда: 3 сентября в 15:20 мск

👉 Зарегистрироваться

Что еще интересного будет на GoCloud Tech, смотрите в программе конференции.

Знакомьтесь с программой, выбирайте доклады и регистрируйтесь на GoCloud Tech 2025 🤖

Делимся программой IT-конференции про AI, облака и работу с данными — GoCloud Tech 2025.

10:00 – 11:00 Регистрация

11:00 – 11:30 Открытие конференции

12:00 – 17:00 Доклады. Четыре трека на выбор:

• AI&ML — про AI-продукты нашей разработки и работу с GenAI. Узнаете, как устроены RAG-системы и мультиагентные ассистенты, а также, как они уже применяются в работе и как начать их использовать

• Cloud Infrastructure — про построение устойчивой, масштабируемой и безопасной облачной инфраструктуры: нюансы сетевой архитектуры, проектирование IaaS‑кластеров на K8s, возможности балансировщиков и производительность SDN.

• Data&Analytics — про современные подходы к Big Data и аналитике: тренды, возможности облачных сервисов, интеграцию с AI-агентами и инструменты для быстрого и эффективного решения задач хранения, обработки и анализа.

• Dev Platform Services — в рамках трека разберем детали и заглянем «под капот» решений, чтобы затем облегчить повседневную рутину разработки и настройки сервисов, а еще — оптимизировать процессы в инженерных командах.

17:15 – 21:00 Afterparty и нетворкинг

Также вас ждут технические воркшопы, кастомный мерч, демо и интерактивные зоны новых AI-сервисов и сервисов платформы собственной разработки Cloud․ru Evolution.

📆 Когда: 3 сентября

📍 Где: приходите в Лофт-пространство Goelro в Москве или подключайтесь к онлайн-трансляции трека «AI&ML» в VK и на Twitch. Основная программа начнется в 11:00.

Зарегистрироваться 👈

И читайте про наши прошлые конференции:

• Бороздим облака будущего: впечатления айтишника о конференции GoCloud

• «Все говорили, что зашло» — как прошла ламповая IT-конференция для инженеров и технарей — GoCloud Tech

• Темы, доклады, две конфы: история трека для инженеров и исследователей «Под капотом»

• Как прошла GoCloud 2025 — масштабная IT-конференция про облака и AI. Делимся итогами

Подключайтесь к вебинару про резервное копирование и автоматизацию бэкапов

В 12:00 (мск) в прямом эфире расскажем, как настроить резервное копирование виртуальных машин и облаков, а также рассмотрим практический пример интеграции рассмотрим интеграции S3-хранилища Selectel с системой Хайстекс Акура.

Программа вебинара

— Краткий обзор облака и S3-хранилища Selectel.

— Возможности интеграции хранилища с другими сервисами: зачем нужно и как это сделать.

— Демо интеграции S3 со сторонними партнерскими бэкап-сервисами на примере Хайстекс.

Рекомендуем присоединиться системным администраторам, DevOps-инженерам и руководителям технических команд.

Смотреть трансляцию

📱на YouTube

📱в VK

Data Warehouse: сравниваем подходы к хранению данных

На примере Data Warehouse рассказываем о подходах к хранению корпоративных данных и сравниваем альтернативные решения. Data Warehouse (DWH) — это централизованное корпоративное хранилище данных, в котором собирается, обрабатывается и хранится информация из разных источников. Его цель — предоставить единую и структурированную базу данных для анализа и принятия решений. В основе DWH лежит концепция предметно-ориентированной базы данных.

Чем Data Warehouse отличается от баз данных, Data Lake и Data Mart:

• базы данных хорошо справляются с транзакциями, заточены под быстрые действия и работают с текущими, постоянно изменяющимися данными;

• Data Lake — это хранилище, куда можно складывать данные «как есть»: структурированные, полуструктурированные и неструктурированные. Например, логи, изображения, JSON-файлы и многое другое;

• Data Warehouse (DWH) — это усиленный уровень, предназначенный для аналитики. Данные сюда попадают после подготовки: проходят через процессы очистки, нормализации, трансформации и объединения;

• Data Mart — «мини-DWH» для конкретной задачи. Этот инструмент обычно проще и меньше по объему, но может обновляться чаще и работать с более узкой, оперативной аналитикой.

На старте проектирования архитектуры важно разобраться в разнице между разными типами хранилищ — у каждого своя специфика и уровень зрелости. Подробнее о Data Warehouse и подходах к построению DWH читайте в базе знаний Облака Рег.ру.

Вывели S3 из беты и выпустили объекты в Облаке Рег.ру

В облачной платформе Рег.ру важный апдейт — объектное хранилище S3 вывели из бета-тестирования, и теперь облачный сервис готов к полноценному использованию. С момента запуска S3 в декабре 2024 года мы значительно расширили функциональность и увеличили объем хранения. За это время услугой уже воспользовалось более 1100 пользователей и разместили 130 ТБ данных.

Вот что удалось нам сделать за это время — краткий обзор ключевых релизов и фич с момента запуска:

• добавили управление ключами доступа для создания различных профилей доступа к бакетам; 

• подключили управление политиками, чтобы настраивать различные уровни прав доступа по ключам;

• внедрили объекты в личном кабинете, и теперь появилась возможность просматривать содержимое бакета в веб-интерфейсе;

• расширили пул задач для улучшения жизненного цикла услуги; 

• масштабировали и увеличили объем хранилища на +33%.

Подробнее о том, как мы пронесли S3 от запуска до выхода из беты, читайте в статье. 

Напомним, что объектное хранилище S3 в Облаке Рег.ру использует стандартный тип хранения с репликацией по технологии Erasure Coding (кодирование с восстановлением). Тарификация производится только за фактически используемый объем данных, без дополнительных затрат за входящий/исходящий трафик и количество запросов. Подключить S3 можно в личном кабинете на сайте Рег.ру.

Выпущена новая версия СУБД Picodata — Picodata 25.3 

Компания Picodata (входит в Группу Arenadata) выпустила новую версию СУБД Picodata — Picodata 25.3. Обновление включает расширенные возможности SQL, механизм автоматического обновления схемы данных, а также повышение стабильности кластера.

Улучшение обратной совместимости

В Picodata 25.3 реализовано автоматическое обновление схемы данных при переходе инстансов на новый релиз Picodata. Этот механизм учитывает сделанные изменения в системных таблицах и сохраняет обратную совместимость при обновлении на следующий релиз СУБД: при переводе кластера на новую версию Picodata необходимые DDL/DML-команды выполнятся без вмешательства администратора, а требуемые в новой схеме внутренние функции также будут созданы автоматически.

Новые возможности SQL

В релиз добавлены новые возможности языка SQL в Picodata, в частности:

• поддержка NULLS FIRST/LAST при сортировке результатов запроса (ORDER BY);

• обработка конфликтов при вставке данных в глобальные таблицы (INSERT INTO … ON CONFLICT DO FAIL/REPLACE/NOTHING);

• новая встроенная оконная функция LAST_VALUE();

• оператор % для определения остатка деления по модулю для целых чисел;

• возможность определения лидера raft-группы через функции pico_raft_leader_id() и pico_raft_leader_uuid();

• возможность определения версии текущего инстанса с помощью функции version();

• изменение, связанное с совместимостью: вместо скалярной функции instance_uuid (которая теперь объявлена устаревшей), рекомендуется использовать новую функцию pico_instance_uuid.

Улучшенная совместимость с PostgreSQL

Picodata теперь поддерживает безопасное соединение при обращении к внешнему LDAP-серверу. При подключении через протокол PostgreSQL (например, с помощью клиента psql) с методом аутентификации LDAP можно задействовать TLS-шифрование (при условии, что оно включено на LDAP-сервере). На стороне Picodata для этого потребуется установить значения у трёх переменных окружения. Например:

export TT_LDAP_URL="ldap://127.0.0.1:1389"
export TT_LDAP_DN_FMT='cn=$USER,ou=users,dc=example,dc=org'
export TT_LDAP_ENABLE_TLS=true

Изменение в конфигурации

Добавлен новый параметр instance.pg.advertise — публичный адрес сервера для подключения по протоколу PostgreSQL. По умолчанию, его значение соответствует значению instance.pg.listen. Этот параметр пригодится в ситуации, когда снаружи инстанс доступен по адресу, отличающемуся от адреса во внутренней сети.

Улучшенный веб-интерфейс

Команда Picodata продолжает развивать компонент webui для Picodata. В версии Picodata 25.3 веб-интерфейс не просто выглядит лучше, он также стал удобнее и информативнее:

• на панели Cluster ID отображается больше полезной информации, включая список включённых плагинов;

• в области просмотра сведений об инстансе теперь присутствует адрес подключения по протоколу PostgreSQL.

Механизм плагинов

При подключении плагина к кластеру Picodata теперь допускается расхождение минорных версий плагина и инстанса (например, плагин, собранный для версии 25.3.1, будет работать в Picodata 25.3.2).

Полный список нововведений и список исправленных ошибок доступны в документе CHANGELOG.

Роль Picodata для Ansible

Выпущена новая версия роли Picodata для Ansible, которая совместима с Picodata 25.3. Изменения в роли:

• при сборке информации при сбое (тег crash_dump) можно исключить сборку snap- и xlog-файлов;

• добавлена возможность выполнять lua-команды на инстансах кластера (тег command);

• исправлена работа с несколькими плагинами в инвентаризационном файле и ряд прочих ошибок.

Для установки Picodata 25.3 следуйте инструкциям на сайте. Готовые пакеты доступны для следующих дистрибутивов Linux:

• Astra 1.8

• Debian 12 (bookworm)

• RHEL/Rocky 9

• Fedora 41–42

Инструкции и руководства по установке, использованию и администрированию Picodata размещены на портале документации Picodata.

Три новых облачных сервиса теперь в общем доступе ☁️☁️☁️

Теперь для них доступны все конфигурации, полноценная поддержка, а также соблюдение тарифов и SLA.

Вы уже можете использовать:

• Evolution Managed Metastore — для хранения метаданных.

• Evolution Managed Trino — массивно-параллельный аналитический SQL-движок для обработки больших объемов данных из разных источников.

• Evolution Managed Redis — для создания и управления кластерами Redis.

👉 А если хотите узнать больше о сервисах для работы с данными, спросите нашего AI-помощника в личном кабинете. Он расскажет обо всех нюансах и подберет подходящий вам вариант.

А что б не вспомнить такой носитель данных, как перфолента?

Вот смотрите: допустим, 5 мкм лавсан, потом 1 мкм алюминий и снова 5 мкм лавсан. УФ-лазер с механическим приводом перфорирует поперёк ленты дорожки с шагом, скажем, тот же 1 мкм (УФ может и лучше, но пока не будем пальцы гнуть). Поскольку механика позиционирует луч с точностью до «куда-то туда» — применяем старые добрые старт- и стоп-биты.

На ленте шириной в 5 мм мы легко пробьём 4096 бит, старты, стопы и ещё останется запас с краёв. А чтобы прочитать её значительно быстрее, чем мы это макраме вымучивали — берём линейную ПЗС-матрицу от сканера (разрешение 1×16384 или примерно того порядка), сканируем всю ширину ленты разом, ну и (ваш Кэп) просто её протягиваем. Перекосы головки чтения относительно головки записи решаются кольцевым буфером — там хранится несколько последних строчек и нет никаких проблем найти там реальное положение дорожек, я такие синхронизации за пучок пятачок делал, задача детская.

В результате наши 4 килобита на микрон дают 512 терабайт в габаритах кассеты C-90, минус Рид-Соломон. Если я, конечно, по причине крайней усталости в нулях не запутался. Вот такая вот перфоленточка…

В Облаке Рег.ру добавили управление политиками доступа в S3

В облачной платформе Рег.ру продолжаем развивать возможности объектного хранилища S3. Подготовили новый апдейт — теперь пользователи могут управлять политиками доступа к бакетам. Обновление особенно пригодится для работы с высоконагруженными задачами и над проектами, в которых важны усиленные требования к безопасности.

Ключевые обновления в S3:

• индивидуальные политики для отдельных пользователей и сервисов;

• ролевое управление доступом (с разделением по методам GET/PUT/POST/DELETE);

• шаблоны для быстрой настройки;

• 20+ параметров для тонкой конфигурации.

Новый пакет обновлений в S3 логично дополняет возможность управления ключами доступа, подключенную еще в мае. Напомним, что тогда при работе с S3 пользователям облака стали доступны новые действия: создание, генерация, удаление. 

Попробовать обновленные фичи в S3 уже можно на сайте.

SpaceWeb запустил сервис объектного хранилища S3

В SpaceWeb расширили линейку облачных сервисов и подключили объектное хранилище S3. С новым сервисом можно работать напрямую из кода, CMS или через API. S3 не только хранит данные, но и снижает нагрузку на серверы, сохраняя контроль над данными, а также предлагает:

• возможность шифрования;

• гибкие механизмы управления доступом как на уровне бакетов, так и объектов;

• безопасное хранение информации, независимо от объема данных.

Объектное хранилище S3 поможет, прежде всего, веб-разработчикам, для которых важны вопросы масштабирования и эффективного управления данными без использования сторонней инфраструктуры. Протестировать и заказать новый сервис можно на сайте.

Опыт сети гипермаркетов Hoff: перенести резервные копии данных в облако и оптимизировать затраты 🛒

Что за компания

Hoff — Home of furnishing — российская сеть гипермаркетов мебели и товаров для дома. 60 магазинов в разных форматах работают в крупных городах по всей России.

Какая была задача

У Hoff есть интернет-магазин и приложение, которые размещены в основном дата-центре. Компании были нужны резервные копии сайта и приложения на случай, если в работе локальной инфраструктуры произойдет сбой.

Основные требования Hoff к провайдеру и облачным ресурсам: отказоустойчивость, скорость реакции на запросы, круглосуточная связь с поддержкой, качество ответов и компетентность сотрудников.

Как ее решили

Вместо покупки дополнительных серверов и затрат на их содержание Hoff решила разместить копии в облаке. Так компания не только оптимизировала расходы на инфраструктуру, но и обеспечила непрерывную работу бизнеса.

Cloud.ru построила для Hoff инфраструктуру в Облаке VMware, подключила интернет-канал, настроила два выделенных канала связи, коммутацию и маршрутизацию сети, а еще предоставила доступ к API, чтобы автоматизировать процесс переключения между площадками.

Что в результате

В облаке развернута онлайн-реплика боевой площадки — она меньше по количеству вычислительных мощностей, но идентичная по данным и функционалу. При необходимости реплика мгновенно масштабируется по вычислительным мощностям в 10 раз (до 800 CPU, 2 TB RAM, 27 TB SSD), чтобы выдержать весь пользовательский трафик, который будет переключен с вышедшей из строя основной площадки.

Читать кейс полностью 💼

Можно ли самостоятельно расширить дисковое пространство при этом не выключая физический сервер? 💽 

Да, если речь о сервисе Evolution Bare Metal. Приходите на вебинар, и вы узнаете:

• как работает Evolution Bare Metal и для каких задач он подходит;

• примеры критических сценариев нехватки дискового пространства;

• особенности архитектуры сервиса: почему наше решение отказоустойчивое;

• подтвержденные метрики: скорость работы и эффективность.

Также проведем демо, на котором покажем, как за минуту расширить дисковое пространство в Evolution Bare Metal.

Будет полезно разработчикам и IT-менеджерам, дата-инженерам и аналитикам данных, а также для всем, кто только задумывается о переезде в облако и хочет узнать больше про его возможности.

📆 Когда: 3 июля в 11:00 мск

📍 Где: онлайн

Зарегистрироваться 👈

ITFB Group совместно с Nexign, Sber Tech и Arenadata приглашают на вебинар, посвященный теме Датацентричность как стратегический приоритет: какие ИТ-инструменты помогут бизнесу принимать обоснованные решения?

Когда: 10 июля, 11:00

Где: онлайн

В рамках вебинара вас ждет уникальный формат:

• Экспертные доклады

• Живой круглый стол

Что обсудим:

• Лучшие российские платформы для управления данными (ETL, BI, BigData)

• Практические кейсы внедрения от Nexign, Arenadata и СберТех

• Как измерить ROI от дата-стратегии и ускорить цифровую трансформацию

Спикеры:

• Дмитрий Лемеш (Nexign) – интеграция данных для бизнеса

• Антон Близгарёв (Arenadata) – BigData без сложностей

• Владимир Федосеев (СберТех) – аналитика на автомате Модератор: Николай Чекин (ITFB Group)

Для кого?

→ ИТ-директора и директора по данным
→ Руководители цифровой трансформации
→ Специалисты по работе с данными (ETL, DWH, BI)

Регистрируйтесь сейчас!

Зарегистрироваться

В Облаке Рег.ру добавили образ NextCloud + OnlyOffice

Запустили удобное корпоративное хранилище для совместной работы с документами в Облаке Рег.ру. Набор офисных приложений OnlyOffice теперь также доступен в облаке — добавили предустановленный образ NextCloud + OnlyOffice. Обновленное облачное решение предлагает универсальную экосистему для совместной работы: 

• NextCloud подходит для хранения любых документов и файлов;

• OnlyOffice позволяет редактировать документы и закрывает большинство стандартных задач пользователей.

Для заказа доступны облачные серверы во всех локациях. Минимальная конфигурация — 4 vCPU, 16 ГБ RAM, 40 ГБ диска. 

Новый образ NextCloud 31 + OnlyOffice 5 уже можно тестировать на нашем сайте.

Как компания «Литрес» построила облачное аналитическое хранилище на базе КХД Cloud.ru и сократила время обработки и анализа данных 📚

Что за компания

Компания «Литрес», основанная в 2005 году, сегодня является лидером на рынке лицензионных электронных и аудиокниг в России и странах СНГ. Ежемесячная аудитория сервиса Литрес составляет 11 млн человек, которые скачивают более 2,7 млн книг в месяц. 

Какая была задача

«Литрес» подошла к этапу, когда мощностей для быстрого расчета витрин для аналитики и отчетности перестало хватать, поскольку был накоплен значительный объем данных — около 6 ТБ. Компания решила разработать собственное хранилище — создать надежную и масштабируемую платформу для хранения и обработки больших объемов данных, что позволило бы оптимизировать бизнес-процессы и повысить эффективность работы.

Как ее решили

Изначально у нас было два варианта, как можно сделать большую аналитическую базу. Первый и самый очевидный — запустить Greenplum. Но для этого нужно было выделять серверы, оптимизировать решение, нанимать администраторов — это сложно и долго. В качестве второго варианта можно было закупить готовое решение у подрядчика, однако выяснилось, что поддержка такого решения при приемлемом уровне производительности стоит космических денег. В итоге в Cloud.ru нам предложили альтернативу — КХД — облачное корпоративное хранилище, которое дает возможность быстро обрабатывать огромные массивы данных из разных систем хранения и источников. Решение нас заинтересовало.

Кирилл Шевченко

Руководитель отдела разработки информационно-аналитических систем группы компаний «Литрес»

Чтобы понять, какое решение выгоднее и эффективнее, «Литрес» провели исследование и сравнили работу КХД, ClickHouse в облаке и локального ClickHouse компании. Результат — КХД лучше всего справился с поставленными задачами (например, обработка больших запросов на таблицах с JOIN заняла всего 20 минут).

Что в результате

Команда «Литрес» создала собственное хранилище на базе КХД Cloud.ru и в результате сократила время на обработку и анализ данных:

• обновление всего хранилища занимает 40 минут вместо 3 часов, 

• среднее время выполнения процедур — 2 минуты вместо часа,

• на обработку простого запроса при обновлении витрин хватает 5 секунд.

• раньше на создание одной витрины требовалось несколько дней, а теперь можно создать 3 витрины в день.

Читать кейс полностью 💼

Как защитить данные без полных бэкапов: разбираем косвенную адресацию в СХД

Мгновенный снимок (снапшот) — это компактная с точки зрения дискового пространства копия данных, созданная в определенный момент времени. Снапшот способен моментально зафиксировать состояние тома, в отличие от резервной копии, создание которой при большом объеме данных может занять длительное время и требовать остановки записи для сохранения консистентности. Снапшот же не создает независимую копию данных, а лишь обеспечивает возможность обратиться к данным тома на момент создания снапшота.

В TATLIN.UNIFIED снапшоты создаются путем копирования карты блоков данных оригинального тома. Сами данные не копируются, поэтому снапшоты создаются очень быстро и не занимают дополнительного места в области данных.

Со временем в родительском томе заполняются новые блоки данных. Некоторые данные у родительского тома и снапшота начинают различаться, но данные, на которые уже ссылается снапшот, не перезаписываются и не освобождаются. Оригинальный физический блок данных считается занятым до тех пор, пока снапшот, который на него ссылается, не будет удален. После удаления снапшота блоки данных, которые он не разделял с другими ресурсами, освобождаются и могут быть использованы для последующих операций записи. Такой вариант реализации снапшотов называют Redirect-On-Write (RoW).

В своей статье Алексей Шушарин, главный эксперт по разработке ПО в департаменте СХД YADRO, подробно рассказал о снапшотах, клонах и всех процессах, связанных с косвенной адресацией. А также о том, как грамотно вписать эту функциональность в стек хранилища.

Работайте с большими данными в Evolution Data Platform 📊

❓ Что за инструмент? Evolution Data Platform — платформа для обработки больших данных, которая включает в себя несколько PaaS-сервисов. Среди них:

1. Evolution Managed Trino — массивно-параллельный аналитический SQL-движок Trino с использованием распределенных запросов.

2. Evolution Managed Metastore — сервис для хранения метаданных таблиц из разных источников. Metastore сообщает клиентским приложениям, где хранятся данные, как к ним обращаться и как их интерпретировать.

3. Evolution Managed Spark — сервис для развертывания кластерного вычислительного решения на основе Apache Spark для распределенной обработки данных.

4. Evolution Managed ArenadataDB — аналитическая база данных для хранения большого объема структурированных и полуструктурированных данных.

🖥 Особенности и преимущества. Вы можете выбрать любой сервис, который подходит под определенные задачи, или же комбинировать их. Из плюсов конкретных сервисов:

1. Evolution Managed Trino способен работать с разными источниками в одном SQL-запросе, есть несколько конфигураций Trino. А еще можно создать приватный инстанс, недоступный из интернета.

2. Evolution Managed Metastore прямо из интерфейса можно подключить к другим сервисам платформы Cloud.ru Evolution. Создание и обновление инстансов происходит за минуты, а данные для подключения к S3 — в безопасности, так как хранятся в сервисе Secret Management.

3. Evolution Managed Spark позволяет отслеживать статусы выполнения задач, обрабатывать данные из Object Storage, а также из большинства доступных БД.

4. Evolution Managed ArenadataDB дает возможность развертывать инстансы без обслуживания инфраструктуры, а кластеры Greenplum разворачиваются автоматически. Доступны конфигурации от 3 до 50 ТБ, что позволяет адаптировать систему под разные задачи.

👨‍💻 Кому будет полезно. PaaS-сервисы платформы Evolution Data Platform найдут применение во всех областях, где работают с большими объемами данных: финансовых учреждениях, ретейле, логистике, крупном и среднем бизнесе — и не только. Также сервисы будут полезны в машинном обучении и разработке. 

✍️ Где, как и для чего использовать. Для обработки структурированных, слабоструктурированных и неструктурированных данных, SQL-аналитики, ML, хранения метаданных таблиц, отправки сложных запросов, проверки гипотез, A/B-тестирований, построения приложений данных, интерактивного специального анализа данных.

В июне Evolution Managed Trino и Evolution Managed Metastore выйдут в коммерческий доступ, а еще станут доступны для тестирования сервисы Evolution Managed Airflow и Evolution Managed BI. Смотрите доклад с конференции GoCloud 2025, чтобы больше узнать о PaaS-сервисах для работы с данными 🌐

В Облаке Рег.ру запустили услугу резервного копирования

Добавили в облачной платформе возможность автоматизированного создания, хранения и восстановления резервных копий. Этот релиз — первый шаг по запуску полноценного Backup as a Service в Облаке Рег.ру.

Что внутри нового сервиса:

• настройка расписания бэкапов и снапшотов;

• удаленное хранение бэкапа;

• восстановление сервера до нужного состояния, если возникнет такая необходимость;

• создание снапшотов. 

Теперь пользователи могут сами настраивать политику хранения бэкапа — от ежемесячной до ежедневной. На случай локальных сбоев предусмотрели защиту от потери данных — консистентные резервные копии хранятся в удаленном объектном хранилище S3. Отсюда и повышенная катастрофоустойчивость инфраструктуры пользователей в целом. Тарификация происходит по модели pay-as-you-go за фактический объем хранения.

Следите за нашими новыми обновлениями!

Храните и обрабатывайте данные в аналитической базе данных Evolution Managed ArenadataDB 🗄️

❓ Что за сервис? Evolution Managed ArenadataDB — аналитическая БД, которая поможет с хранением и обработкой структурированных и полуструктурированных данных. ArenadataDB развернута на базе open source СУБД Greenplum, а в основе лежит архитектура MPP. Это позволяет быстро и эффективно работать с большим объемом данных, в том числе в критически важных системах.

🖥 Особенности и преимущества. С Evolution Managed ArenadataDB можно развертывать инстансы без привлечения инженеров и обслуживания инфраструктуры, кластеры Greenplum разворачиваются автоматически. Конфигурации от 3 до 50 ТБ позволяют адаптировать систему под разные задачи, а высокая доступность (SLA 99,7%) гарантирует надежную работу.

ADB способна обрабатывать сложные SQL-запросы. Сервис предлагает надежные инструменты для резервного копирования и восстановления данных, включая полное и дифференциальное резервное копирование, а также восстановление на момент времени. Есть возможность создать приватный инстанс, недоступный из интернета.

👨‍💻 Кому будет полезно. Финансовым и страховым организациям, ретейлу, логистике, бизнесу и любым другим отраслям, где важна работа с большими объемами данных. Также сервис будет полезен в научно-исследовательских учреждениях и компаниях, занимающихся разработкой искусственного интеллекта, машинным обучением.

✍️ Где, как и для чего использовать. Evolution Managed ArenadataDB подойдет, чтобы создавать корпоративные хранилища данных для бизнес-аналитики и отчетности. Сервис позволяет анализировать и прогнозировать действия клиентов, сегментировать аудиторию, персонализировать акции. Еще можно хранить и обрабатывать большие объемы данных для работы с AI и ML, быстро выполнять сложные аналитические запросы.

Хотите больше узнать о сервисе? Заглядывайте в документацию, а еще смотрите дискуссию об аналитике данных в облаке с конференции GoCloud 2025.

Разведка по 2GIS: как отзывы выдают ваши секреты

Перед тем как пойти в новое место, многие лезут в отзывы. Казалось бы — обычное дело. Но что, если я скажу, что ваш безобидный отзыв на шаурму у метро может раскрыть о вас гораздо больше, чем вы думаете?

Сегодня разберём, почему стоит дважды подумать, прежде чем писать отзывы, если вам важна приватность. И заодно — как эти отзывы могут использовать злоумышленники.

Причем здесь 2GIS?
В приложении у каждого авторизованного пользователя есть профиль, на который можно подписаться и следить за всеми отзывами. Многие думают: «Ну и что? Я же под ником "Аноним Анонимов"!»

Но вот в чём подвох:
➜ Если кто-то добавит ваш номер телефона в контакты, 2GIS подсветит ваш профиль — со всеми отзывами, фотками и активностью.

Что можно узнать из ваших отзывов?
1️⃣ Интересы — кафе, бары, магазины, кинотеатры… Всё, что вы оцениваете, рисует ваш цифровой портрет.
2️⃣ Место жительства — некоторые пишут отзывы на свои ЖК, ТЦ рядом с домом и даже на подъезды.
3️⃣ Круг общения — если вы и ваши друзья ходите в одни и те же места и оставляете отзывы, связь легко отследить.
4️⃣ Фотографии — машина, питомец, случайно попавшие в кадр документы… Мелочи, которые могут стоить дорого.

Вывод

Интернет ничего не забывает. Даже невинный отзыв может стать кусочком пазла, который сложит вашу жизнь перед злоумышленником.

Больше контента в моем авторском telegram-канале: https://t.me/ru_vm (BritLab)

Хранилище для данных или катастрофа на миллион строк? Видео-гайд по оптимизации запросов в Greenplum

Немного про нашу data-реальность в Сравни: мы используем Greenplum как аналитическую платформу для обработки терабайтов данных — пользовательских, продуктовых и маркетинговых. Это не просто хранилище, но один из основополагающих инструментов для команды DWH и аналитиков. 

О применении Greenplum на практике наш дата-инженер Владимир Шустиков выпустил трилогию обучающих видео. С их помощью можно ознакомиться с азами самой БД и узнать, как дата-инженеры Сравни переписывают запросы для более высокой эффективности.

Если интересуетесь в целом Greenplum и вопросом оптимизации запросов в частности — вот все три выпуска гайда!

1. Greenplum. Что такое и как работает?

Видео о сути и архитектуре GP, основных понятиях и возможностях (реплицирование сегментов, дистрибуция, партицирование, индексы, загрузка и выгрузка данных, оптимизация запросов).

2. Простая оптимизация запросов в GreenPlum (+ кейсы)

Автор отвечает на вопрос, как именно стоит оптимизировать запросы в GP и на что обращать внимание.

3. Кейс оптимизации запроса в GreenPlum 

Автор разбирает реальный кейс из практики Сравни, в котором применяются подходы и техники из видео №2.

Предыдущий видео-цикл Владимира, о самых распространенных вопросах на собеседованиях по SQL (с ответами!), доступен в этом посте.

Также ранее мы провели курс лекций в Бауманке: рассказали о техниках оптимизации аналитических SQL-запросов. Видео — здесь.

✅ТГ-канал инженерного сообщества Sravni Tech

Как добиться надежности, гибкости и экономии в условиях растущих объемов данных? Расскажем на вебинаре.

📆 Когда: 29 мая в 11:00 мск

📍 Где: онлайн

В условиях стремительного роста объема информации возникают требования к использованию новых подходов к управлению и защите данных. Но облачные технологии меняют правила игры. На вебинаре вы узнаете, как перенести операционные расходы по управлению данными на облачных провайдеров, оптимизируя процессы резервного копирования и аварийного восстановления. 

В программе:

• что такое резервное копирование и аварийное восстановление: отличия и необходимость в разных сценариях;

• важность резервного копирования и аварийного восстановления в рамках концепции непрерывности данных;

• причины использовать облако для обеспечения непрерывности данных;

• дополнительные концепты для защиты информации;

• демо: как настроить резервное копирование и аварийное восстановление в облаке.

Вебинар будет полезен всем, кого волнует обеспечение непрерывности и отказоустойчивости бизнеса: IT-директорам, системным администраторам, инженерам и архитекторам инфраструктуры.

Зарегистрироваться 👈

BI-проекты: 5 причин, почему они выходят за рамки бюджета (и как этого избежать)

Если вы хоть раз участвовали во внедрении BI-системы — знаете, как легко проект может уйти не туда:
– бюджет трещит по швам,
– сроки съедены интеграцией и доработками,
– пользователи по-прежнему делают аналитику в Excel.

Мы в GlowByte собрали в статье практический разбор типичных ошибок, которые чаще всего приводят к перерасходу бюджета и снижению отдачи от BI-проектов.

Плюс: даём самодиагностический чек-лист и PDF-гайд, где перечислены все организационные, финансовые и технические риски BI-проектов.

Заходите почитать! Статья здесь → Скрытая стоимость BI: что не учитывают 8 из 10 компаний при внедрении аналитических систем.

Мы официально преодолели отметку в 1 500 000 000 объектов. Представьте: если бы каждый пятый житель планеты загрузил по одному файлу — получили бы такую же цифру. Или все статьи с русской Википедии решили сохранить 750 раз.

Наше S3 — это:

➖ хранение любых файлов: от картинок и документов до логов и бэкапов
➖ тройная репликация данных
➖ защищенное соединение
➖ безграничное масштабирование: сколько нужно бакетов, столько и будет
➖ два класса хранения: стандартное и «холодное»

Совсем скоро доедут еще два крутых апдейта — работа с доп пользователями и упрощенная загрузка статических сайтов прямо из панели. Stay tuned!

Загрузить файлы в бакет →

На пределе железа: протестировали резервное копирование 32 виртуальных машин с дедупликацией «на лету»

Один из сценариев тестирования СХД TATLIN.BACKUP и СРК Кибер Бэкап, в котором резервное копирование производилось с inline-дедупликацией внутри каждой ВМ.

В каждую из 32 виртуальных машин установлены агенты Кибер Бэкапа, а также агенты Tboost, протокола дедупликации в TATLIN.BACKUP. Каждый агент сохраняет резервную копию в локальную папку, подключенную к целевому хранилищу через протокол T‑BOOST (точка монтирования /mnt/esxboost)​. В качестве хранилища резервных копий в Кибер Бэкапе указано 32 хранилища — по числу ВМ.

График показывает, что мы достигли ограничений оборудования: пропускной способности четырех портов Ethernet по 25 Гбит/с, через которые подключен диск TATLIN.UNIFIED к хостам виртуализации. 

Совокупный объем данных, переданных Кибер Бэкапом для полного резервного копирования всех ВМ, составил ~ 4 192 ГБ (32 × 131 ГБ). Параллельно выполнялись 32 операции резервного копирования. Время выполнения операций — от 8 до 11 минут.

Про совместное использование TATLIN.BACKUP и Кибер Бэкапа читайте в статье с результатами тестирования трех сценариев резервного копирования 32 виртуальных машин.

🏖 Рассказываем про миграционные каникулы для данных в Selectel

Сейчас многие компании заняты реорганизацией своей инфраструктуры. Миграция данных устроена так, что бизнес вынужден платить несколько раз:

• за исходное хранилище данных,

• за трафик при переносе данных,

• за запросы в целевое хранилище,

• за объем целевого хранилища.

Чтобы помочь компаниям сократить затраты, мы проводим миграционные каникулы для переноса данных в объектное хранилище.

Миграционные каникулы позволяют не оплачивать запросы и хранение 30 дней с момента одобрения заявки. Этот период полностью покрывает время на подготовительные работы и снижает нагрузку на бизнес.

Наше хранилище поддерживает точки присутствия в Москве и Санкт-Петербурге. Вы можете распределять данные между разными географическими зонами, повышая катастрофоустойчивость инфраструктуры.

Участвовать просто: достаточно подать заявку на сайте.

Условия каникул подходят клиентам, которые не использовали объектное хранилище Selectel ранее. 

Как сохранить данные в S3 при работе с Evolution Container Apps — расскажем на конференции GoCloud 2025 ☁️

Покажу, как запустить ваши приложения в два клика, при этом сэкономив ресурсы, и как управлять важными данными с помощью S3. Все это на примере сервиса, работающего со статическим контентом.

Никита Корольков — менеджер продукта в Cloud.ru 

Трек:  Инфраструктура и сервисы — про новые и популярные инструменты платформы Cloud.ru Evolution и то, как они помогают в решении задач.

📅 Когда: 10 апреля в 15:35 мск

👉 Зарегистрироваться

А еще, пока ждете выступление, можно почитать в нашем блоге по теме: Запускаем приложения в облаке с помощью Evolution Container Apps и Evolution Artifact Registry.