С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Около 26% компаний в России планируют внедрить ИИ для повышения информационной безопасности

Более половины российских компаний за 2023 год увеличили бюджеты на развитие систем информзащиты в среднем на 20% — свидетельствуют итоги опросов в рамках исследования Yandex Cloud и компании «Деловые решения и технологии». Доля ИБ‑расходов в российском бизнесе составила 15% от общего бюджета на ИТ. Среди основных статей расходов на ИБ: обновление ПО (75%), оборудования (73%) и обучение персонала (43%).

Для защиты инфраструктуры стали чаще использоваться модели машинного обучения, а для безопасной разработки — облачные технологии. При этом ИИ‑алгоритмы чаще применяют для решения двух задач: обнаружения аномалий в большом объёме данных и управления инцидентами. Искусственный интеллект при автоматизации ИБ‑процессов наиболее часто используют компании финансового сектора — это подтвердили 71% опрошенных из отрасли.

Возможность автоматизировать использование ИБ‑сервисов — один из критериев миграции на облачные платформы. 74% компаний оценивают безопасность работы с облачными провайдерами выше среднего. Одновременно с этим оценка рисков при миграции данных в облако стала базовым правилом для компаний, отмечают респонденты.

В исследовании приняли участие более 300 представителей российских компаний. Глубинные и количественные интервью прошли директора по ИТ и информационной безопасности, руководители программ цифровой трансформации, ИБ‑ и ИТ‑специалисты.

Подробности исследования — по ссылке.

Какая облачная конфигурация нужна для работы 1С в связке с PostgreSQL и Microsoft SQL Server

По опыту, нередки 4 варианта:

1. Сервер 1С и managed БД на разных ВМ. Получаем отказоустойчивость и хороший уровень изоляции. Но скорость коммуникации между серверами зависит от сети, особенно, если ВМ в разных зонах доступности.

2. Сервер 1С и ВМ с БД на разных ВМ. У каждой из ВМ полный доступ к ресурсам, что даёт производительность для требовательных задач и возможности тюнинга.

3. Сервер 1С и БД на одной ВМ. Вся обработка данных — на одной машине, что устраняет задержки сети.

4. Сервер 1С и БД на одной ВМ, временные таблицы БД — на RAM‑диске. Так можно ускорить обработку данных, т.к. операции чтения/записи в RAM быстрее, чем на традиционных дисках. Это сокращает время отклика при выполнении операций на временных таблицах.

   Конфигурацию можно оптимизировать:

   • В Microsoft SQL вынести tempdb на RAM‑диск. Если допустимо, рассмотреть вынос других служебных таблиц.

   • Настроить параметры Delayed Durability, Max degree of parallelism, размер автоувеличения файлов БД, shared memory. Если важна персистентность, настроить периодический сброс данных, например, в ImDisk Virtual Disk Driver.

   • В PostgreSQL вынести временные таблицы на RAM‑диск для ускорения обработки, настроить nr_hugepages для сокращения расходов памяти.

   При оценке производительности этой конфигурации тест Гилёва показал более 42 баллов.

На вебинаре 12 марта вместе с «Первым Битом» разберём эти сценарии миграции в облако, дадим рекомендации. Подключайтесь.

Запускаем бесплатный курс по работе с Managed Service for Greenplum

Наша образовательная программа по работе с данными пополнилась курсом Managed Service for Greenplum на платформе Яндекс Практикум. Обучение рассчитано на Data-архитекторов, DevOps-инженеров, разработчиков и администраторов баз данных.

В курсе семь модулей. Вводные лекции дают общее представление о Greenplum и показывают, для каких задач он подходит. Вторая половина курса помогает решить более сложные прикладные задачи. Например, можно узнать, как проводить диагностику запросов, использовать разные опции хранения данных, загружать и выгружать данные с помощью внешних таблиц.

Курс научит:

• создавать инсталляцию Greenplum на облачной платформе и работать с ней;

• использовать особенности СУБД для эффективной работы с Managed Greenplum;

• правильно писать и оптимизировать запросы с учетом специфики Greenplum;

• разбираться в архитектуре Greenplum;

• проектировать оптимальную физическую модель данных.

О программе:

• Обучение рассчитано на 50–80 часов.

• Курс состоит из двух частей: теории с закреплением в коротких квизах и самостоятельных практических заданий. Обе части не привязаны к расписанию — можно учиться когда угодно.

• Все материалы доступны бесплатно.

Этот пост о трендах-2024 писала нейросеть (ну, почти)

Редактор блога попросил YandexGPT написать пост на Хабр с прогнозами использования облаков на 2024 год. Одновременно мы спросили архитекторов: как менялись запросы клиентов Yandex Cloud к концу 2023 года и что ждать в 2024-м.

Посмотрим, что совпало, а где модель ошиблась?

1. YaGPT: Рост спроса на решения для ИИ и ML.

   А: Бизнес возлагает надежды на генеративные модели. С декабря доступ к YandexGPT API открыт в режиме превью, и больше всего запросов на наш сайт связано с этим.

2. YaGPT: Рост популярности гибридных облаков.

   А: Есть тренд на демократизацию ML, а он влияет на работу команд с облаками. Недавно в DataSphere мы открыли использование ресурсов облака для ML из локальных IDE. Такой гибрид позволяет передавать в облако только ресурсоёмкий код.

3. YaGPT: Развитие облачных технологий для бизнеса.

   А: Уточним: компании чаще используют цепочки из облачных сервисов. Уже устойчив сценарий «сладкой парочки» БД + визуализация данных, но его чаще дополняют связкой с Object Storage и сервисом очередей.

   Востребованы потоковые сценарии аналитики, для которых хранилища наполняются из «живых» систем в реалтайме. Но для построения сложных хранилищ всё ещё нужен не один год.

4. YaGPT: Рост популярности облачных решений для ИБ.

   А: Тренд «долгий», т.к. атаки усложняются. Совершенствовать умную защиту от DDoS, фишинга и других угроз нужно всё время, понимая, что ИБ — это процесс.

В список от экспертов не вошли IoT и блокчейн в облаке, но кто знает. Что скажете?