Привет, Хабр!

В последние годы все чаще в разговорах про современные дата-платформы звучит термин «семантический слой». Сама идея семантического слоя не нова: в разные годы под семантикой понимали и витрины данных, и презентационный слой хранилища, и пространства метрик внутри BI-платформ. Но развитие современных дата-платформ и появление AI-агентов заставляют заново переосмыслить этот концепт.

Несмотря на очевидный интерес к теме семантического слоя, чёткого понимания, что именно он из себя представляет, как устроен изнутри и зачем вообще нужен, пока нет. В этой статье мы разберемся, что такое семантический слой, какие задачи он решает, какие архитектурные подходы существуют и почему именно семантический слой может стать ключевым драйвером AI-аналитики.

Семантический слой представляет собой промежуточный логический слой между областью физического хранения данных и каналами потребления данных: аналитическими приложениями, BI-системами, AI-агентами и бизнес-пользователями. В разных источниках его также называют Metrics Layer или Headless BI.

Говоря более строгим языком, семантический слой - это единый исполняемый контракт метрик, измерений,  связей между сущностями и правил доступа для всех каналов потребления данных.

Одинаковый результат обеспечивается не тем, что описание показателя где-то задокументировано, а тем, что логика его расчета централизована и исполняется самим семантическим слоем. В семантической модели задаются бизнес-термины, метрики, измерения, связи между сущностями, правила фильтрации, агрегации и доступа. Когда BI, Excel или AI-агент обращаются к семантическому слою, расчет собирается на основе метаданных модели внутри самого семантического слоя.

Сегодня поговорим о том, как устроены модели данных в BI-платформах. Рассмотрим два основных типа моделей данных, которые используются в BI: физическую и логическую.

Когда стоит вопрос о выборе BI-платформы, реализация модели данных является одним из ключевых критериев, на который мы обращаем внимание в первую очередь. Важно понимать, как работает модель данных в конкретной BI-системе, так как функционал модели во-многом определяет возможности платформы по работе с данными в целом. Это также поможет выбрать подходящий способ работы с данными в зависимости от задач бизнеса и технических ограничений платформы. Обсудим преимущества каждой модели данных, а также ограничения и способы их частичного обхода.

Привет, Habr!

Меня зовут Остапенко Настя, я лидирую направление BI в компании Axenix. Год назад мы выпустили статью с большим обзором Российского рынка BI. На этот раз мы проведем сравнение трех популярных Open-Source BI-платформ: Apache Superset, Metabase и относительно нового участника - Yandex Datalens, который совсем недавно стал доступен в качестве Open-Source продукта.

В последнее время компания Axenix отметила усиление требований к BI отчетности со стороны клиентов. Раньше наиболее распространенным требованием бизнес-заказчиков был перенос презентаций в BI-платформу в том же виде, в каком они были в Power Point. Но за последний год все чаще появляется запрос на интерактивность и добавление возможностей по глубокому анализу данных с помощью BI-решений.

Мировые лидеры рынка BI-платформ в полной мере позволяют не только представить данные в виде статичного отчета, но и открывают возможности по проведению продвинутой визуальной аналитики. Однако сейчас уже никого не удивишь просто красивым дэшбордом. Что действительно ценится в сфере Business Intelligence – интерактивность и многослойное представление данных, а также возможность исследовать данные: переключиться с одной метрики на другую с помощью кнопок, изучить данные в разных разрезах с помощью Drill Down, проанализировать дополнительную информацию во всплывающем окне, выбрав категорию на одном графике и отфильтровав по ней все остальные графики на дэшборде.

Оживив таким образом, дэшборд, мы даем бизнес-пользователям готовый инструмент для анализа показателей компании и принятия data-driven решений на их основе.

По разным оценкам, Российский рынок BI за 2021 год составил от 30 до 40 млрд рублей. Основная доля рынка пришлась на решения с использованием зарубежных BI-платформ, таких как Tableau, Power BI и Qlik. Однако в 2022 году отрасль претерпела значительные изменения и перед многими компаниями остро встал вопрос замещения функционала лидеров рынка BI-платформ в части создания отчетов и проведения визуальной аналитики.