Comments 11
Microstrategy - это точно очень крутой продукт (точнее, портфолио продуктов). Но, все-таки, как в концепции Microstrategy предлагается "расшивать" узкое место в виде подразделения, которое поддерживает актуальность единого семантического слоя? Ведь не все задачи требуют централизации, а ресурсы центра компетенций всегда ограничены. Я неоднократно видел, как в компаниях, в которых аналитика была исключительно централизованной, буйным цветом прорастали условные "Power BI Desktop", те самые Data Silos, которые очень трудно победить административными методами.
Это решается на уровне разграничения прав и правилегий пользователей - есть public objects доступные всем пользователям. В ней поддерживается governance, единая логическая модель (атрибуты, факты, показатели), политики безопасности доступа к данным, единый гайдлайн отчетности и прочее. Все остальное - пользовательская область, где пользователи могут наворачить что хотят, в том числе подключая сторонние источники данных и объединяя их с единым слоем бизнес абстракции. Если что-то в пользовательской зоне становится полезным и интересным большому кругу пользователей или имеет бизнес-ценность для компании, это может быть добавлено в единый семантический слой.
Если это в PBI, то еще хоть как-то можно потом перенести и администрировать, так как можно по шагам разложить модель и логику ETL.
А вот когда речь о пользовательских Excel файликах...
Обычно такое куда чаще процветает: выгрузки из SAP BW\Qlik + ручной ETL.
И вот тут повеситься проще, чем нормально это разобрать и обучить юзеров :)
Microstrategy enterprise semantic graph позволяет также:
- оптимизировать запросы к различным источникам данных и сохранять результаты запросов к различным источникам данных в кэше или in-memory кубах Microstrategy.
- работать как на чтение, так и на запись данных в источники. Например, вы легко можете настроить выгрузку данных в различные источники по определенному расписанию или событию.
- реализовывать аналитические приложения в реальном времени.
По ссылке пример реализации real-time приложения из kafka: https://youtu.be/ERr9UdA8dD4
Интересно - если в компании один DWH и один BI - семантический сллой не нужен? В этом случае Звезда Data Driven компании достижима?
Ну или в более общем виде вопрос - какова карта принятия решения - нужен не нуженединый семантический слой???
1/ Нужен ли семантический слой для одного хранилища и BI. Я считаю так: сейчас это одно хранилище на одной технологии, далее Вы вырастите и захотите поменять СУБД на in-memory, MPP .... так вот вам ненужно будет метаслой переписывать и переделывать пользовательский интерфейс, модель, визуализации, приложения останутся прежними.
2/ Звезда Data Driven компании достижима? - конечно. Вопрос только какими усилиями и средствами? Представьте что вам дали инструментарий, но, Вы говорите ненужно я сам его разработаю за сколько-то лет. Тут Вам предлагается инструмент для структурирования, управления, централизации и в дальнейшем переиспользования (знаний, алгоритмов ...)
3/ Про карту принятия решения: Если Вы понимаете, что в компании существует несколько "версий правды" данных, разночтение алгоритмов, присутствует огромный бэклог на доработки, разработки нового функционала - то это первые значительные признаки что нужно уже задуматься о внедрении семантического слоя. Если проблем нет, то нужно задуматься вообще нужен этот продукт кому-нибудь :).
Польза от единого семантического слоя не зависит от количества хранилищ данных, скорее от размера BI проекта. Если у вас BI решает какую-то конкретную задачу в одном локальном департементе, а остальным в компании BI не нужен, то эффективнее будет не тратить время на единый метаслой. Если же вы создаете корпоративное BI решение уровня всей компании, то в этом случае целесообразно задуматься о едином метаслое.
Владимир, большое Вам спасибо за статью!
Да, пьесса "А слона то я и не заметил!" в одном действии. В ролях: Андрей Соколов (Советский Союз), Microstratery Enterpise Sematic Graph (в роли Слона).
Вот, вроде, и, периодически, имел дело с решениями Microstrategy на протяжении почти 20-ти лет, но последние 10 лет они как-то выпали из моего поля зрения. Как оказывается, очень зря.
После прочтения статьи возникло несколько вопросов/мыслей:
1) Как понимаю, ESG является частью Microstrategy Cloud Platform и данным функционалом можно пользоваться по моделии PaaS, так ли это?
2) Для меня, и как для архитектора, и как для управленца, тема Data Governance вот уже второй десяток лет является одной из ключевых при построении платформ данных уровня предприятия и, как следствие этого, очень больной темой, поскольку часто очень уж сложно идёт внедрение этого, без сомнения, важнейшего подхода. Поэтому, хотел у Вас спросить, какие есть возможности по интеграции ESG с Data Catalog-решениями других производителей, например, c Informatica Enterprise Data Catalog (либо с аналогичным функционалом Informatica Intelligent Cloud Services)?
Если такие возможности есть, то это давало бы отличную возможность для реализации практически всестороннего решения задач Data Governance и Data Management на уровне предприятия.
Заранее благодарен Вам за ответы!
Добрый день!
Спасибо за положительный отзыв о статье.
Что касается ваших вопросов:
1/ Microstrategy Enterprise Semantic Graph является неотъемлемой частью платформы Microstrategy. По какой модели вы планируете использовать - это ваш выбор.
2/ Сразу скажу, что у меня лично не было опыта внедрения Data Catalog-ов. Тем не менее, некоторые из компаний, с которыми общаюсь, делали попытки внедрения Data Catalog. Проекты действительно довольно сложные. Мне пока не известны компании кто в этом преуспел. Даже те, кто публично выступали с историями успеха внедрения Data Catalog, на самом деле по факту использовали и продолжают использовать confluence для описания своего дата актива. В связи с этим, до какого-то практического или даже теоретического опыта интеграции Data Catalog c Microstrategy Enterprise Semantic Graph еще не доходило, поэтому мне не приходилось исследовать данный вопрос.
Однако давайте попробуем определиться, что значит интеграция DC и ESG? :)
Например, многие DC предлагают виртуализацию данных.
В какой-то степени Microstrategy ESG это и есть виртуализация данных, т.е. «те же яйца, но вид с боку» предоставляя примерно тоже самое:
виртуальное объединение и подключение к различным источникам данных в виде семантического слоя (слоя виртуализации), к которому может обращаться через Microstrategy/Power BI/Tableau/Qlik/Excel, R, Python, Rest APIs, приложения собственной разработки и тд.
оптимизация запросов к различным источникам данных с возможностью сохранения результатов запросов в кэше или in-memory кубах Microstrategy
поддержка как чтения, так и записи данных в источники
управление безопастностью
высокая производительность и масштабируемость
поддержка real-time
... и тд
Предположу, что под интеграцией DC и ESG вы подразумеваете синхронизацию слоев виртуализации DC и Microstrategy ESG?
Если так, то полагаю такой интеграции нет. Если что-то другое, то уточните, пожалуйста.
К сожалению, тема семантического слоя не раскрыта. Посмотрел на сайте веднора - кроме одного видеоролика нет информации ни о технологии, ни о продукте. Прошу подсказать и дать ссылки:
Средство создания и редактирования семантической модели
Технология (язык описания) модели (поддерживается ли RDF*)?
Единый семантический слой BI и что он дает на примере платформы Microstrategy