Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Системный и бизнес-анализ доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 10
И на каждом этапе одни и те-же люди доказывают, что наконец-то они нашли пилюлю для всех проблем, чтобы через какое-то время опять про следующую пилюлю расказать итд. При этом не забывают 'приверженцев' и понимателей особенностей и нужности старых технологий забрасать всевозможными ярлыками. С агилем то-же самое. Отвергается всё старое, чтобы в новом это старое поновой изобрести...
Почему вообще возникает путаница?
В очередной статье читаю эту фразу... Да никто из не путает! По крайней мере из нормальных инженеров! За много лет ни разу не встречал лично человека, которой бы путал. Зато авторы статей и прдвигаторы личных брендов нередко эту фразу упоминают для того, чтобы написать ещё одну статью с азбучными истинами. Придумайте уже другое что ли введение!) ИИ в помощь)
Data Fabric
Прошло от Майкрософта с его Fabric. По сути маркетинговый термин. И ничего более.
Спасибо за ваше мнение, по поводу путаницы и «нормальных» инженеров - Лиду инженеру да, конечно, это очевидно, но в начале пути действительно можно запутаться с терминами, так как их не мало, именно поэтому сложность статьи указана как «простая»
Если вы их не путаете, все же не значит, что их не путает никто
Берем возможности как в Data Warehouse: ACID-транзакции, управление схемой, оптимизация запросов.
Технически это реализуется через специальные слои поверх озер – транзакционные форматывроде Delta Lake, Apache Iceberg или Apache Hudi.
нет там ни acid ни понятия транзакции, все что есть - атомарность на уровне одной таблички.
Сразу вспомнил про эту статью
https://habr.com/ru/articles/846296/.
Data Catalog - тоже модный термин. Разобрать бы его, а лучше скачать типовой для типового банка.
Нет "Типового каталога" для "типового банка". И, кстати, он бесполезен, если бизнес не договорился о терминах. В итоге, на совещаниях - каждый со своей цифрой, и они не бьются - никакой каталог не поможет. Надо начинать с бизнес-глоссария, в котором четко дать определение терминам, как считается этот показатель и кто (должность) за него от бизнеса ответственен. Желательно, ссылку на физический документ с подписью слезами кровью. А уж потом Дата-инженер собирает данный показатель в витрине / хранилище и его сертифицирует. Желательно, с правами доступа и, обязательно, со ссылкой на бизнес-глоссарий, откуда он взялся. Ну, и как часто обновляется. А уже каталог должен сказать насколько часто к нему обращаются и все вместе - насколько он "чистый" / насколько можно ему доверять. Хотя в "сертифицированные" должны попадать только относительно чистые данные.
Нет "Типового каталога" для "типового банка".
Также говорили и про процессы банка, но есть же CoreStream Process Framework, APQC Process Classification Framework - Banking PCF, BIAN и т.п.
С типовым Data Framework (core) для банков - должно быть еще проще (понятнее): везде одни и те же сущности: физик (и его свойства \ параметры в CRM), счета, проводки, рабочий план счетов, баланс и т.п. О многих из них не нужно договариваться, т.к. они определены ЦБ (я про базовые понятия, именно с них бы начать). Что "одно-смысловые" поля табличек в разных АБС (DWH) названы по разному - это не меняет базовый концепт. Базовые сущности - костяк Типового каталога данных банка (core - сущности для начала, хотя бы первую сотню).
То, что в конечных отчетах путаница с понятиями и определениями сущностей (уже производных сущностей) - это во многом уже как следствие отсутствия общей метаМодели \ базового классификатора данных банка (первичных, точнее базовых сущностей, т.к. баланс первичной не назовешь). У каждого вендора АБС, CRM, DWH и т.п. свои "тараканы", и у бизнес-пользователя BI - свои.
Я же про абстрактный (не в привязке к конкретным табличкам БД) Каталог данных, включающий Базовые сущности - как высокоуровневое представление о данных, ориентированное на бизнес-пользователей. Базовые сущности и их свойства и связи - как Базовую онтологию данных российского банка и желательно в стандартном знаниевом формализме, например, linked data.
Итого, что-то типа APQC Banking PCF, но не по процессам банка, а по "данным банка". Конечно ИИ по запросу "Типовой Каталог данных универсального банка" выдаст любую детализацию каталога, но хотелось бы что-то уже кем-то осмысленное. Показанные вами проблемы понятны, но я про совсем "первые \ базовые шаги", а права доступа, Quality Data, Сусанин-дата-линейдж и т.п. - это уже где-то "в конце длинного пути".
Заодно: нет ли курса для скачивания по Управление данных \ Качество данных желательно "с красивыми картинками" и типовыми практическими сценариями (в привязке к конкретной задаче)? Хотя на безрыбье ... - и любые сгодятся.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Data Mesh, Data Fabric, Lakehouse: разбираем модные термины