Что такое Мастер-Данные и зачем они нужны

    Введение



    (клик по картинке ведёт внутрь публикации)

    Развиваясь, организации внедряют всё больше и больше информационных систем совершенно различных направлений: бухгалтерский учет, управление персоналом, управление складом etc. Системы живут и развиваются независимо друг от друга до того самого момента, как компании не потребуется взглянуть на свои данные целиком. Объемы данных уже достигают критической точки и выясняется, что сопоставить и сравнить данные вручную становится просто невозможно. Решения основанные на противоречивых и невыверенных данных ведут к управленческим ошибкам, а дубли и неактуальность данных к неверным бизнес решениям.

    Конечно же проблема описанная выше не нова и сегодня мы обсудим классический способ решения — систему управления мастер-данными.

    Оглавление
    1. Введение
    2. Что такое MDM
    3. Типы корпоративных данных: что такое справочные и транзакционные данные
    4. Зачем оно нужно?
    5. Методы решения
    6. Типы MDM-систем
    7. Индикаторы необходимости внедрения СУ НСИ
    8. Выводы


    Что такое MDM


    Master Data Management (сокращенно: MDM, МДМ, НСИ; варианты перевода: управление мастер-данными, нормативно-справочная информация) система — комплекс процессов, систем управления, стандартов и программ позволяющих единообразно работать с данными. Проще говоря, МДМ-система предоставляет целостный взгляд на все составляющие бизнеса, в том числе на источники данных, авторство, качество, полноту и на потенциальное использование данных. (Подробнее: Задачи управления мастер-данными)

    (кликабельно)

    Типы корпоративных данных: что такое справочные и транзакционные данные


    Чтобы разобраться, чем являются и не являются мастер-данные разберем основные типы корпоративных данных.

    (взято отсюда)

    Неструктурированные данные — текст, почта, и другие данные, у которых нет формально определенной и описанной структуры.

    Полуструктурированные — данные не имеющие определенной схемы (или имеющие переменную структуру), но тем не менее имеющие формальное описание в виде тегов и\или определенных маркеров. XML — пример, полуструктурированных данных.

    Структурированные (транзакционные) данные — данные имеющие формально определенную схему.

    Метаданные — это данные описывающие другие данные, например, схема базы данных клиентов, конфигурационный файл или шаблон отчета.

    Мастер-данные — это данные, содержащие ключевую информацию о бизнесе, в том числе о клиентах, о продуктах, о работниках, о технологиях и материалах. Каждая из этих групп может разделяться на несколько предметных областей: в категорию люди входят клиент, продавец, поставщик. Так же может иметь набор правил валидации, которым должны удовлетворять данные.

    Иногда в отдельную категорию выделяют иерархические данные — это данные, в которых хранятся отношения и взаимодействия между данными. Подробнее.

    Пример, общей структуры мастер-данных и валидационных правил (кликабельно)


    Зачем оно нужно?




    Исторически многие системы хранения, анализа и визуализации данных развивались параллельно и не совместимы между собой. По мере роста компании интеграция данных становится всё более важной и во многих случаях критической задачей, согласно Microsoft уже компании среднего размера ощущают на себе последствия работы с разнородными данными.
    Таким образом одной из задач МДМ-систем является синхронизация данных, что упрощает решение сопутствующих задач, как подготовка финансовой отчетности.

    МДМ-система — это один из краеугольных камней в архитектуре бизнеса вместе с ERP и BI системами, позволяющий системам аналитики и ведения бизнеса иметь единое преставление о данных, независимо от источника и формы.

    Рассмотрим несколько классических случаев, где необходимо использовать и внедрять систему управления мастер-данными.

    Зоопарк ИТ-систем и консолидированная отчетность


    Пусть в компании больше трех систем хранения-анализа данных. Заполняются они и развиваются независимо друг от друга. В какой-то момент появляется необходимость собрать консолидированную отчетность и необходимо синхронизировать нормативно-справочную информацию. Например, существуют компания Ромашка с оборотом в 1М и имеются две записи «Общ.огр. Ромашка» и «ООО Ромашка» в разных системах с оборотом 400к и 600к, без инструментов синхронизации, система создания отчетности не сумеет объединить записи.

    Интеграция систем


    Пусть имеется несколько 1С систем в отделениях компании и счета, выставленные ООО «Ромашка» необходимо выгрузить и проанализировать в CRM. Если в CRM заведены несколько дублей, например Ромашка и Общ. Огр. Ромашка, то встает вопрос к какой Ромашке в CRM эти счета привязать и есть ли среди этих Ромашек нужная?

    Единая база контрагентов


    Прежде всего создание единой базы необходимо, для качественной и достоверной информацию о контрагентах. Если клиент, уже подписавший контракт, получает дополнительные N звонков о необходимости выслать уже отправленные документы (т.к. «Общ.огр. Ромашка» и «ООО Ромашка» — синтаксически разные компании), то это негативно отражается на отношениях компании.

    Очистка и нормализации данных


    Описанные выше случаи — это задачи по очистке и нормализации данных (data cleaning and data quality).

    Очистка и нормализация данных — это безусловно инструменты, цель — это повышение лояльности клиента (e.g. избегаем повторных звонков), создание отчетности (уверенность в корректности аналитики) и увеличение скорости выполнения задач (быстрее проходим цикл продаж).

    Как правило, клиент приходит к необходимости внедрения системы управления НСИ. Например необходимость оперативного контроля над деятельностью предприятия может потребовать сбора консолидированной отчетности, что в свою очередь приведет к необходимости синхронизации НСИ в ИТ-система, что в свою очередь потребует внедрения системы управления НСИ.

    Случаи из жизни


    Четырнадцать 1С-ок

    У одной компании N было четырнадцать 1С систем в филиалах и вот однажды им пришлось срочно предоставить отчетность о своей деятельности в какую-то там палату. Отсутствие единой отчетности грозило существенными проблемами и вот M сотрудников несколько недель вместе сводили и выверяли данные. А могли бы просто физически не успеть.

    Фуры

    Клиент из Астрахани отправил фуры заказчику в другой регион, а обеспечение в пути оказывала компания Х, у которой не было МДМ-системы и единой базы контрагентов. Во время путешествия фуры проходили обслуживание в двух регионах — и по окончанию поездки компания Х выставила счет клиенту по этим регионам по стандартному прейскуранту без положенной скидки за объем, так как клиент был записан в этих двух регионах под чуть-чуть по-разному и система не сопоставила имена. Итог — дополнительные разбирательства и ухудшение деловых отношений.

    Повторные звонки

    Однажды клиенту позвонили шесть (!) раз после того, как контракт был подписан. Из-за подобной некомпетентности лояльность клиента и контракт были под угрозой.

    Методы решения


    Рассмотрим два наиболее популярных метода решения проблем, описанных выше.

    Административное решение


    Административный подход — сначала вычистить уже имеющиеся дубли в ИТ-системах, разработать систему кодировок, по которым можно сопоставить записи в справочниках разных ИТ-систем, и регламенты. Такой метод относительно прост, но имеет ряд недостатков – он не предотвратит рассинхронизацию НСИ в разных системах, а регламенты всегда можно обойти.

    Внедрение MDM-системы


    Технологический подход — использование системы обеспечивающей синхронизацию и единое представление данных. Как правило большинство крупных компаний внедряют различные версии MDM, когда ручная консолидация справочной информации и отчетности становится невозможной, а внедрение любой новой системы вынуждает изменять регламент и кодировки, только усиливая хаос.

    Безусловно, единовременное введение МДМ-системы не решит все проблемы и по мере развития бизнеса, должна развиваться и МДМ-система, может даже измениться и сам тип МДМ системы (основные типы освещены ниже), однако, как показывает практика MDM является оптимальным бизнес решением в подобных случаях.

    Типы МДМ-систем


    Мы рассмотрим три основных типа MDM-систем — подробнее можно прочитать тут.

    Централизованная система


    Выбирается одна IT система, это может быть как уже имеющаяся IT-система, так и отдельная система управления НСИ. Справочные данные в этой системе будут считаться эталонными, вестись в ней и рассылаться в другие системы. При этом создание и редактирование справочных данных в других IT системах запрещается. Преимуществами такого подхода являются:

    • Простота внедрения;
    • Простота поддержки актуальности и чистоты справочных данных во всех IT – системах, простота администрирования и разграничения прав;
    • Актуальные и чистые справочные данные во всех IT –системах, что позволяет строить чистую локальную отчетность в IT системах.

    Но данный метод имеет ряд недостатков — в других системах невозможно создавать и редактировать записи определенные в центральной системе. То есть изменяются внутренние бизнес-процессы компании, что часто нежелательно, а иногда и недопустимо. Так же система неустойчива к обрывам связи и работоспособность критически зависит от текущей доступности центральной системы.

    Аналитическая система


    В аналитической системе НСИ все элементы НСИ создаются в клиентских системах, откуда отправляются в систему НСИ, где из этих элементов формируется запись справочника НСИ. Это позволяет быстро внедрять систему, внося минимальные изменения в клиентские системы.

    Но так как НСИ в отдельно взятой IT-системе ни с чем не синхронизируется, то в самой IT-системе могут быть дубли и отчетность может расплыться, поэтому построение оперативной отчетности затруднено (про локальную отчетность также говорят, что она «грязная» — локальные записи НСИ могут не соответствовать записям в системе НСИ).

    Гармонизированная система


    Эта система вобрала в себя лучшее из централизованной и аналитической систем. Она позволяет заводить данные в IT-системах, и затем сопоставлять с уже заведенными, умеет искать потенциальные дубли, разрешать конфликты, связанные с одновременным изменением одних и тех же данных в разных IT-системах, синхронизировать НСИ в IT-системах. Таким образом не меняются и не нарушаются бизнес-процессы, минимизируются ручная работа по подготовке отчетности — то есть просто строиться локальная отчетность. Однако данные подход является наиболее дорогим, трудоёмким и требуют серьезной экспертизы для построения, а так же может потребовать модификации клиентских приложений.

    Примеры реализации MDM-систем

    Примером аналитической системы управления НСИ является Navicon SalesOut, а примером централизованной и гармонизированной – разные конфигурации Navicon MDM.

    Индикаторы необходимости внедрения МДМ-систем


    Ключевые: необходима интеграция различных систем и единая отчетность на основе этих данных.

    Частные предпосылки внедрения на примере с одним из клиентов


    Общие индикаторы, при которых стоит задуматься о необходимости упорядочения НСИ, настройки процессов MDM:
    • В первую очередь это наличие или планы по внедрению нескольких ИТ-систем;
    • Потребности в автоматизации сквозных бизнес-процессов (т.е. процессов, в которые вовлечено несколько ИТ-систем) – потребность в интеграции;
    • Потребность в консолидированной отчетности (т.е. в отчетности, использующей данные из нескольких ИТ-систем);
    • Разработка ИТ-стратегии. Многие компании предпочитают решать проблемы с НСИ до их появления. Чем дольше справочные данные велись в ИТ-системах независимо друг от друга, тем сложнее будет в будущем их сверять, чистить, синхронизировать.


    Выводы


    Основные тезисы и выводы: синхронизация НСИ облегчает 1) внедрение новых информационных систем в IT инфраструктуру компании; 2) интеграцию имеющихся систем; 3) обработку корпоративных данных; 4) сокращает трудозатраты на актуализацию данных; 5) минимизирует риски, связанные с некорректными данными. Внедрение выделенной системы управления НСИ не всегда является обязательным, но о проблемах, которые могут возникнуть из-за рассинхронизации НСИ всегда стоит помнить при развитии IT инфраструктуры.
    Navicon
    Компания

    Похожие публикации

    Реклама
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее

    Комментарии 7

      +1
      А всё же в чем разница между НСИ и мастер-данными?
      В начале статьи управляют мастер данными, а в конце НСИ.
        +1
        Как мне кажется в рамках статьи это синонимы.
          +1
          Есть мнение что это разные вещи.
          НСИ — стабильная часть данных: государственные справочники, отраслевые и внутренние классификаторы и подобные справочники.
          Мастер-данные — динамичные реестры изменяемые при работе: клиенты, контрагенты и проданные продукты / услуги.

          КЛАДР/ФИАС — НСИ, а список почтовых адресов клиентов — мастер- данные.
            +1
            Да, тоже сталкивался с почти такой же трактовкой. Чистые централизованно ведущиеся справочники, а также мэппинги — это вроде как НСИ (список продуктов, например, как более-менее стабильный), а динамически создаваемые как финальный или промежуточный результат работы тех или иных процессов — это мастер-данные.

            Для меня это деление выглядит условным — привык, что НСИ — это по-русски, а master data, это по-английски, без особого деления внутри.
        0
        Хотелось бы отметить, что MDM, в свою очередь, является одним из компонентов более широкой дисциплины — Data Governance
          0
          Хм, хотя, походу, не все так считают
          0
          Если MDM – классическое решение, что можно рассказать о неклассических подходах? Спасибо!

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое