С возникновением первых вычислительных машин предприятия осознали потребность в обработке и анализе информации.

В 1980-е годы они приступили к формированию информационных хранилищ, основанных на реляционных базах данных, которые стали ключевым инструментом для принятия взвешенных решений.

Но по мере того как компании накапливали всё больше разнородных сведений, недостатки реляционных баз данных становились всё более явными.

С началом нового тысячелетия мы вступили в эпоху больших данных. Специалисты разработали передовые инструменты для обработки огромных массивов разнообразных данных, которые генерируются с невероятной скоростью.

Для работы с данными и их структурой используются технологии, которые позволяют эффективно обрабатывать и анализировать большие объёмы информации.

Тем не менее, при внедрении таких аналитических инструментов компании всё ещё сталкивались с определёнными трудностями.

Архитектура сохраняла свою целостность, и одна команда специалистов занималась созданием платформы и интеграцией данных.

В крупных компаниях такой метод сразу же вызывал формирование значительных очередей за услугами по интеграции и аналитическими инструментами.

В данном контексте централизация оказалась ахиллесовой пятой крупных корпораций.

В крупных организациях попытка сосредоточить все усилия по интеграции данных в одной группе может оказаться неэффективной. Зачастую источники информации находятся в разных местах, не имея единого центра управления, что затрудняет поиск ответственных лиц. Такой подход не приводит к нужным результатам.

В подобных условиях выручает инновационная система - Data Mesh.

Что представляет собой Data Mesh, или «сеть данных» — это инновационный метод организации работы распределённых команд и обмена информацией, который не имеет центрального узла и отличается гибкостью.

Основная идея этого подхода заключается в том, что команды специалистов из разных областей создают и применяют продукты на основе данных. Это значительно повышает эффективность работы с информацией.

В традиционной архитектуре данных все элементы тесно связаны между собой. Все операции, связанные с потреблением, хранением, преобразованием и выводом данных, данные находятся под контролем в едином центральном хранилище, которое обычно является хранилищем данных.

Data Mesh — это инструмент, который помогает оптимизировать работу с распределёнными конвейерами, предоставляя отдельным пользователям возможность рассматривать данные как продукт.

Какова связь между доменами и информационными ресурсами?

Это уровень, на котором достигается всеобщая совместимость, где используются идентичные технологии, правила и форматы данных.

Data Mesh: концептуальные основы.

Чтобы разобраться в Data Mesh, необходимо усвоить основные идеи:

1. Домены данных. Этот термин заимствован из концепции Domain Driven Design (DDD), используется в разработке программного обеспечения.

Он используется для прототипов сложных программных продуктов.

В Data Mesh понятие домена данных используется для определения границ корпоративных информационных ресурсов.

В некоторых случаях целесообразно создавать модели доменов, учитывая особенности бизнес-процессов и исходных систем.

2. Data-продукты. Значимый элемент Data Mesh, который имеет отношение к использованию данных в контексте продуктового мышления.

Для того чтобы Data-продукт был эффективным, он должен предоставлять пользователям долгосрочную пользу, быть практичным, ценным и заметным.

Его можно оформить как интерфейс прикладного решения, отчёт, таблицу или набор данных в хранилище.

3. Платформа самообслуживания. Специалисты с разносторонними знаниями и навыками разрабатывают универсальные решения и следят за их работой.

В основе этого метода лежит принцип децентрализации и согласования с экспертами в конкретной области.

Они понимают, насколько ценная информация содержится в том или ином источнике.

В то же время вы сформируете специальные группы, которые будут заниматься разработкой независимых продуктов, не связанных с основной платформой.

В связи с этим, не представляется возможным применение сложных и особых инструментов для работы с фундаментом платформы, построенной на основе Data Mesh.

4. Федеративное управление. При переходе на децентрализованную платформу самообслуживания необходимо уделить особое внимание управлению.

Если не отнестись к этому вопросу серьёзно, в скором времени можно столкнуться с проблемой, когда в различных областях будут использоваться несовместимые технологии, а информация будет дублироваться.

В связи с этим необходимо разработать и реализовать автоматизированные стратегии как на уровне платформы, так и на уровне данных.

Data Mesh: применение и возможности

Решения на основе данных помогают устранить сложности, связанные с использованием единых массивов данных.

У владельцев данных появляется больше свободы и возможностей для принятия решений, появляются новые перспективы для проведения опытов, внедрения новшеств и сотрудничества.

В то же время уменьшается нагрузка на группы специалистов по обработке информации, поскольку задачи решаются непосредственно на месте в рамках общего процесса.

Благодаря платформе самообслуживания, специалисты по обработке данных получают доступ к инструментам для работы с информацией, которые не требуют расходов.

Также это универсальный и часто автоматизированный метод стандартизации данных, происхождение продукта и метрик качества (их сбора и взаимодействия с ними).

Эти преимущества могут рассматриваться как вариант при традиционных подходах к организации данных, с отсутствием унифицированных стандартов как среди источников, так и среди пользователей информации.

И это всё лишь малая часть того, что может предложить Data Mesh.

Вот ещё несколько доводов в его пользу:

Data Mesh способствует ускорению анализа. В рамках распределённой архитектуры данные рассматриваются как продукт, за который отвечает определённое бизнес-подразделение.

Благодаря этой схеме, команды могут быстро получать и анализировать информацию, которая ранее была недоступна.

Адаптивность в предпринимательстве

Количество информации продолжает увеличиваться, и модель централизованного контроля не может эффективно справляться с объёмами данных.

Бизнес становится менее адаптивным, поскольку процесс анализа данных и формирования выводов занимает слишком много времени.

Data Mesh решает эту проблему, предоставляя крупному бизнесу возможность оперативно реагировать на изменения.

Она предоставляет доступ к различным наборам данных для разных групп специалистов и коммерческих пользователей. Это уменьшает дистанцию между событием и тем, как его интерпретируют или исследуют.

Строгий контроль за соблюдением требований

В некоторых ситуациях компаниям сложно обеспечить конфиденциальность и определить местоположение данных.

Выполнение этих условий — процесс долгий и сложный, из-за чего иногда возникают задержки с получением крайне важных бизнес-аналитических данных, которые необходимы для поддержания конкурентоспособности.

Data Mesh предоставляет уровень взаимодействия, который позволяет как техническим специалистам, так и людям, не обладающим специальными знаниями напрямую обращаться к наборам данных и выполнять запросы для получения информации.

Кроме того, это позволяет избежать затрат на передачу данных и требований к размещению информации в определённом регионе.

Сложности, связанные с архитектурой Data Mesh

В процессе интеграции Data Mesh следует ожидать возникновения определённых трудностей.

Вот наиболее значимые из них:

Бюджетные рамки.

Существует ряд аспектов, которые могут поставить под угрозу финансовую состоятельность проекта по разработке новой платформы.

Речь о сложностях с покрытием расходов на структуру, разработку сложных программных продуктов, баз данных или поддержку систем.

Если команда разработчиков создаст инструмент, способный устранить техническую проблему, но при этом масштабы данных и сложность продуктов будут расти, то цена такого решения может оказаться чрезмерно высокой.

Взаимодействие доменов и команды, занимающейся развитием платформы.

С внедрением Data Mesh перед доменами встают дополнительные задачи. Прежде они были потребителями отчётности, а теперь им требуется осознать ценность этого инструмента.

Когда они придут к консенсусу, нужно будет согласовать с ними основные этапы работы. При улучшении платформы могут произойти значительные изменения.

А что, если это случится с доменом, который как раз тестирует новое приложение? В данной ситуации временные рамки будут пересмотрены и смещены на несколько месяцев.

Комплекс умений, связанных с обработкой информации.

Отсутствие умений в домене (подразделении)— это серьёзный барьер для компаний, которые планируют перейти на методологию Data Mesh.

В условиях децентрализации управления данными домены должны взять на себя ответственность за это.

В самом ли деле программное решение выходит за пределы компетенции центрального органа, ответственного за интеграцию?

Решение этой задачи определяется отраслевой направленностью бизнес-сферы и происхождением информации.

Дефицит технических навыков и знаний.

Передача доменам полных прав на данные предполагает, что они должны отнестись к проекту со всей ответственностью.

Не исключено, что они будут вынуждены нанять новых сотрудников или пройти дополнительное обучение, но также нельзя исключать вероятность того, что в скором времени эти требования окажутся для них непосильными.

В случае значительного падения производительности, будут возникать затруднения.

В данном случае никакие инструменты не будут полезны, поскольку для разрешения возникших затруднений требуется понимание принципов работы с данными.

Создание виртуальных копий и резервных дубликатов информации.

Специалисты всё чаще интегрируют информацию из разных источников и не желают ограничиваться рамками «в единой точке».

Есть несколько методов решения этой задачи: виртуализация и резервное копирование информации.

У всех есть свои недостатки.

Виртуализация.

Позволяет создать семантическую модель, абстрагированную от источников данных, не перенося их физически в другую базу данных.

Она осуществляет анализ запросов пользователей, распределяет их компоненты по соответствующим источникам и интегрирует полученные данные в единый массив.

Для создания дубликатов требуется, чтобы команды занимались обработкой информации, получаемой от источников, и передавали её в приложения.

Это может повлечь за собой значительное увеличение счетов за облачные сервисы.

Дело не только в цене за хранение информации, но и в потенциальных издержках, связанных с исходящим трафиком.

Концепция Data Mesh стала результатом внедрения передовых методологий разработки программного обеспечения, таких как Agile и итеративный подход к созданию продукта.

Применение этих концепций в области анализа данных связано с рядом трудностей, но при правильном подходе может дать ощутимые результаты.

Идея «хранилища информации» предполагает целостность, но на деле она реализуется в сочетании с применением технологии, которая обеспечивает равномерное распределение, такое как объектное хранилище.

В связи с этим команды, ответственные за развитие платформы, могут создавать Data Mesh, формируя обособленные Data-среды для каждого Data-продукта.

Единое решение можно разделить на отдельные сегменты, по одному на каждый продукт.

История исследования и анализа информации. Архитектура Data Mesh: концептуальные основы