Многочисленные данные в компании, как правило, хранятся разрозненно. Доступ к информационным системам ограничен в зависимости от подразделения и задач. Данные о финансовых результатах и налогах, например, доступны только бухгалтерии, а информация о маркетинговых акциях важна, в первую очередь, для работы отдела маркетинга.
Задачи анализа всех этих данных решает BI-система. Но, прежде чем визуализировать и анализировать данные, их необходимо сделать доступными для аналитиков: объединить, структурировать, очистить от ошибок. При этом для эффективного анализа и планирования будут полезны исторические данные за несколько лет.
Объединить и организовать данные поможет корпоративное хранилище данных (Data Warehouse, DWH, КХД).
Проекты внедрения DWH относятся к трудоемким и всегда требуют вложений, стоимость проектов начинается от 1,5 млн руб. К проекту необходимо привлекать системных аналитиков, архитекторов DWH, разработчиков, DevOps, дата-инженеров. Кроме затрат на ФОТ, нужны бюджеты на инфраструктуру и технологии, так как готового решения DWH из "коробки" не существует.
Как при таких затратах аргументировать для бизнеса необходимость внедрения DWH? Какие бизнес-задачи может решить хранилище данных? Можно ли оценить окупаемость и эффективность внедрения?
Что такое DWH – простыми словами
Data Warehouse (DWH, корпоративное хранилище данных, КХД) – это централизованное хранилище, где собираются и обрабатываются бизнес-данные.
DWH объединяет данные из разных источников, например баз данных, информационных систем, табличных файлов, API
Все данные очищаются, обогащаются, структурируются и организуются так, чтобы их было удобно анализировать
Данные становятся доступны для анализа в любое время, что позволяет командам быстро получать различные отчеты и проводить аналитику, а значит, принимать обоснованные решения на основе фактов
В отличие от обычных баз данных, ориентированных на управление транзакционными данными и поддержку приложений, КХД обеспечивают необходимую для продвинутой аналитики производительность и глубину хранения данных.
DWH позволяет хранить и текущие, и исторические данные без потери их качества.
Зачем нужно хранилище данных?
Легкая интеграция данных
Разрозненность данных из CRM, ERP, Excel, внешних баз данных затрудняет их агрегацию и анализ. Появление новых систем, процессов, видов деятельности, динамика слияний и поглощений усугубляют ситуацию.
КХД объединяет данные из различных источников, что обеспечивает оперативный и упрощенный доступ к актуальной и надежной информации.
Повышение качества и ценности данных
Предварительная обработка в ходе ETL/ELT-процессов в DWH помогает очистить данные от ошибок и дубликатов, тем самым снизить трудозатраты на дублирование и многократный повторный ввод данных.
Хранилище позволяет отсеять все лишние данные, которые не нужны для дальнейшего анализа, так как в него загружаются агрегированные значения строго из необходимых источников.
Качественные, структурированные и актуализированные данные обеспечивают качественный анализ и отчетность.
Безопасность данных
КХД функционирует отдельно от оперативных БД и не нагружает другие информационные системы. Аналитики могут решать сложные задачи и работать сразу с большим количеством данных без потери производительности и риска повлиять на критически важные для бизнеса данные.
Это особенно важно для больших компаний с многочисленными департаментами, проводящих операции с персональными или финансовыми данными. Например, для компаний из банковского или страхового сектора.
Демократизация данных и возможности self-service для пользователей
Демократизация данных - парадигма, при которой данные легко доступны всем пользователям, а не только руководителям, что исключает узкие места в аналитике.
DWH в связке с современным BI предоставляет очищенные, актуальные данные и возможности самообслуживания (self-service), при которых любой конечный пользователь может самостоятельно получить нужные ему данные и создавать отчеты на их основе.
Своевременный доступ к данным и принятие решений
DWH хранит такие исторические данные о продажах, производстве, запасах, логистике и прочих направлениях деятельности, которых уже может не храниться в операционных БД. Это позволяет в любой момент исследовать данные и пересмотреть стратегии бизнеса.
Ранее, например, для выяснения причины повышения затрат, аналитику приходилось скачивать Excel-файлы из ERP, 1С, бухгалтерской отчетности и составлять вручную отчеты. Вместо того, чтобы своевременно предпринять действия, руководство ожидает отчеты, а проблема усугубляется.
С появлением DWH все нужные данные уже агрегированы и передаются в BI, где наглядно представлены в виде визуализаций. Для решения бизнес-задачи руководителю необходимо только сделать выводы на основе готовых дашбордов.
Поиск скрытых возможностей и инноваций
DWH может помочь выявить новые возможности для роста и развития бизнеса.
Использование исторических данных позволяет проводить продвинутую аналитику данных. Например, предсказательный (предиктивный) анализ, направленный на прогнозирование будущих тенденций.
В предписательной аналитике, позволяющей разработать конкретные шаги для повышения эффективности и смоделировать сценарии, используется ИИ и ML. Источниками данных для алгоритмов машинного обучения становится слой аналитических витрин в корпоративном хранилище.
Кроме того, DWH легко масштабируется в соответствии с изменениями в бизнесе и объеме данных, что позволяет запускать проекты Big Data и Data Science.
Рост доверия к данным и аналитике
DWH исключает влияние человеческого фактора, обеспечивая актуальность, полноту и непротиворечивость данных за счёт надёжности источника при формировании отчётности.
Более точные и полные отчеты повышают доверие к данным среди внутренних и внешних стейкхолдеров.
Руководители обращаются к аналитике, чтобы находить скрытые взаимосвязи, оптимизировать процессы и принимать более взвешенные решения на основе фактов, а не интуиции.
Можно ли оценить эффективность внедрения DWH
Нестабильная экономическая ситуация заставляет компании сокращать затраты на внедрение технологий и тщательно рассчитывать эффективность инвестиций в бизнес-аналитику. Реализация проекта DWH требует обоснования для выделения немалых бюджетов.
Для оценки эффективности проекта необходимо учитывать затраты на внедрение и эксплуатацию хранилища, а также выгоды, полученные от внедрения. При грамотном подходе к внедрению выгоды от хранилища данных всегда значительно превышают его стоимость.
По данным исследований IDC, ROI от внедрения инструментов аналитики на базе хранилищ данных может достигать 417% за 5 лет, а средний срок окупаемости решений составляет менее года.
Затраты на КХД
Первоначальные затраты на внедрение хранилища данных варьируются в зависимости от задач конкретного бизнеса.
Также необходимо учитывать, что совокупная стоимость владения (total cost of ownership,TCO) хранилищем данных всегда выходит за рамки первоначальной стоимости реализации. В процессе внедрения изначальные цели могут измениться, и бизнес может принять решение о масштабировании проекта, например, на отделы маркетинга, продаж или производства. Кроме того, годовые затраты на поддержку и обслуживание хранилища данных часто составляют от 40% до 60% от стоимости его внедрения.
Основные факторы, из которых складывается стоимость проекта КХД:
Количество и тип источников данных
Необходимо ли подключать внутренние или внешние источники, однотипные ли источники (например, ERP-системы разных подразделений) или разнообразные (от стандартных пользовательских приложений до устройств IoT)
Разнообразие типов данных
Какие данные нужны: структурированные, полуструктурированные или неструктурированные данные, поступают ли они в запланированные интервалы времени или хаотично
Специфика обработки данных
Нужна ли потоковая (массовая) обработка данных в реальном времени или пакетная (частями) обработка данных в заявленные интервалы
Выбранная архитектура и стек
Каждое хранилище данных уникально, выбор методологии и инструментов для проектирования зависит от задач компании, количества пользователей, источников данных в компании, перспектив их роста, а также финансовых возможностей
Требования к отказоустойчивости, масштабируемости и доступности
Например, планируется ли увеличение объема данных и какое, потребуются ли механизмы резервного копирования и какая нужна частота резервного копирования, какие механизмы переключения при отказе, системы мониторинга и оповещения будут использоваться
Также при расчете стоимости DWH учитываются:
Требования к сложности BI-аналитики, визуализации и отчетности
Текущее и планируемое количество пользователей, и разнообразие их ролей
Формат развертывания (локально или в облаке)
Требования к безопасности данных и соблюдению регламентов
Заработная плата внутренних и внешних специалистов, участвующих в проекте
Затраты на обучение сотрудников
Расходы на будущую техническую поддержку и обновление системы
Ожидаемая выгода от внедрения КХД
Сложность оценки выгод от внедрения корпоративных хранилища данных состоит в том, что само КХД не обеспечивает финансовых поступлений. Возврат от инвестиций в хранилище происходит через повышение качества и эффективности процессов, которые DWH поддерживает.
Неочевидная цепочка выгод зачастую и вызывает переживания у топ-менеджмента. Из-за этого решения по реализации проектов DWH принимаются тяжелее, чем, например решения о покупке лицензий прикладного ПО.
Выгоды от внедрения DWH делятся на материальные и нематериальные.
Выделение уникальных конкурентных преимуществ компании, повышение качества взаимоотношений с акционерами, принятие своевременных управленческих решений – все это составляет нематериальные выгоды от проекта.
Материальные выгоды можно измерить в денежном эквиваленте, а нематериальные трудно поддаются количественной оценке, но они способны подкрепить мотивацию стейкхолдеров к внедрению DWH.
Примеры измеримых выгод:
Рост прибыли
В результате анализа данных можно прийти к выводу об изменении стратегии маркетинга или продаж: поиску новой целевой аудитории, расширению портфеля продуктов и услуг, разработке новых рекламных кампаний.
Например, в региональной розничной сети по продаже одежды до внедрения DWH данные о продажах, маркетинге и запасах были разрозненными и недоступными.
В результате внедрения DWH и BI в компании стал регулярно проводится анализ клиентского поведения в зависимости от сезонности, а также стало прозрачным отслеживание запасов. Аналитики выяснили, что самый высокий спрос в летние месяцы имеет спортивная одежда, но при этом запасы часто исчерпываются до окончания сезона.
На основе анализа данных были запланированы оптимальные объемы запасов, а за два месяца до предполагаемого скачка спроса запущена новая маркетинговая кампания, нацеленная на спортивные товары.
Благодаря улучшенному управлению запасами и целенаправленным маркетинговым усилиям, компания увеличила свои продажи на 15%, что эквивалентно дополнительным 36 млн руб. прибыли.
Снижение операционных затрат
Качественные данные помогают контролировать затраты в разных отраслях и областях деятельности.
Например, оценка эффективности маркетинговых стратегий позволит сократить затраты на рассылки или найти более эффективные каналы продвижения. Повышение качества и актуализация данных в справочниках клиентов поможет сократить штрафы за неверные адреса доставки от партнеров - грузоперевозчиков.
Один из наших клиентов, бренд детской одежды Orby, после внедрения DWH устранил до 80% ошибок, которые ранее возникали при планировании отгрузок товаров на маркетплейсы. Оптимизацию логистики между складами OZON и WB удалось организовать таким образом, чтобы излишки с одного склада в случае необходимости оперативно транспортировались на другой, сократив тем самым затраты на хранение запасов.
Повышение эффективности работы аналитиков
Самым очевидным изменением станет сокращение времени анализа данных и повышение эффективности работы аналитиков. DWH в связке с BI сокращает время отклика на запрос и повышает производительность, что особенно важно для сложных аналитических запросов и отчетов.
В одной из компаний финансового сектора средняя заработная плата аналитика составляла около 170 000 руб./мес., то есть, 2 040 000 руб. в год.
Команда из 10 аналитиков регулярно вручную собирала данные для операционных отчетов. До внедрения каждый аналитик тратил около 60% своего рабочего времени на сбор данных, что эквивалентно 1248 часам в год при 40-часовой рабочей неделе (12 480 часам для 10 сотрудников).
В результате внедрения КХД компания получила для команды из 10 аналитиков сокращение времени на сбор данных на 33% (4 118, 4 часов). За год сэкономленная сумма, с учетом стоимости работы аналитика 980.77 рублей в час, составила около 4, 04 млн руб.
Сокращение расходов на ИТ
Одно производительное, масштабируемое, гибкое корпоративное хранилище данных может заменить разрозненные устаревшие базы данных и комплексы инструментов, которые ранее выполняли функции КХД.
Оптимизация имеющихся решений для аналитики и перераспределение нагрузки ИТ-специалистов, которые обслуживают эти решения, приведет к экономии расходов на ИТ.
Как оптимизировать затраты на DWH без потери качества
Обязательное предпроектное обследование инфраструктуры обработки данных
Оцените бизнес-процессы и инфраструктуру, обследуйте источники данных и исключите избыточные, соберите требования каждого пользователя и согласуйте их. По итогу обследования составьте дорожную карту проекта внедрения DWH с учетом ваших возможностей и планируемого масштабирования.
Быстрая реализация MVP (Minimum Viable Product)
На первом этапе проекта мы рекомендуем внедрять MVP корпоративного хранилища только для части данных и приоритетных задач. После запуска пилота вы сможете начать получать выгоды и собирать отзывы пользователей задолго до полнофункционального решения. Тестирование MVP поможет провести нужные настройки и дополнить функциональные требования до масштабного основного проекта, тем самым сократить затраты на будущие ошибки и доработки.
Чем проще, тем лучше
Выбирайте технологии, которые принесут наибольшую пользу, при этом будут гибкими при масштабировании и не потребуют сложного сопровождения. Одна и та же задача на проекте может закрываться несколькими средствами, поэтому стек подбирается в зависимости от целей, требований и возможностей компании.
