Эффективные управленческие решения основаны на качественной аналитике данных. Но информации становится больше, а ее анализ — труднее. Всё чаще на помощь компаниям приходит прогнозная или предиктивная аналитика, позволяющая справиться с экспоненциальным ростом информации благодаря использованию методов машинного обучения.

Внедрение таких инструментов при работе с данными — ресурсоемкий, но необходимый процесс, требующий решения нескольких ключевых проблем:

отсутствие необходимой инфраструктуры;
низкое качество исходных данных;
недостаток высококвалифицированных специалистов.

Справиться с этими проблемами помогут платформенные решения, охватывающие весь жизненный цикл data science проектов: от идеи и исследования данных до построения, развертывания и применения аналитических моделей для решения бизнес-задач.

В этой статье мы рассмотрим предпосылки и признаки необходимости внедрения платформенных решений, а также укажем на аспекты, о которых надо помнить перед или при внедрении системы.

Платформа по анализу данных

Платформа для обработки больших данных — это решение, которое объединяет различные инструменты по обработке, хранению и использованию данных. Оно позволяет использовать результаты анализа данных в операционной деятельности компании. Это может быть реализовано в виде API предиктивной модели, к которой обращаются другие системы, веб-приложений, которыми могут пользоваться сотрудники, или в виде ежедневных отчетов, отправляемых на почту.

Кому необходима платформа по анализу данных

Платформа упрощает работу дата-сайентистов, дата-инженеров, бизнес-аналитиков, разработчиков приложений и специалистов по машинному обучению. Она позволяет снизить рутинные и непрофильные активности и сконцентрироваться на решении более сложных задач.

В то же время неподготовленные бизнес-пользователи могут легко работать с результатами анализа через простой и понятный интерфейс, повышая свою самостоятельность и компетентность.

При этом бизнес получает универсальный инструмент с широкими возможностями, позволяющий проводить любые виды анализа — от ретроспективного до стратегического предиктивного с построением моделей проверки гипотез по принципу «что будет, если …?». Это значительно упрощает процесс принятия управленческих решений и трансформации бизнес-процессов.

Какие задачи решает платформа по анализу данных

Платформы могут использовать как системные интеграторы, так и компании, в штате которых есть специалисты по обработке данных и аналитике. Как правило, главная цель внедрений — выйти на новый уровень работы с данными, используя машинное обучение.

Для того, чтобы внедрение было успешным, и максимальное число проектов доходило до стадии производства и масштабирования, платформа должна:

Бесшовно встраиваться в существующий IT-ландшафт:

гибко и бесшовно интегрировать разработанные модели и инструменты в ИТ-ландшафт, технологические и бизнес-процессы;
масштабироваться, подключая новые подразделения или конкретные единицы оборудования;
гибко потреблять и управлять потребляемыми ресурсами IT-инфраструктуры;
обеспечивать необходимую производительность для работы в режиме реального времени и меняющихся условиях;

Упрощать и ускорять работу с данными всех сотрудников компании:

давать возможность быстро и дешево проводить пилотные и PoC -проекты;
объединять данные из различных источников, обрабатывать, очищать и фильтровать их;
делиться понятными, читаемыми результатами анализа и моделями с сотрудниками всех подразделений;
создавать общую базу знаний и собирать лучшие практики, на которых будут учиться новые сотрудники;
быть доступной специалистам без большого опыта или специальных навыков;

Удовлетворять требованиям информационной безопасности и политике разграничения доступа.

Предпосылки внедрения платформенных решений

Источники данных

Чем крупнее и старше компания, тем сильнее её IT-структура представляет из себя разрозненный набор источников данных разногообъёма и формата. Компания может использовать производственные решения (АСУТП/SCADA, АСКУЭ, MES, WMS, EAM и т.д.) или только решения для бизнеса и функционирования организации (CRM, HRM, ERP корпоративная почта, мессенджеры и т.д.), а также может использовать всё вместе.

К этой сложной системе получения, обработки и хранения информации добавляются данные различных встреч и мероприятий, аналитические отчеты и другие данные, которые никак не оцифровываются, но при этом являются не менее важным источником информации при принятии решений.

Попытки анализа одних данных в связке с другими сопровождаются значительными сложностями и непрогнозируемым сдвигом сроков проектов.

Несмотря на то, что каждый из источников по отдельности может нести пользу использующему его отделу или департаменту, только объединение всех источников «под одной крышей» позволяет увидеть и рассмотреть ситуацию комплексно.

Работа с источниками данных

Снежный ком из IT-систем нарастает постепенно. Ниже мы вкратце рассмотрим этапыего создания. Если перед вами стоит задача объединения источников данных, или вы уже над ней работаете, то можете сразуперейти к разделу «Предиктивный анализ». Если же всё это вам только предстоит, или вы хотите окунуться в ностальгию по славным временам, текст ниже для вас.

Описательный, причинный и разведочный анализы

На этапе становления бизнеса IT-систем единицы. Бизнес управляется и мониторится в ручном режиме. Данных не так много, и их легко отслеживать малыми силами.

Постепенно фокус внимания бизнеса с текущих показателей смещается на причины достижения этих показателей, а также на методы их улучшения. Ответы всё ещё можно получить ручным трудом, но глубинный анализ уже требует автоматизации. Отделы «обрастают» специализированными решениями (скорее всего, от разных вендоров).

В компании начинает расти «-зоопарк», который потребляет ресурсы и зачастую требует специализированных знаний для его обслуживания. Затраты растут, информации на единицу сотрудника становится больше, но его эффективность при этом снижается. Вдобавок каждая система формирует уникальные отчеты, и требуются отдельные усилия на объединение данных в общую картину. В итоге процессы начинают «барахлить», и слаженность работы в компании начинает незримо снижаться.

Предиктивный анализ

1. Начало

Стратегическое планирование часто предполагает ответы на вопросы «где с учетом всех внешних и внутренних обстоятельств мы будем завтра?». Например, «какой будет спрос на продукцию?», «сколько товара необходимо реализовать для достижения целевых показателей выручки?», «исправно ли оборудование, и когда более оптимально его обслужить?». Найти ответы на эти вопросы позволяют передовые инструменты цифровизации — машинное обучение, нейросети, предиктивная аналитика.

На первых этапах внедрения предиктивной аналитики, как правило, используются open source решения — частично или целиком. Они простые и бесплатные, при этом решают локальную бизнес-задачу, которую сложно масштабировать на всю компанию.

На этапе проверки гипотез и поиска чрезвычайно важно показать результат. Неудача тут — нормальная ситуация. Но бизнес, который только присматривается к эффективности подобных решений, в случае провала может отказаться от дальнейших попыток использовать машинное обучение.

Чтобы повысить шансы на успех, проектным командам уже на этом этапе необходимо иметь представление о существующих коммерческих решениях на рынке, изучить лучшие отраслевые и проектные практики. Как правило, коммерческие решения даже в минимальной комплектации имеют набор инструментов, позволяющий обойти "детские болезни", а проектные команды вендоров с радостью делятся наработанным опытом.

2. Накопление компетенций

По мере накопления компетенций запросы и задачи усложняются, методы решения становятся все более передовыми и уникальными, появляются первые сценарии работы с данными для принятия управленческих решений. Компания уверенно встает на путь data driven и начинает видеть выгоду в дальнейшем использовании и развитии этих инструментов.

С ростом количества проектов растет объем задач, которые лежат уже в инженерной плоскости, а не в аналитической (интеграция, безопасность, пользователи, управление правами, мониторинг работоспособности), и стремительно растут трудозатраты на эти задачи. При этом «зоопарк» продолжает расти, а коммуникация между отделами становится все хуже.

3. Масштабирование

Подразделения, отвечающие за IT и цифровизацию, сталкиваются с проблемой: как обработать растущий поток данных, удовлетворить все потребности в машинном обучении и проконтролировать экспоненциальный рост «зоопарка»?

Возникает идея объединить все IT-решения под одной крышей, создать IT-платформу по анализу данных и единое информационное пространство. Но это большой, ресурсоемкий проект. Как понять, что уже пора?

Признаки необходимости внедрения платформы

Отсутствие прозрачности в процессах и данных.

IT-систем много, сотрудники тратят значительную часть времени на обработку и связывание данных из разных систем в единую картину. При этом ценность данных в компании не очевидна.

Рост затрат на техническое обслуживание ПО.

Приложений всё больше, каждое требует отдельного договора на обслуживание, подразделения запрашивают доработки и добавления новых функций, что дополнительно сказывается на бюджете.

Трудности масштабирования.

Разработанные приложения с трудом внедряются в разные направления бизнеса, или возникают проблемы с вычислительными ресурсами на разных этапах обработки данных.

Отсутствие сквозных сценариев.

Существующие процессы давно устарели, регламенты необходимо менять, скорость и качество взаимодействия подразделений не соответствуют уровню развития бизнеса.

Проблемы с коммуникацией в команде.

Знания и компетенции есть, но они хранятся в головах или на личных компьютерах. Процессы непонятны для новых сотрудников, а прозрачность вызывает вопросы даже у «старожилов».

Несоответствие требованиям регламентов по безопасности.

Безопасность хранения/использования данных. Несмотря на регламенты хранения данных, информация находится в различных, в том числе небезопасных местах. Или ее количество требует расширения хранилищ, но возможности ограничены.
Безопасность ПО. Предлагаемое на рынке open source или самописное ПО не отвечает требованиям безопасности из-за широкого использования кода из публичных библиотек или может управляться из-за пределов контура компании.

IT-стек перегружен неуниверсальными, дублирующими или невостребованными системами.

Применяемые в компании решения тормозят бизнес-процессы, возможно, устарели или негативно влияют на достижение бизнес-целей компании и неоправданно увеличивают расходную часть бюджета.

Что нужно помнить при внедрении платформы

Если в одном из этих пунктов вы узнали себя, значит, вашей компании пора задуматься о внедрении платформы. А если обнаружили совпадение в двух и более пунктах, значит, пора внедрять.

Несмотря на масштаб задачи и широкие возможности продукта, процессы подготовки к внедрению, отбора и самого внедрения платформенных решений уже хорошо отлажены и во многом похожи на процессы при работе с другими IT-решениями:

Аудит существующих IT-решений в компании. Без проведения аудита, создания перечня существующих решений, прав доступа, мест хранения информации будет сложно провести безболезненное внедрение, что существенно замедлит и усложнит процесс.
Аудит данных и стратегии управления данными. Необходимо инвентаризировать все данные, находящиеся в организации, вне зависимости от способа их хранения, определить владельцев, права доступа и ответственных за работу с ними лиц. Наилучшим решением будет создать, если еще не существует, стратегию управления данными, которая систематизирует подходы к работе с данными и заложит основы для дальнейшего развития data-driven бизнеса.
Согласование внедрения со стратегическими инициативами компании. На этом этапе нужно определиться с целями внедрения системы и показателями, которых вы хотите достичь благодаря её использованию — что платформа должна улучшить и оптимизировать?
Изучение предметной области и формирование внутренней экспертизы. Перед внедрением необходимо накопить внутренние компетенции и понять, какой продукт вы собираетесь внедрять, какие знания вы хотите оцифровать, и какой из продуктов лучше себя зарекомендовал в вашей отрасли.
Изучение рынка специалистов. Как было сказано выше, вам потребуются высококвалифицированные специалисты с соответствующим уровнем оплаты труда. При формировании требований к решению, в оценку стоимости проекта необходимо будет заложить и эти данные.
Формирование первичных требований к решению. Необходимо заблаговременно, до внедрения определить, какое решение вы хотите получить: какие задачи оно должно решать, какие вам требуются инструменты, есть ли какие-то системные ограничения помимо бюджета проекта. ем больше параметров, тем лучше. При этом важно не перестараться, иначе окажется, что такого решения еще не придумали.
Изучение референсов. Изучите отраслевой опыт или, если вы первопроходцы, опыт схожего по масштабу и направлению деятельности бизнеса. Какие задачи решались, насколько успешно и в какие сроки их удалось решить, как проходило внедрение, какие ошибки были допущены или что помогло внедрить платформу быстрее.
Формирование технического задания внедрения.
Следствие формирования первичных требований к решению. Крайне важно четко сформулировать цели и задачи внедрения, вопросы, которые ставятся перед командой внедрения, определить достаточность и доступность данных для решения задачи. Соответственно, и ожидаемые результаты должны быть прозрачными, понятными, измеримыми и интерпретируемыми. Чем точнее вы сформулируете ваши требования к решению, тем быстрее и без неожиданностей пройдет процесс внедрения — как для вас, так и для команды внедрения.

Идеальной платформы не существует: каждая идеальна настолько, насколько она подходит нуждам именно вашего бизнеса. И именно вы, а не вендор или интегратор решений, определяете, насколько успешно платформа проявит себя в организации и позволит достичь поставленных целей. Верим, что эта статья ответила на часть ваших вопросов, развеяла определённые мифы и приблизила вас к внедрению data driven подхода в компании.

Как понять, что пришло время внедрять платформу для анализа данных?