Привет, Хабр! Меня зовут Сергей Корнеев, и я хочу рассказать о том, как мы организовали сбор данных в компании “Россети”. На момент запуска проекта я работал в “Россети.Цифра” и руководил проектом внедрения BI-платформы. Нам с командой удалось решить проблему ручного сбора данных на базе Visiology Smart Forms, и именно об этом я расскажу сегодня.
Как известно, BI — это удобный способ работы с данными. Основываясь на обширных, достоверных и своевременно полученных данных, можно составить четкую картину о состоянии дел, принять правильные решения и так далее. Но что, если данные не так уж достоверны, и не столь своевременно собираются? Эту задачу приходится решать сегодня многим российским компаниям.
На сегодняшний день я работаю уже в компании “Полианалитика”...но мы продолжаем решать те же самые задачи для других клиентов. И поэтому мне особенно хочется поделиться опытом успешного внедрения Smart Forms в крупной компании.
Данные. Много данных
“Россети” — холдинговая структура. В состав организации входит множество дочерних компаний, которые охватывают распределительные сети. Итого получается четыре уровня иерархии и более чем 15 “прямых дочек”на втором уровне (далее - ДЗО), и тысячи на четвертом. Логично, что для принятия решений о развитии электросетей было принято решение о полномасштабном внедрении BI-системы, и что также логично — в качестве основы была выбрана платформа Visiology, которая на тот момент уже использовалась в ряде крупных российских компаний. Свой вендор, возможность быстро получить поддержку и доработки…и как показали последние события, повышенная надежность с точки зрения доступности решений и сопутствующего сервиса.
Для того, чтобы внедрить Visiology у “Россети.Цифра” — основного интегратора ПАО “Россети”, было достаточно компетенции и собственных ресурсов. Поэтому команда самостоятельно развернула и поддерживает (по сей день) работу Visiology, предоставляя сервисы своим функциональным заказчикам внутри компании.
Как только у заказчиков внутри компании возникает потребность, команда начинает новую разработку. И одним из направлений, по которым пришлось серьезно закопаться, стал сбор данных.
Как видно на схеме выше, существует множество подсистем, которые либо были уже интегрированы с BI-платформой, либо для которых интеграция была запланирована. Однако самым слабым звеном оставался сбор данных из ДЗО. С одной стороны, эта информация нужна для аналитики по реальным показателям энергопотребления и выручки ДЗО, и без нее аналитика и визуализация была неполной. Но с другой стороны, традиционно сбор происходил в ручном режиме.
От ручного ввода к Smart Forms
До появления форм ввода на базе smart forms, информация о выручке ДЗО и других обществ просто передавалась в виде Excel-файлов по электронной почте, в мессенджерах — по различным каналам. Все это было связано с огромными трудозатратами по консолидации отчетности, а проблема человеческого фактора и ошибок снижали точность предоставляемых витрин и визуализаций, а также отсутствие или слабоструктурированная версионность данных.
При работе в ручном режиме для проверки данных нужно не только консолидировать показатели, но и локально в каждом отчете вести НСИ и контролировать соблюдение структуры файлов. После этих трудоемких процедур эксперты функционального направления могли приступить к проверке объемов показателей и верифицировать их, сопоставляя с эталонными показателями из информационных систем дочерних обществ.
Внедряя Smart Forms, мы решили сразу несколько задач. Был разработан процесс согласования данных, создана унифицированная форма, которая используется для бизнес-плана и стресс-сценариев в аналитике.
Также пропала необходимость консолидировать отчетность вручную. Конструктор дашбордов Visiology помог нам подружить данные из Smart Forms и исторических данные, сделав возможным визуализацию, факторный анализ и демонстрацию показателей на дашбордах практически для любой исторической выборки.
Удобство
Сотрудники оценили возможность заполнять формы в едином формате — для всех компаний группы. Это был большой шаг вперед по сравнению с рассылкой электронных таблиц и их сбором (порой, принудительным).
На базе XWiki была создана централизованная база знаний, разработаны инструкции по заполнению и сформирован справочник НСИ. В результате сотрудники получили возможность разобраться с тонкостями заполнения форм, а также обсуждать правила, предлагать свои оптимизации, чтобы удобнее было работать. И таких предложений поступало немало.
Для аналитиков
Чтобы изучить собранные данные, внутри дашборда можно скачать форматированный регламентный отчет. Э��о достаточно простой на вид документ, который позволяет оценить результаты по всем ДЗО сразу. А после небольшого обучения эксперты компании получили возможность составлять монстр-отчеты с многоуровневыми шапками.
пример монстр-отчета:
Порадовало то, что при помощи разметки и шаблонов в SmartForms можно автоматизировать загрузку практически любой информацию в форму ввода. И при этом обучение человека, который будет заполнять форму — минимально.
Кроме этого, в ряде кейсов мы использовали реестровый ввод. Он требуется, когда есть разногласия с абонентом — неверно начислена оплата за электроэнергию, по крайней мере, по его мнению. Также реестровый ввод позволяет отслеживать некоторые процессы в динамике. Например, если у контрагента есть договор на установку 500 приборов учета, можно отследить, “сколько установили сегодня?”, можно визуализировать процесс в динамике, даже если нет какой-то централизованной системы учета этапов реализации проекта.
Согласование введенных данных также идет максимально просто. Отправка “на подпись” происходит автоматически. Статусы документов и форм можно выбрать или назначить свои. Также можно оставлять комментарии. Все это делает согласование более быстрым, эффективным и удобным.
Не до конца согласованные данные можно использовать или не использовать в визуализациях. В Россетях, например, их не используют, так как считают непроверенными и не выносят на дашборды, пока показатели не будут полностью утверждены.
Дополнительные факторы
В процессе перехода от ручной обработки таблиц к Smart Forms мы также получили инструменты для мониторинга тиражируемой отчетности. А это важно, если у вас 150 филиалов. Цветовая дифференциация в BI-дашборде позволяет увидеть, кто из коллег заполнил форму, а кто — еще нет. Своевременная реакция на необходимость ввода данных снижает необходимость дополнительного взаимодействия или запросов данных старыми методами (мессенджеры, почта и т.д.)
Также Smart Forms помогают в ведение реестра договоров на оснащение приборами учета потребителей. Формы ввода позволяют детализировать информацию о конкретных проектах. Для этого достаточно просто добавить нужные поля и предусмотреть для них правильный формат.
Для того чтобы новый метод ввода был эффективным потребовалось провести некоторые подготовительные работы.
Во-первых, мы настроили API для автоматического переноса информации в корпоративное хранилище данных. и обеспечили возможность работы с архивом подробных и четко описанных записей любым подразделением Россетей.
Во-вторых, потребовалось качественно проработать справочники (НСИ), чтобы они были едиными для всех подразделений и на всех уровнях. Централизованный справочник позволяет выдерживать правильные наименования для каждого общества, четко следить за единообразием ввода. Это довольно кропотливая работа, но зато потом дашборды сводятся автоматически без ручной проверки и верификаций.
Доступ
Учитывая, что проект касался большой и распределенной компании, приятной возможность оказались настройки доступа (который иначе пришлось бы разграничивать самостоятельно и тратить дополнительное время). Ввод данных через Smart Forms позволил разделить сложную форму на части и предоставить доступ к каждой из них между коллегами.
Также есть функционал точечной настройки разделения прав по просмотру измерений или данных. В итоге одному человеку дашборд может показать одни данные, а другим - другие. Это логично: подразделения не интересует аналитика по “соседям”, а глава всей группы видит общую картину, для всех филиалов.
Визуализация
Стоит сказать и про визуализацию. Когда мы выполняли техническую часть проекта, формулы расчета параметров аналитики заполняли сами. Для этого не нужно знать язык программирования, можно создать из дизайнера (а в Visiology 3.0, судя по всему, все будет еще проще).
Отдельные задачи по построению дашбордов и подтягиванию данных для них мы решали как MVP с функциональными заказчиками. Каждое очередное подразделение или конкретный специалист предлагает нужный ему вид, сам рисует на бумаге, как он хочет это видеть. А мы уже предлагаем в ответ варианты визуализации. И все это опирается на данные, собираемые из Smart Forms.
Кстати, не только из Smart Forms! Мы использовали дополнительный JDBC драйвер, чтобы загружать нужную информацию в Visiology из ClickHouse, чтобы визуализировать и отслеживать более сложные метрики других данных. Это была полезная практика, поэтому переход в Visiology 3.0 на ClickHouse как основное хранилище данных лично мне кажется более чем логичным.
Вообще в целом впечатление от внедрения Smart Forms у меня осталось положительное, потому что мы смогли достаточно быстро и качественно выстроить казавшийся до этого совершенно хаотическим процесс. Этот опыт может оказаться полезным в любой организации, которой нужно собирать и анализировать большое количество данных, но получать их не из других систем, а от сотрудников лично. И чем больше точек и параметров такого ввода, тем ощутимее получается автоматизация на базе Smart Forms.
