Наводить порядок в закупках крупного банка непросто. Особенно когда они разведены по двум независимым комплексным системам ERP и СЭД. При объединении ВТБ и ВТБ24 у нас также произошло объединение информационных систем, и теперь единый процесс закупок проходит через них. Что делать? На помощь пришел Process Mining — одна из самых интересных технологий исследования, анализа и мониторинга бизнес-процессов. Но при этом и весьма непростая в применении.
Process Mining — это подход к анализу бизнес-процессов с использованием передовых технологий в области сбора и обработки данных. Мы видели много дорогих, крупных проектов, где за анализы процессов брались с помощью Process Mining. Несмотря на то, что проекты эти доводили до конца, в 80% случаев полученные красивые схемы не работали. Но грустная статистика нас не испугала, и распутывать свой клубок процессов мы тоже решили через Process Mining. Подробности под катом.
Как мы уже сказали, сложность реализации была связана в первую очередь с тем, что после объединения ВТБ и ВТБ24 процесс закупок в банке проходит через несколько информационных систем, отвечающих за разные этапы процесса. Кроме того, нам нужно было учесть историческую информацию из системы, выведенной из эксплуатации. В результате мы получили разнородный набор IT-источников данных — БД IBM Lotus, БД MS SQL, БД Oracle, SAP (интеграция через RFC). Завершало картину то, что источники данных находятся в разных сетевых сегментах — это также необходимо было учесть в архитектуре решения и способах интеграции. Кстати, об объединении сетевых сегментов банков у нас есть отдельный пост. Но вернемся к бизнес-процессам закупок.
По факту благое стремление навести порядок в бизнес-процессах разложилось на две задачи:
Технологическая реализация решения в банке включает в себя следующие компоненты. Платформа Process Mining реализована на базе ПО Celonis, компонент сбора данных — Pentaho DI + PostreSQL, хранилище и витрина данных — колоночная БД Vertica. Связка Pentaho DI + PostreSQL позволяет нам централизовано собирать и обрабатывать данные из источников (IBM Lotus, Oracle, MS SQL, SAP DFC). Vertica — это производительная БД колоночного типа, которая позволяет нам хранить данные в сжатом виде и быстрее обрабатывать большие массивные запросы. Именно поэтому Vertica служит источником данных для Celonis, который забирает модель данных для дальнейшего автоматизированного построения карты бизнес-процесса и последующего анализа.
Наш ключевой инструмент — это Celonis, используемый для Process Mining. Он обладает богатой внутренней визуализацией и аналитикой, которая может быть расширена при помощи встроенного Python API, открывающего доступ ко всем современным подходам анализа данных.
В целом каждый из выбранных нами компонентов отлично выполняет собственную задачу. При этом они все хорошо сочетаются как единое решение. Новая платформа позволяет предоставлять Process Mining как сервис, с настраиваемым уровнем детализации и частотой обновления данных. Для некоторых задач банка мы для Process Mining предоставляем данные каждые 15 минут. Но в контексте данной задачи нет необходимости обновлять данные чаще, чем раз в день.
В Celonis очень удобно создавать excel-отчеты на базе аналитических представлений, что всегда делает расчет инструмента прозрачным. Мы пришли к тому, что вместе с реализованным KPI удобно иметь на том же листе отчет с полным списком транзакций (событий), на основе которых данный KPI был посчитан. В итоге мы можем решать аналитические задачи и задачи по внутренней отчетности параллельно — это важное преимущество.
Цифровая модель бизнес-процесса, собранная подобным образом, позволяет обнаружить: множественные круги согласования; задержки по времени нахождения в статусе; неэффективных или наиболее загруженных исполнителей; лучшие и худшие подразделения в контексте KPI и многое другое. Анализируя информацию в ракурсе процессов, легко осуществлять переход от анализа цифр к оптимизации. Информацию по каждой закупке мы можем просмотреть в Celonis, причем со всей историей изменений — раньше для этого пришлось бы обращаться чуть ли не к десяткам систем.
С помощью Process Mining мы можем анализировать как и конкретную закупку, так и интересующую выборку по типу, подразделению или другим параметрам в динамике. Так можно без проблем выявлять неэффективные этапы процесса или же, например, находить причины отклонения процесса от заданной модели. К примеру, так мы точно узнали, что согласование договора — это обычно один из самых длинных шагов процесса. А еще посчитали процент закупок, которые не попадают в конечный статус, и выявили причины этого.
Если идти дальше, то Process Mining позволяет нам не только выявить проблемы на основе многогранной статистики, но и открыть наилучшие способы прохождения закупок, понять, почему его не используют все.
Окей, Process Mining прекрасен, а что с конкретными задачами проекта? С первой из них мы успешно справились в заявленные сроки. Изначально нужно было восстановить бизнес-процессы только для закупок Департамента информационных технологий, но после получения первых результатов и их демонстрации внутренний заказчик попросил масштабировать решение на все закупки банка. И нам удалось это сделать, не сдвигая оговоренные сроки.
Со второй задачей, расчетом KPI, все было не так просто. Жесткие требования к погрешности в расчетах KPI потребовали повышенного качества собранных данных — 96-98% по сравнению с источниками. Такого качества удалось достичь не сразу, потребовалось время на то, чтобы финансовый департамент посвятил нас в особенности бизнес-процесса. Центра компетенций process mining банка и финансовый департамент совместными усилиями выявили некачественные данные и особенности технических реализаций, которые подчас искажали модели процессов.
По итогам проекта мы вошли в число тех 20% счастливчиков, которым Process Mining действительно помог. И это не везение. Построить модель процесса на основе реальных данных, которые ежедневно обновляются, рассчитать показатели процесса и вывести все это на красивые и удобные аналитические представления — это только часть дела. Во многих проектах упускают то, без чего не заработает никакой Process Mining — качество данных. Мы провели с внутренним заказчиком большую работу по повышению качества данных, чтобы наша система могла не только проводить анализ, но и подготавливать регулярную отчетность для принятия важных управленческих решений.
В результате проекта несколько изменилось и наше понимание Process Mining в принципе. Это подход к сбору разрозненной информации о процессе и ее последующий глубокий анализ с применением современных инструментов. Причем подход, предусматривающий постоянный и последовательный сбор, запись и анализ событий из информационных систем о целевом объекте исследования, и его эволюции при движении по процессу.
Наше решение на базе технологии Process Mining показало себя полезным для большого количества разных пользователей, причастных к процессам закупок. Теперь в рамках единой системы они могут глубоко анализировать эти процессы, мониторить состояние конкретных закупок, KPI и, наконец, автоматизировать отчетность. Если говорить о цифрах, то внедрение Process Mining и реализация комплекса мер со стороны финансового департамента позволили сократить время проведения закупочного процесса на 25%, в то время как общее количество закупок выросло в 3 раза.
У Celonis него есть богатый маркетплейс с платными аддонами. Но мы пришли к тому, что лучше разработать свои, кастомизированные fine-tune инструменты с помощью API Celonis на Python. Этим опытом мы поделимся в следующих статьях.
Process Mining — это подход к анализу бизнес-процессов с использованием передовых технологий в области сбора и обработки данных. Мы видели много дорогих, крупных проектов, где за анализы процессов брались с помощью Process Mining. Несмотря на то, что проекты эти доводили до конца, в 80% случаев полученные красивые схемы не работали. Но грустная статистика нас не испугала, и распутывать свой клубок процессов мы тоже решили через Process Mining. Подробности под катом.
Как мы уже сказали, сложность реализации была связана в первую очередь с тем, что после объединения ВТБ и ВТБ24 процесс закупок в банке проходит через несколько информационных систем, отвечающих за разные этапы процесса. Кроме того, нам нужно было учесть историческую информацию из системы, выведенной из эксплуатации. В результате мы получили разнородный набор IT-источников данных — БД IBM Lotus, БД MS SQL, БД Oracle, SAP (интеграция через RFC). Завершало картину то, что источники данных находятся в разных сетевых сегментах — это также необходимо было учесть в архитектуре решения и способах интеграции. Кстати, об объединении сетевых сегментов банков у нас есть отдельный пост. Но вернемся к бизнес-процессам закупок.
По факту благое стремление навести порядок в бизнес-процессах разложилось на две задачи:
- восстановить бизнес-процесс на основе данных из всех источников — для последующей data-driven оптимизации.
- рассчитать ключевые показатели эффективности (KPI) работы процессов — для отчетности руководству
Технологическая реализация решения в банке включает в себя следующие компоненты. Платформа Process Mining реализована на базе ПО Celonis, компонент сбора данных — Pentaho DI + PostreSQL, хранилище и витрина данных — колоночная БД Vertica. Связка Pentaho DI + PostreSQL позволяет нам централизовано собирать и обрабатывать данные из источников (IBM Lotus, Oracle, MS SQL, SAP DFC). Vertica — это производительная БД колоночного типа, которая позволяет нам хранить данные в сжатом виде и быстрее обрабатывать большие массивные запросы. Именно поэтому Vertica служит источником данных для Celonis, который забирает модель данных для дальнейшего автоматизированного построения карты бизнес-процесса и последующего анализа.
Наш ключевой инструмент — это Celonis, используемый для Process Mining. Он обладает богатой внутренней визуализацией и аналитикой, которая может быть расширена при помощи встроенного Python API, открывающего доступ ко всем современным подходам анализа данных.
В целом каждый из выбранных нами компонентов отлично выполняет собственную задачу. При этом они все хорошо сочетаются как единое решение. Новая платформа позволяет предоставлять Process Mining как сервис, с настраиваемым уровнем детализации и частотой обновления данных. Для некоторых задач банка мы для Process Mining предоставляем данные каждые 15 минут. Но в контексте данной задачи нет необходимости обновлять данные чаще, чем раз в день.
В Celonis очень удобно создавать excel-отчеты на базе аналитических представлений, что всегда делает расчет инструмента прозрачным. Мы пришли к тому, что вместе с реализованным KPI удобно иметь на том же листе отчет с полным списком транзакций (событий), на основе которых данный KPI был посчитан. В итоге мы можем решать аналитические задачи и задачи по внутренней отчетности параллельно — это важное преимущество.
Цифровая модель бизнес-процесса, собранная подобным образом, позволяет обнаружить: множественные круги согласования; задержки по времени нахождения в статусе; неэффективных или наиболее загруженных исполнителей; лучшие и худшие подразделения в контексте KPI и многое другое. Анализируя информацию в ракурсе процессов, легко осуществлять переход от анализа цифр к оптимизации. Информацию по каждой закупке мы можем просмотреть в Celonis, причем со всей историей изменений — раньше для этого пришлось бы обращаться чуть ли не к десяткам систем.
С помощью Process Mining мы можем анализировать как и конкретную закупку, так и интересующую выборку по типу, подразделению или другим параметрам в динамике. Так можно без проблем выявлять неэффективные этапы процесса или же, например, находить причины отклонения процесса от заданной модели. К примеру, так мы точно узнали, что согласование договора — это обычно один из самых длинных шагов процесса. А еще посчитали процент закупок, которые не попадают в конечный статус, и выявили причины этого.
Если идти дальше, то Process Mining позволяет нам не только выявить проблемы на основе многогранной статистики, но и открыть наилучшие способы прохождения закупок, понять, почему его не используют все.
Окей, Process Mining прекрасен, а что с конкретными задачами проекта? С первой из них мы успешно справились в заявленные сроки. Изначально нужно было восстановить бизнес-процессы только для закупок Департамента информационных технологий, но после получения первых результатов и их демонстрации внутренний заказчик попросил масштабировать решение на все закупки банка. И нам удалось это сделать, не сдвигая оговоренные сроки.
Со второй задачей, расчетом KPI, все было не так просто. Жесткие требования к погрешности в расчетах KPI потребовали повышенного качества собранных данных — 96-98% по сравнению с источниками. Такого качества удалось достичь не сразу, потребовалось время на то, чтобы финансовый департамент посвятил нас в особенности бизнес-процесса. Центра компетенций process mining банка и финансовый департамент совместными усилиями выявили некачественные данные и особенности технических реализаций, которые подчас искажали модели процессов.
По итогам проекта мы вошли в число тех 20% счастливчиков, которым Process Mining действительно помог. И это не везение. Построить модель процесса на основе реальных данных, которые ежедневно обновляются, рассчитать показатели процесса и вывести все это на красивые и удобные аналитические представления — это только часть дела. Во многих проектах упускают то, без чего не заработает никакой Process Mining — качество данных. Мы провели с внутренним заказчиком большую работу по повышению качества данных, чтобы наша система могла не только проводить анализ, но и подготавливать регулярную отчетность для принятия важных управленческих решений.
В результате проекта несколько изменилось и наше понимание Process Mining в принципе. Это подход к сбору разрозненной информации о процессе и ее последующий глубокий анализ с применением современных инструментов. Причем подход, предусматривающий постоянный и последовательный сбор, запись и анализ событий из информационных систем о целевом объекте исследования, и его эволюции при движении по процессу.
Наше решение на базе технологии Process Mining показало себя полезным для большого количества разных пользователей, причастных к процессам закупок. Теперь в рамках единой системы они могут глубоко анализировать эти процессы, мониторить состояние конкретных закупок, KPI и, наконец, автоматизировать отчетность. Если говорить о цифрах, то внедрение Process Mining и реализация комплекса мер со стороны финансового департамента позволили сократить время проведения закупочного процесса на 25%, в то время как общее количество закупок выросло в 3 раза.
У Celonis него есть богатый маркетплейс с платными аддонами. Но мы пришли к тому, что лучше разработать свои, кастомизированные fine-tune инструменты с помощью API Celonis на Python. Этим опытом мы поделимся в следующих статьях.
Про объединение крупных банков на разных уровнях у нас можно почитать еще кое-что:
- Как ВТБ к единому знанию приходил
- Как безопасно объединить сетевые сегменты трех крупных банков: делимся хитростями
- Как упаковать три больших банка в один сайт
- Три ЦОДа без швов, или как ВТБ защищает бизнес-системы
- Тайны ресурсного леса: как мы собирали воедино ИТ-структуры ВТБ