Управление качеством данных – новая дисциплина. Постепенно направление набирает обороты в нефтяной отрасли, банковском деле и ритейле. Каждый идет своим путем, практически наощупь.
Я работаю аналитиком качества данных. В статье расскажу, как у нас устроено управление качеством данных, с какими трудностями мы сталкивались, и как их преодолевали.
Визуализация качества данных на экране в офисе. Уровень блоков пропорционален количеству ошибок.
В нашем IT-контуре более 30 крупных программных комплексов и систем на различных технологиях. Есть крупные корпоративные системы, специальные программы для нефтедобычи и собственные разработки. При этом системы взаимодействуют и обмениваются информацией между собой.
Мы занимаемся добычей углеводородов. Ошибки в нефтедобывающей отрасли стоят очень дорого. Неправильные данные о траектории скважины могут привести к заклиниванию оборудования, разрушению соседних скважин. Стоимость ремонтных работ и штрафы доходят до нескольких миллионов долларов. Серьезные последствия требуют серьезного отношения. Проще и дешевле исправлять ошибки в данных, чем их последствия.
Какие ошибки в данных важны, а что можно пропустить? Решили отталкиваться от реалий и сфокусироваться на том, что вызывает проблемы у пользователей.
Сложно заставить сотрудников реагировать на фразу «У вас там данные неполные». А вот если сказать, что забыли проставить дату действия контракта, и подрядчика не пускают на месторождение — действовать будут быстро.
Или другой пример. Вовремя не был обновлен план кустовой площадки. Строители взяли план, на котором не был отмечен силовой кабель, и успешно его выкопали. В результате был обесточен куст скважин. А это не только затраты на восстановление, но и угроза жизни и здоровью сотрудников. Проблема в данных привела к проблемам в реальном мире. Такие ситуации берет в работу аналитик качества данных.
Слайд с моего выступления на конференции «Smart Oil & Gas: Цифровая трансформация нефтегазовой индустрии».
Когда обнаружены ошибки в данных, аналитик ищет возможность предотвращения их появления. Например, проблемы можно избежать, если изменить бизнес процесс. Или предотвратить ошибку может доработка ПО, например, создание маски ввода.
Если полностью исключить ошибку нельзя, правила проверки формализуются, и система управления качеством данных (наша собственная разработка) запускает их по расписанию. Обнаруженные ошибки связываются с конкретными людьми, пользователь получает только те ошибки, которые относятся к нему.
Чтобы что-то контролировать, нужно это что-то сначала измерить. Первое, что приходит в голову — это процент качества данных. Нужно взять количество ошибок, поделить на количество объектов, получить цифру. Вот только реальное положение дел здесь не ощущается. Одна критическая ошибка на 1000 объектов даже не будет замечена. И вообще, 99% это хорошо или плохо?
Мы решили использовать абсолютные показатели — общее количество ошибок во всех контролируемых системах.
Динамика количества ошибок в корпоративных системах.
За полтора года мы прошли невероятный путь и сократили количество ошибок с 18 000 до 400.
После того, как найдены болевые точки, необходимо выстроить систему взаимодействия с пользователями, которые должны исправлять ошибки. Достучаться до конкретного человека непросто, особенно если ошибка на него не влияет, а страдают люди в другом отделе. Например, сегодня отдел бурения не указал глубину скважины, а завтра отдел добычи не знает, куда спускать насос.
Сложно найти универсальный рецепт, который подойдет всем. В своей работе мы пользуем микс из техник:
Одна из наших визуализаций для привлечения внимания. Глубина подводной лодки равна количеству ошибок.
Сильным толчком к сокращению числа ошибок стал переработанный шаблон письма об ошибках. Изначально система рассылала статистику по ошибкам в разрезе проверок. Такое письмо больше похоже на отчет. Конверсия писем была слабая. Мы решили перейти к формату, который бы побуждал пользователей исправить данные. В новом шаблоне указано, что конкретно пошло не так, почему важно исправить эти данные, и как это сделать. А еще появились кнопки взаимодействия с командой качества данных. С помощью них мы получаем обратную связь от наших пользователей.
Пример письма об ошибке
Мы постоянно находимся в поисках новых сфер, где будет востребовано управление качеством данных, вовлекаем новых людей и новые отделы. В этом году мы добавили 100 правил проверки данных, а общее их количество перевалило за 500.
Нам интересно расти не только вширь, но и вглубь. Мы бы хотели найти единомышленников и организовать небольшой форум по управлению качеством данных, где могли бы обменяться опытом.
А как вы работаете с качеством ваших данных?
Я работаю аналитиком качества данных. В статье расскажу, как у нас устроено управление качеством данных, с какими трудностями мы сталкивались, и как их преодолевали.
Визуализация качества данных на экране в офисе. Уровень блоков пропорционален количеству ошибок.
В нашем IT-контуре более 30 крупных программных комплексов и систем на различных технологиях. Есть крупные корпоративные системы, специальные программы для нефтедобычи и собственные разработки. При этом системы взаимодействуют и обмениваются информацией между собой.
Мы занимаемся добычей углеводородов. Ошибки в нефтедобывающей отрасли стоят очень дорого. Неправильные данные о траектории скважины могут привести к заклиниванию оборудования, разрушению соседних скважин. Стоимость ремонтных работ и штрафы доходят до нескольких миллионов долларов. Серьезные последствия требуют серьезного отношения. Проще и дешевле исправлять ошибки в данных, чем их последствия.
Что проверять?
Какие ошибки в данных важны, а что можно пропустить? Решили отталкиваться от реалий и сфокусироваться на том, что вызывает проблемы у пользователей.
Сложно заставить сотрудников реагировать на фразу «У вас там данные неполные». А вот если сказать, что забыли проставить дату действия контракта, и подрядчика не пускают на месторождение — действовать будут быстро.
Или другой пример. Вовремя не был обновлен план кустовой площадки. Строители взяли план, на котором не был отмечен силовой кабель, и успешно его выкопали. В результате был обесточен куст скважин. А это не только затраты на восстановление, но и угроза жизни и здоровью сотрудников. Проблема в данных привела к проблемам в реальном мире. Такие ситуации берет в работу аналитик качества данных.
Когда обнаружены ошибки в данных, аналитик ищет возможность предотвращения их появления. Например, проблемы можно избежать, если изменить бизнес процесс. Или предотвратить ошибку может доработка ПО, например, создание маски ввода.
Если полностью исключить ошибку нельзя, правила проверки формализуются, и система управления качеством данных (наша собственная разработка) запускает их по расписанию. Обнаруженные ошибки связываются с конкретными людьми, пользователь получает только те ошибки, которые относятся к нему.
Как измерять?
Чтобы что-то контролировать, нужно это что-то сначала измерить. Первое, что приходит в голову — это процент качества данных. Нужно взять количество ошибок, поделить на количество объектов, получить цифру. Вот только реальное положение дел здесь не ощущается. Одна критическая ошибка на 1000 объектов даже не будет замечена. И вообще, 99% это хорошо или плохо?
Мы решили использовать абсолютные показатели — общее количество ошибок во всех контролируемых системах.
За полтора года мы прошли невероятный путь и сократили количество ошибок с 18 000 до 400.
Как мотивировать?
После того, как найдены болевые точки, необходимо выстроить систему взаимодействия с пользователями, которые должны исправлять ошибки. Достучаться до конкретного человека непросто, особенно если ошибка на него не влияет, а страдают люди в другом отделе. Например, сегодня отдел бурения не указал глубину скважины, а завтра отдел добычи не знает, куда спускать насос.
Сложно найти универсальный рецепт, который подойдет всем. В своей работе мы пользуем микс из техник:
- проводим обучающие сессии;
- объясняем, кто страдает от ошибок в данных и почему важно их исправлять;
- премируем наиболее активных сотрудников;
- проводим интерактивные игры, где в режиме соревнования обучаем пользователей принципам управления качеством данных и как работать с ошибками;
- влияем через руководителей, куда без этого.
Сильным толчком к сокращению числа ошибок стал переработанный шаблон письма об ошибках. Изначально система рассылала статистику по ошибкам в разрезе проверок. Такое письмо больше похоже на отчет. Конверсия писем была слабая. Мы решили перейти к формату, который бы побуждал пользователей исправить данные. В новом шаблоне указано, что конкретно пошло не так, почему важно исправить эти данные, и как это сделать. А еще появились кнопки взаимодействия с командой качества данных. С помощью них мы получаем обратную связь от наших пользователей.
Что дальше?
Мы постоянно находимся в поисках новых сфер, где будет востребовано управление качеством данных, вовлекаем новых людей и новые отделы. В этом году мы добавили 100 правил проверки данных, а общее их количество перевалило за 500.
Нам интересно расти не только вширь, но и вглубь. Мы бы хотели найти единомышленников и организовать небольшой форум по управлению качеством данных, где могли бы обменяться опытом.
А как вы работаете с качеством ваших данных?
