Оригинал «Be Careful How You Use Metrics» By Stuart Rance | April 10, 2018 in General IT
К сожалению оригинал больше не доступен :(, зато теперь есть перевод :).
Он получился довольно вольный и ближе к пересказу, т.е. личный опыт переводчика мог затмить мнение автора и где-то подменить исходный смысл, так что аккуратнее (здесь и далее курсивом комментарии переводчика).
Если перед сотрудником поставить цель с личной выгодой, то его усилия на ее достижение будут гораздо больше, чем усилия работать во благо заказчиков услуг.
Метрики для Service Desk
Большинство из нас, работающих в ИТ, понимают важность использования метрик для получения уверенности, что предоставляются качественные услуги, и я уже много раз писал в своих блогах о том, как их определить, например:
- Определение метрик для Управления Проблемами
- Определение метрик для Управления Изменениями
- Определение метрик для Help Desk
- Определение метрик для Service Desk
- Определение метрик для Управления Инцидентами
В каждом из них объясняется важность определения сначала критических факторов достижения успеха (critical success factors, CSFs), а затем ключевых индикаторов результата (key performance indicators, KPIs), позволяющих оцифровать достижение факторов. Также в каждом блоге давались примеры подходящих конкретному процессу CSFs и KPIs.
Но даже если Вы уверены, что имеете правильные CSFs и KPIs в правильных точках контроля, это никак не гарантирует правильное выполнения самих работ. В этот раз я хочу рассказать об общем подходе при применении критических факторов (CFSs) и ключевых индикаторов (KPIs), который позволяет фокусировать усилия на качестве предоставления услуг.
Что делает KPI полезным?
Когда определяются KPI важно помнить значение всех 3 слов:
Ключевой (Key). Каждый KPI должен изменять что-то действительно важное. Не поддавайтесь желанию определить сотню KPIs — использование небольшого их числа более эффективно. Я недавно видел фразу наглядно иллюстрирующую причину: “По той же причине почему на панели в автомобиле не ставят 20 приборов”. Необходимо иметь небольшое количество тщательно отобранных показателей, помогающих сохранность фокус на действительно самых важных сейчас вещах.
Результат (Performance). Каждый KPI должен измерять значимый результат и должен явно проецироваться на один или несколько CFSs. Должно быть однозначно понятно, что означает увеличение или уменьшение значения конкретного индикатора и какое значение является нормой для него.
Индикатор (Indicator). Это, пожалуй, самое частое, что мы понимаем и применяем не верно. KPI не доказывает, что работа сделано хорошо, он всего лишь иллюстрирует возможную оценку итогового результата. Не стоит использовать KPI для доказательства заказчикам, что работа сделана хорошо, заказчики вполне способны сделать эту оценку самостоятельно.
Я часто слышу, что каждый KPI должен быть сформулирован и по SMART:
- Точно определен (Specific): понятен и однозначен.
- Измерим (Mesurable): можно оценить текущее значение или историю изменений значения метрики для конкретного индикатора.
- Соответствует задаче (Relevant): достижение требуемых значений KPI согласуется с поддерживаемыми им CFS
- Ограничен во времени (Time-based): индикаторы привязаны временной шкале, в соответствии с которой производятся измерения значений и предоставляется отчётность.
Это действительно полезно, но не гарантия нужного результата. Существуют провайдеры услуг, у которых определено небольшое число KPI, сформулированных по SMART и поддерживающих важные CFS, но все это не мешает им отвратительно выполнять работу.
Как такое происходит? Часто это происходит уже при применении индикатора на практике. Люди забывают, что KPI — это всего лишь индикатор и работаю больше на достижение значений индикатора, чем на предоставление качественных услуг заказчику. Это заканчивается тем, что все требуемые значения KPI достигнуты, но заказчик все также не доволен, и приводит к возврату к рабочим отношениям “от неудовлетворенности”*, и если проблемы не решатся, заказчик начнет искать альтернативные услуги на стороне.
*Одна из целей и “плюшек” часто заявляемых при переходе к сервисным отношениям — уход от приоритетов решения задач на основе громкости возмущений заказчика к приоритетам на базе предоставляемой ценности заказчику, т.е. от отрицательно заряженных взаимоотношений претензий к положительно заряженным взаимоотношениями на основе приносимой пользы
Не совершайте ошибку, веря в то, что раз написано “иногда”, значит с вами это не случится. По факту это случается довольно часто и даже есть распространенное название этому явлению — “арбузное SLA”. Как и арбуз снаружи значения индикаторов выглядят зелёным, но если его врезать, то будет видно, что внутри он весь красный.*
*Возможно, стоит пояснить, что для наглядности значения индикаторов подсвечивают цветами: красный — значение хуже допустимого, жёлтый — пока значение лучше допустимого, но опасно близко к нему, зелёный — значение лучше допустимого с запасом.
Если хотите, чтобы требуемые знания индикаторов достигались, сообщите сотрудниками, что следующий подъем из зарплаты зависит от значений KPI. И требуемые значения будут достигнуты, но, далеко не факт, что требуемый общий результат Вас устроит.
Наиболее частый пример индикатора для Service Desk — это число принятых обращений каждым сотрудником за каждый день или средняя длительность телефонного разговора. Люди будут делать все, чтобы достигнуть поставленной цели, даже если это будет приводить к предоставлению услуг не приемлемого для заказчика качества.
Один из очевидных способов устранить такие ситуации — это определять разнонаправленные сбалансированные индикаторы. Когда известно что работа оценивается по двум или более противоречащим друг другу требованиям, то определяются и устанавливаются целевые значения по ним всем. Например, можно установить целевые значения для среднего времени решения обращений и количества перекрытых обращений. Если исполнитель уменьшает среднее время за счёт ухудшения качества своей работы, это вызовет увеличение числа перекрытых обращений, т.е. такой подход позволяет балансировать индикаторы.
*Не уверен в корректности перевода термина “tension KPI”, именно, как “разнонаправленные сбалансированные индикаторы”, вариантами перевода также были “напряженные индикаторы” или “противоречащие друг другу индикаторы”.
Разнонаправленные сбалансированные индикаторы могут помочь, но их может и не хватить, т.к. очень сложно заранее полностью предсказать последствия влияния всех индикаторов друг на друга*. А люди они умные и всегда найдут способ, как достигнуть поставленных целей.
*Вернее, не сложно предсказать, как весь пул индикаторов повлияет на деятельность сотрудников.
Так как же использовать KPIs?
Пожалуйста, не читайте дальше это блог, чтобы потом сказать своим друзьям, что Стюарт Рейнс советует не использовать KPIs. Я абсолютно убежден, что индикаторы используются не верно, если они становимся целями, на основании которых производится оценка, вознаграждение или же премирование людей. Но это все совершенно не означает, что не стоит получать значения индикаторов. Все как раз наоборот.
На мой и взгляд, есть две главные вещи, для которых обязательно нужно использовать для KPIs:
Определение трендов
Индикаторы крайне полезны для определения трендов. Если системно (регулярно и однообразно) измерять значения индикаторов и наносить их на график с временной шкалой, можно будет видеть, как они меняются во времени. Например, можно увидеть, что инциденты по конкретной услуге решаются все дольше и дольше, или что новый и сотрудник Service Desk постепенно увеличивает число решениях обращений каждый день.
Эти данные могут использоваться при анализе текущего состояния услуг и планирования улучшений. И даже в качестве обоснования потребностей при планировании бюджетов на расширение штата сотрудников, или на повышение качества портала самообслуживания, или на дополнительное обучение.
Установка пороговых значений для выполнения действий
Если в SLA есть пункт, что инциденты определенной категории будут решаться не дольше 72 часов, то просто измерять и отчитываться о результатах решения случившегося инцидента, изучая и анализируя происходившее время от времени или после не достижения требуемых целевых значений показателей, недостаточно. Лучше в процесс работы встроить триггеры, которые, например, по прошествии 48 часов будут оповещать, осталось всего 24 часа на решение. В идеале, такой подход позволяет заблаговременно включиться и повлиять на решение инцидента до того, как целевое значение станет не достижимым.
Я видел успешное применение этого подхода на примере квартального достижения целей. Когда недоступность услуги за период переваливает за 50% порог от разрешено значения, провайдер включал применение дополнительного набора мер, уменьшавшего время недоступности на оставшуюся часть периода. Этот набор включал в себя привлечение дополнительного персонала, доступного по звонку, более строгую проверку вносимых изменений и т.п. Такой подход позволял ему стабильно достигать целевых значений доступности при сохранении цены и минимальных усилиях для предоставления качественного сервиса.
В первую очередь люди
Как и все, что так или иначе обеспечивает выдающееся управление ИТ услугами (ITSM), правильное использование метрик — это в первую очередь по людей и их взаимоотношения. Великолепный набор индикаторов (KPIs) может быть очень мощным подспорьем в понимании, что происходит и где нужны улучшения, но сами значения индикаторов не должны становиться вашими целями, они должны оставаться просто индикаторами.
Здесь для понимания, возможно, хорошо подойдёт пример, когда измерение температуры тела при лечении болезни используется, как индикатор текущего состояния, но целью является не достижение нормального значения не выше 37,0 и не ниже пусть будет 36,0, а излечение от болезни.
Описанное не является специфичными именно для ITSM сложностями. В экономике есть очень похожий закон Гудхарта: “когда показатель становится целью, он перестает быть хорошим показателем”.
Если вкладывать усилия в построение отличных взаимоотношений с заказчики и собственными сотрудниками, они начнут сами рассказывать все, что необходимо знать для предоставления отличных услуг. Затем можно начинать использовать ключевые индикаторы результатов (KPIs) для того, что они делают лучше всего: помогают выявлять тренды и оповещают о достижении пороговых значений, чтобы включать требуемые корректирующие действия.
Если Вы дочитали до этого места, значит статья была Вам интересна. Потратьте, пожалуйста, еще минутку и оставьте свое мнение в комментариях, оно очень ценно для переводчика, особенно, если понизили оценку публикацию. Спасибо :)
