Существует огромное количество инструментов визуализации графиков, умеющих делать с ними настоящие чудеса. Все они имеют разное назначение и специализацию.
Но сейчас речь пойдет не о них. Речь пойдет не об инструментах, а о том как их использовать в совершенно конкретной ситуации, а именно: при анализе деятельности внутренней службы технической поддержки.
В большой организации работа централизованных служб часто имеет критическое значение.
Представьте, что Вы – руководитель службы поддержки, состоящей из 10 человек, и Ваша команда обслуживает коллектив из 200 команд, в каждой из которой по 7-10 человек. Это минимум 1400 человек, ежедневно засыпающих Вас работой.
Теперь добавим сюда ещё больше реальности и представим, что Вы выполняете некую централизованную функцию (например, настройку чего-нибудь), без которой команды не могут выдать результат.
Получается, что на Вас всё завязано, и чем быстрее и качественнее будет работать Ваша команда, тем быстрее будут выдавать результат все остальные команды в компании.
И тут начинаются жалобы на медленную отработку запросов…
Естественно, в этой ситуации руководителю нужны фактические данные, а не слова.
На помощь приходит когортный анализ.
Когда первый раз сталкиваешься с когортным анализом, он вызывает естественное чувство отторжения и неприятия, т.к. слишком уж отличается от традиционных графиков и метрик.
Но на самом деле в нём нет ничего сложного. По сути, когортный анализ это что-то типа сезонности.
Сезонность – это когда берутся аналогичные временные периоды, например, годы или недели, и по ним строятся графики поведения измеряемой величины.
Представьте график температуры. Если анализировать его с помощью когортного анализа, то в качестве когорты можно взять год и построить график температуры с начала по конец года.
Сравнивая графики за разные годы можно увидеть одинаковое поведение температуры, повторяющееся из года в год.
Все привыкли к графикам метрик в их обычной интерпретации. Если речь идёт о построении графика, то на ум в первую очередь приходит подсчет общего количества, среднего или суммы.
Но есть проблема: часто такие величины не дают «прозрения», т.е. с их помощью не узнаешь никаких существенных данных, позволяющих понять суть проблемы.
Когортный анализ, в отличие от привычных метрик, даёт такой результат, который позволяет докопаться до истины.
Именно поэтому его всё чаще используют стартапы и коммерческие компании (метрики AARRR анализируются именно когортным анализом) для получения реальной картины своей деятельности.
Давайте на конкретном примере посмотрим, что такое когортный анализ и как его можно применить для оптимизации службы технической поддержки в крупной компании.
Прочитав статью, Вы научитесь проводить когортный анализ самостоятельно, используя лишь обычный Excel и стандартный набор функций.
Руководитель службы технической поддержки, назовём его Иваном, решил проверить, действительно ли запросы в его службу исполняются очень долго.
Благо, все обращения регистрируются через Jira и достаточно всего лишь выгрузить в Excel все тикеты вместе с их историей:
Всего каких-то 3300 записей.
Первое, что пришло Ивану на ум – посмотреть среднее время отработки заявок.
Функция =ЧИСТРАБДНИ() помогла рассчитать количество рабочих дней с момента создания заявки до её перевода в статус «Resolved»:
Воспользовавшись «сводной таблицей» Excel Иван получил среднее время отработки заявки:
(рабочих дней)
«Это ужас!» — воскликнул Иван, ведь в SLA было записано 2 дня на отработку тикетов, а не 16.
График показал еще более ужасную картину:
(Среднее время отработки, раб.дней)
(Количество решенных запросов в день)
Откуда-то возникли запросы, со средним временем отработки 200 рабочих дней(!).
Проблема была налицо, однако из графиков было совершенно непонятно где именно она возникла и в чём её суть. Графики молчали.
Иван впал в отчаяние и не знал, что ему делать. Затем пришла злость.
Подумав какое-то время, он решил наказать тех своих подчиненных, которые работают плохо.
Для этого он построил график средней длительности отработки заявок:
(по оси X – ФИО исполнителей заявок, скрыты, по Y – среднее время исполнения заявки этим человеком, раб. дней)
Виновные были определены.
Но Борис, знакомый Ивана, попросил его не спешить с наказанием, а сначала попробовать применить когортный анализ, ведь это не так сложно как кажется.
По выгруженным из Jira тикетам была построена сводная таблица Excel по длительности закрытия тикетов (выделить все данные/Вставить/Сводную таблицу).
Первым делом весь массив данных нужно было разбить на когорты. Обычно это делают по дате рождения объекта.
Для отбора когорт сводная таблица была сгруппирована по недельным интервалам по дате создания тикета, а в качестве метрики вычислялась длительность отработки (количество рабочих дней, прошедших с момента создания тикеты до момента его исполнения).
Далее по ним построена сводная диаграмма:
Каждая когорта отображается на графике своим цветом.
И, о чудо! Реальность стала другой.
52% тикетов всё же укладываются в SLA. И да, 47% тикетов закрываются долго – аж до 200 дней (скорее всего там просто забытые задачи?).
А как же среднее время отработки, которое было посчитано раньше? Как видите, оно не имеет к действительности никакого отношения и показывает некое непонятное число, которое неясно как интерпретировать. Именно поэтому использовать средние очень вредно.
Получив реальную картину мира Иван в первую очередь решил понять, что же это за тикеты с 200 рабочими днями исполнения.
В сводных таблицах сделать это очень просто: достаточно дважды кликнуть на ячейку сводной таблицы, и Excel выводит список тикетов, из которых состоит эта ячейка.
Оказалось, что действительно это были забытые тикеты, закрытые, видимо, во время «чистки».
К сожалению, подобные «выбросы» очень сильно влияют на значение средней и сильно её портят в сторону неадекватности, и это еще один аргумент против её использования в анализе.
Взглянув внимательнее на график Иван увидел пики…
Скорее всего, подумал Иван, есть какие-то специальные типы задач, требующие большего времени, чем заложено в SLA.
Двойной клик на «23» показал список тикетов с длительность исполнения в 23 рабочих дня:
Оказалось, как и ожидал Иван, большинство тикетов были однотипными и запрашивали создание стендов.
Таким же образом Иван проанализировал все пики на графике и по результатам изменил SLA для выделенных типов задач, а также ускорил некоторые из них, разобравшись где именно там скрывалось замедление.
Вторым прозрением Ивана было то, что хвоста на графике, вообще-то, не должно быть совсем.
Как-то так:
Ведь хвост вправо, по сути, обозначает нарушение SLA и затягивание времени исполнения тикетов.
Естественно, задачи разных типов требуют разного времени на реализацию, поэтому в реальности будет и хвост и пики, однако очень желательно, чтобы они стремились к нулю.
Действительно, а как же сотрудники с «выдающимся» средним временем исполнения задач?
Как и ожидалось, у самого плохого сотрудника ситуация на самом деле не так уж и плоха (тот же когортный график, но в виде столбчатой диаграммы, представленной для удобства):
Большую части запросов он явно исполняет вовремя, а среднее время портят «выбросы» в виде 170-дневного закрытия тикетов. Кстати, вот и тот, кто закрывал их так поздно!
А так работает сотрудник, исполнивший наибольшее количество задач:
Хорошо заметно, что и у него всё в порядке с выполнением нормативов.
Но и это далеко не всё, что даёт когортный анализ.
Вот теперь можно точно узнать, у кого же именно наибольшее количество задач с временем исполнения > 2 дней.
(по Y – количество задач с временем исполнения > 2 дней, по оси X – ФИО исполнителя)
Есть с чем работать, правда?
И, конечно, список «двоечников» стал немного другим, в нём появились совсем другие фамилии.
Начав работу над задачами Иван добился значительных результатов уже на первую неделю.
На графике представлены 3 когорты января 2018 г.
Заметно улучшение ситуации в виде сдвига линий влево к нулю.
Салатовая линия последней когорты показывает, что результаты существенно улучшились и все тикеты закрыты в течение 1 рабочего дня.
Поменяв вид графика на столбчатый, становится хорошо заметно, что большинство тикетов закрываются в тот же или на следующий день:
Изменение группировки подтверждает данные:
Иван понял насколько мощный инструмент он получил, и с этого момента постоянно пользовался им для того, чтобы получить реальную картину того, что происходило в его отделе.
Есть много метрик на свете, красивых и разных, но далеко не все они дают возможность по-настоящему вкопаться в процесс, обнаружить и устранить его «бутылочное горлышко».
Когортный анализ, несомненно, для этого очень хорошо подходит.
Чтобы провести когортный анализ:
Уверен, когортный анализ – это то, что реально может помочь.
Попробуйте и Вы использовать этот инструмент, чтобы привести в порядок свой отдел, подразделение или даже компанию.
Успехов в работе!
P.S. Прочитайте еще три моих статьи по теме когортного анализа:
Но сейчас речь пойдет не о них. Речь пойдет не об инструментах, а о том как их использовать в совершенно конкретной ситуации, а именно: при анализе деятельности внутренней службы технической поддержки.
В большой организации работа централизованных служб часто имеет критическое значение.
Представьте, что Вы – руководитель службы поддержки, состоящей из 10 человек, и Ваша команда обслуживает коллектив из 200 команд, в каждой из которой по 7-10 человек. Это минимум 1400 человек, ежедневно засыпающих Вас работой.
Теперь добавим сюда ещё больше реальности и представим, что Вы выполняете некую централизованную функцию (например, настройку чего-нибудь), без которой команды не могут выдать результат.
Получается, что на Вас всё завязано, и чем быстрее и качественнее будет работать Ваша команда, тем быстрее будут выдавать результат все остальные команды в компании.
И тут начинаются жалобы на медленную отработку запросов…
Естественно, в этой ситуации руководителю нужны фактические данные, а не слова.
На помощь приходит когортный анализ.
Когда первый раз сталкиваешься с когортным анализом, он вызывает естественное чувство отторжения и неприятия, т.к. слишком уж отличается от традиционных графиков и метрик.
Но на самом деле в нём нет ничего сложного. По сути, когортный анализ это что-то типа сезонности.
Сезонность – это когда берутся аналогичные временные периоды, например, годы или недели, и по ним строятся графики поведения измеряемой величины.
Представьте график температуры. Если анализировать его с помощью когортного анализа, то в качестве когорты можно взять год и построить график температуры с начала по конец года.
Сравнивая графики за разные годы можно увидеть одинаковое поведение температуры, повторяющееся из года в год.
Все привыкли к графикам метрик в их обычной интерпретации. Если речь идёт о построении графика, то на ум в первую очередь приходит подсчет общего количества, среднего или суммы.
Но есть проблема: часто такие величины не дают «прозрения», т.е. с их помощью не узнаешь никаких существенных данных, позволяющих понять суть проблемы.
Когортный анализ, в отличие от привычных метрик, даёт такой результат, который позволяет докопаться до истины.
Именно поэтому его всё чаще используют стартапы и коммерческие компании (метрики AARRR анализируются именно когортным анализом) для получения реальной картины своей деятельности.
Давайте на конкретном примере посмотрим, что такое когортный анализ и как его можно применить для оптимизации службы технической поддержки в крупной компании.
Прочитав статью, Вы научитесь проводить когортный анализ самостоятельно, используя лишь обычный Excel и стандартный набор функций.
Познакомьтесь с Иваном…
Руководитель службы технической поддержки, назовём его Иваном, решил проверить, действительно ли запросы в его службу исполняются очень долго.
Благо, все обращения регистрируются через Jira и достаточно всего лишь выгрузить в Excel все тикеты вместе с их историей:
Всего каких-то 3300 записей.
Первое, что пришло Ивану на ум – посмотреть среднее время отработки заявок.
Функция =ЧИСТРАБДНИ() помогла рассчитать количество рабочих дней с момента создания заявки до её перевода в статус «Resolved»:
Воспользовавшись «сводной таблицей» Excel Иван получил среднее время отработки заявки:
(рабочих дней)
«Это ужас!» — воскликнул Иван, ведь в SLA было записано 2 дня на отработку тикетов, а не 16.
График показал еще более ужасную картину:
(Среднее время отработки, раб.дней)
(Количество решенных запросов в день)
Откуда-то возникли запросы, со средним временем отработки 200 рабочих дней(!).
Проблема была налицо, однако из графиков было совершенно непонятно где именно она возникла и в чём её суть. Графики молчали.
Иван впал в отчаяние и не знал, что ему делать. Затем пришла злость.
Подумав какое-то время, он решил наказать тех своих подчиненных, которые работают плохо.
Для этого он построил график средней длительности отработки заявок:
(по оси X – ФИО исполнителей заявок, скрыты, по Y – среднее время исполнения заявки этим человеком, раб. дней)
Виновные были определены.
Но Борис, знакомый Ивана, попросил его не спешить с наказанием, а сначала попробовать применить когортный анализ, ведь это не так сложно как кажется.
Как отбирать когорты
По выгруженным из Jira тикетам была построена сводная таблица Excel по длительности закрытия тикетов (выделить все данные/Вставить/Сводную таблицу).
Первым делом весь массив данных нужно было разбить на когорты. Обычно это делают по дате рождения объекта.
Для отбора когорт сводная таблица была сгруппирована по недельным интервалам по дате создания тикета, а в качестве метрики вычислялась длительность отработки (количество рабочих дней, прошедших с момента создания тикеты до момента его исполнения).
Далее по ним построена сводная диаграмма:
Каждая когорта отображается на графике своим цветом.
И, о чудо! Реальность стала другой.
52% тикетов всё же укладываются в SLA. И да, 47% тикетов закрываются долго – аж до 200 дней (скорее всего там просто забытые задачи?).
А как же среднее время отработки, которое было посчитано раньше? Как видите, оно не имеет к действительности никакого отношения и показывает некое непонятное число, которое неясно как интерпретировать. Именно поэтому использовать средние очень вредно.
Получив реальную картину мира Иван в первую очередь решил понять, что же это за тикеты с 200 рабочими днями исполнения.
В сводных таблицах сделать это очень просто: достаточно дважды кликнуть на ячейку сводной таблицы, и Excel выводит список тикетов, из которых состоит эта ячейка.
Оказалось, что действительно это были забытые тикеты, закрытые, видимо, во время «чистки».
К сожалению, подобные «выбросы» очень сильно влияют на значение средней и сильно её портят в сторону неадекватности, и это еще один аргумент против её использования в анализе.
Исследуем когортный график
Взглянув внимательнее на график Иван увидел пики…
Скорее всего, подумал Иван, есть какие-то специальные типы задач, требующие большего времени, чем заложено в SLA.
Двойной клик на «23» показал список тикетов с длительность исполнения в 23 рабочих дня:
Оказалось, как и ожидал Иван, большинство тикетов были однотипными и запрашивали создание стендов.
Таким же образом Иван проанализировал все пики на графике и по результатам изменил SLA для выделенных типов задач, а также ускорил некоторые из них, разобравшись где именно там скрывалось замедление.
Вторым прозрением Ивана было то, что хвоста на графике, вообще-то, не должно быть совсем.
Как-то так:
Ведь хвост вправо, по сути, обозначает нарушение SLA и затягивание времени исполнения тикетов.
Естественно, задачи разных типов требуют разного времени на реализацию, поэтому в реальности будет и хвост и пики, однако очень желательно, чтобы они стремились к нулю.
А как же «двоечники»?
Действительно, а как же сотрудники с «выдающимся» средним временем исполнения задач?
Как и ожидалось, у самого плохого сотрудника ситуация на самом деле не так уж и плоха (тот же когортный график, но в виде столбчатой диаграммы, представленной для удобства):
Большую части запросов он явно исполняет вовремя, а среднее время портят «выбросы» в виде 170-дневного закрытия тикетов. Кстати, вот и тот, кто закрывал их так поздно!
А так работает сотрудник, исполнивший наибольшее количество задач:
Хорошо заметно, что и у него всё в порядке с выполнением нормативов.
Но и это далеко не всё, что даёт когортный анализ.
Вот теперь можно точно узнать, у кого же именно наибольшее количество задач с временем исполнения > 2 дней.
(по Y – количество задач с временем исполнения > 2 дней, по оси X – ФИО исполнителя)
Есть с чем работать, правда?
И, конечно, список «двоечников» стал немного другим, в нём появились совсем другие фамилии.
А есть ли от всего этого результат?
Начав работу над задачами Иван добился значительных результатов уже на первую неделю.
На графике представлены 3 когорты января 2018 г.
Заметно улучшение ситуации в виде сдвига линий влево к нулю.
Салатовая линия последней когорты показывает, что результаты существенно улучшились и все тикеты закрыты в течение 1 рабочего дня.
Поменяв вид графика на столбчатый, становится хорошо заметно, что большинство тикетов закрываются в тот же или на следующий день:
Изменение группировки подтверждает данные:
Иван понял насколько мощный инструмент он получил, и с этого момента постоянно пользовался им для того, чтобы получить реальную картину того, что происходило в его отделе.
Вывод
Есть много метрик на свете, красивых и разных, но далеко не все они дают возможность по-настоящему вкопаться в процесс, обнаружить и устранить его «бутылочное горлышко».
Когортный анализ, несомненно, для этого очень хорошо подходит.
Чтобы провести когортный анализ:
- Выгрузите в Excel все Ваши события (например, тикеты из Jira);
- Определитесь с целевой метрикой, например, длительность исполнения тикетов;
- Постройте сводную таблицу по дате создания тикета и длительности его исполнения;
- Сгруппируйте даты создания по неделям, чтобы было удобнее;
- Постройте сводную диаграмму на основе таблицы. Используйте разные линии для каждой недели;
- С помощью фильтров и изменения группировок отображайте данные в разных разрезах – по людям, проектам, релизам и проч.
- Проанализируйте пики (выбросы) на графике – посмотрите скрывающиеся под ними тикеты и разберитесь почему они возникли. Из-за специфики или чего-то другого? При необходимости поменяйте SLA.
- По возможности устраните «хвост» (если для Вас это актуально);
- Замерьте результаты Ваших действий.
Уверен, когортный анализ – это то, что реально может помочь.
Попробуйте и Вы использовать этот инструмент, чтобы привести в порядок свой отдел, подразделение или даже компанию.
Успехов в работе!
P.S. Прочитайте еще три моих статьи по теме когортного анализа:
