Прозрение по метрикам: как я понял, что такое метрики и в чём их главная прелесть

Метрики — это фуфло, скажите Вы, и будете правы. В чём-то.

Действительно, если речь заходит о метриках, то самая первая первая метрика, которая приходит на ум — посещаемость.

Многие любят медитировать часами глядя на график посещаемости своего сайта.

image

Как же это круто, наблюдать как скачет линия — туда-сюда, туда-сюда… А еще круче, когда посещаемость сайта растет непрерывно.

Тогда блаженное тепло разливается по всему телу и разум воспаряет к небесам в ожидании манны небесной.

Ах, какая радость, какое блаженство!

image

И даже если картина печальная…



От графика все равно не оторвать глаз, так он затягивает.



Кажется, что в графике скрыт тайный смысл. Еще немного, и картинка раскроет свои секреты и расскажет невероятно простой и эффективный способ привлечения огромного количества клиентов. И тогда-то деньги точно потекут рекой.

Но на самом деле, посещаемость — типичная “слащавая (тщеславная) метрика”, не несущая в себе полезного смысла.

И таких метрик большинство. В основном все метрики, которые Вы увидите — слащавые. И именно поэтому за метриками сложилась дурная слава бессмысленной траты времени и сил.

Но на самом деле это совсем не так. Правильные метрики дают крайне важную, а порой бесценную информацию для бизнеса и проекта.

Главный бонус и назначение метрик — это то, что они дают возможность управлять Вашим бизнесом или проектом.

Как определить, что метрика плохая?



Давайте рассмотрим очень простой пример — скорость автомобиля.

Скажите, пожалуйста, что обозначает скорость…

100 км/ч ?





Хм…

Хм…

Так что же она обозначает?

Думаю, Вы, наверное, и сами догадались, что… ничего не обозначает!

Ок. Теперь второй вопрос:

100 км/ч это хорошо или плохо?

Хм…

Ни то ни другое?

Верно!

Скорость — совершенно бесполезная и бестолковая метрика. Если, конечно, её использовать саму по себе. В купе с другими метриками она, конечно, может что-то сказать, но сама по себе — точно нет.

Посещаемость сайта — ровно та же самая скорость.



Именно поэтому зависать перед графиком посещаемость сайта нет совершенно никакого смысла. Он не раскроет Вам тайну жизни. Понимаете теперь?

А какие метрики тогда хорошие?



Например, Churn rate. Эта метрика говорит сколько клиентов ушло из компании/сайта навсегда с течением времени.

Churn rate = 1% говорит, что мы теряем всего 1% клиентов. Т.е. почти никого не теряем.

Если же Churn rate = 90%, то это означает, что мы теряем почти всех своих клиентов. Это ужасно!

Видите отличие этой метрики от скорости?

Churn rate — наполненная смыслом метрика, которая отвечает на вопрос, хорошо это или плохо. И Вам не нужно гадать, что она обозначает.

Это метрика, говорящая сама за себя!

И теперь мы готовы предпринять срочные действия, чтобы уменьшить отток клиентов.



Именно поэтому такие метрики называют действенными. Потому что они побуждают к действию.

Критерий “слащавости” метрик



Есть очень простой способ определить, что метрика “слащавая / тщеславная” (англ. vanity).

Большинство абсолютных метрик, таких, например, как посещаемость, количество скачиваний, количество ретвитов, количество email-ов/подписчиков, количество лайков и т.д. являются слащавыми.

Относительные, взвешенные, метрики часто бывают действенными. Но не все!

Что касается качественных метрик, то тут однозначности нет, т.к. качественная оценка сама по себе не может быть точной и однозначной.

Но с другой стороны, оценивать удобство программы можно и нужно именно по уровню восприятия конечных пользователей и никак иначе.

Как подступиться к метрикам в целом?



Первым делом нужно перевернуть мозг.

Без шуток.

Каждый(!) кто сталкивается с метриками, первым делом начинает искать в них причину бытия. Но они ее не покажут, к сожалению.

Метрики — это просто как обычная линейка с помощью которой мы измеряем все, что хотим.



Вы же не ищете причину бытия в обычной деревянной линейке, верно?



Поиск смысла жизни в линейке — это то, что называется “подход снизу-вверх”.

Для правильной работы с метриками нужно сменить парадигму и начать работать наоборот, сверху-вниз.

Т.е. сначала делать какое-то действие, а потом уже с помощью метрик измерять получившийся от него эффект.

Следует использовать метрики как обычный предмет для измерений и не более.

Вдумайтесь в эти слова.

Измеряйте с помощью метрик эффект от Ваших действий, а не придумывайте действия на основании показаний деревянной линейки.

Такой подход ещё называют “Гипотеза->Измерение”.

Ок, с этим понятно.

Вопрос № 2: “А что именно измерять? Как найти правильные метрики?”

Как составить свой набор метрик?



Полазив по Интернету Вы наверняка найдете десятки, а то и сотни различных метрик на одну и ту же тему.

Например, метрик качества ПО можно найти около сотни. Это и стандарты ГОСТР-ИСО, и метрики, рассчитываемые в SonarQube, и какие-то самописные варианты, и даже “качественные” метрики, основанные на отзывах пользователей.

Так какие же стоит использовать, а какие нет?

Самый лучший подход — руководствоваться “основной ценностью”.

OMTM (One Metric That Matters)



Давайте рассмотрим пример.

Понятно, что если Вы хотите улучшить качество Вашего программного продукта, то измерить это качество можно разными путями.

Качество — это не только количество ошибок. Если смотреть на качество в целом, то это:

количество инцидентов в проме,
удобство использования и простота восприятия,
быстрота работы,
полнота и своевременность реализации запланированного функционала,
безопасность.

Критериев много и работать сразу со всеми невозможно. Поступают очень просто: выбирают один, самый важный в данный текущий момент критерий, и работают только с ним.

Такой подход называется OMTM (One Metric That Matters) — Одна (Единственная) Важная Метрика.

ОМТМ качества ПО логично выбрать количество серьезных (важных и критических) инцидентов в промышленной среде.

Для интернет-магазинов над OMTM вообще думать не надо — это объем продаж или прибыль (в зависимости от Вашего решения).

Эта Одна Важная Метрика и будет основной ценностью для Вашего набора метрик. И именно от неё будет зависеть их финальный набор.

Ценность Inside



Составлять набор метрик часто начинают “от балды”, порывшись в Интернете и выбрав из найденного лучшие варианты по принципу: “О! Это нам подойдет!”

Как Вы понимаете, это не лучший способ, верно?

Но как решить, какую метрику брать, а какую нет?

Например, часто измеряют различного рода конверсии пользователей.

Но почему измеряют именно пользователей, а не что-нибудь еще? Вы не задумывались над этим вопросом?

Естественно, ответ есть.

Давайте рассмотрим интернет-магазин как самый простой для понимания пример.

Допустим, Вы хотите увеличить объем продаж. Какие метрики Вам для этого понадобятся? Как к этому подойти?

Есть один простой, логичный и работающий способ. Всё встаёт на свои места, когда Вы отвечаете на вопрос:

КТО ПРОИЗВОДИТ ЦЕННОСТЬ?

Мы ведь работаем надо объемом продаж, так? Хотим его увеличить, верно?

На кого и на что нужно повлиять, чтобы увеличить объем продаж?

Конечно,

нужно влиять на причину —
на того, кто “производит” ценность.


Кто производит деньги в интернет-магазине? Откуда появляются деньги?

Очень просто: от клиентов.

Где именно в интернет-магазине можно повлиять на клиентов?

Да где угодно!
Верно. На каждом этапе жизненного цикла клиента.

Для представления жизненного цикла удобно строить т.н. “воронку” движения клиента по процессу.

Пример воронки интернет-магазина:



Почему именно так? Потому что клиенты теряются именно при переходах с одного шага воронки на другой.

Увеличивая количество клиентов на каком-либо уровне воронки, мы автоматически увеличиваем результирующий объем продаж.

Простой пример.

Метрика “Процент брошенных корзин” по сути показывает конверсию при переходе от товарной корзины к оформленному заказу.

Допустим, при первом замере Вы обнаружили, что теряется 90% корзин, т.е. из 10 корзин делается только 1 заказ.

С товарной корзиной явно что-то не так, верно?

Для простоты будем считать, что сумма одного заказа — 100 руб. Т.о. итоговый объем продаж составит всего 100 руб.

В результате доработки корзины, процент брошенных корзин уменьшился на 10%, до 80%. Как это выглядит в цифрах?

Из 10 корзин стали оформлять 2 заказа. 100 руб * 2 = 200 руб.

Но это же увеличение объема продаж на 100%! Бинго!

Увеличив конверсию шага всего на 10% Вы увеличили объем продаж на 100%.

Фантастика!

Но именно так это и работает.

Понимаете теперь в чём прелесть правильно построенных метрик?

С их помощью можно добиться фантастического влияния на Ваши процессы.

С интернет-магазином всё довольно просто, а вот как это всё переложить, например, на качество программного продукта? Да точно также:

  1. Выбираем основную ценность над которой работаем. Например, сокращаем количество инцидентов в проме.
  2. Понимаем, кто и что производит эту ценность. Например, исходный код.
  3. Строим воронку жизненного цикла исходного кода и расставляем метрики на каждом шаге воронки. Всё.


Вот, например, какие метрики качества могли бы получиться (на вскидку)…

Показатель ценности:
  • плотность дефектов прома на 1000 строк кода


Метрики исходя из жизненного цикла исходного кода:

  • доля неудачных компиляций,
  • охват автотестами,
  • доля неудачных автотестов,
  • доля неудачных развертываний.


Метрики исходя из жизненного цикла дефектов:

  • динамика обнаружения дефектов,
  • динамика исправления,
  • динамика переоткрытий,
  • динамика отклонений дефектов,
  • среднее время ожидания исправления,
  • среднее время исправления.


Итоги

Как видите, тема метрик реально очень важная, нужная и интересная.

Как правильно подобрать метрики:

Выбирайте OMTM, продумывайте её основную ценность и измеряйте производителей этой ценности.

Метрики стройте на основании воронки жизненного цикла производителя.

Старайтесь не использовать абсолютные метрики.

Что ещё почитать на эту тему



Тема метрик стала популярна на волне движения Lean Startup, поэтому лучше всего начать чтение с первоисточников — книг “Lean Startup” (перевод на русский — “Бизнес с нуля. Метод Lean Startup” на Ozon) и “Lean Analytics” (перевода нет, но книга на английском продается на Ozon).

Кое-какую информацию можно найти в Интернете даже на русском языке, но всеобъемлющего учебника, к сожалению, пока найти не удалось даже в западном сегменте.

Кстати, сейчас появились даже отдельные специалисты “продуктологи”, задачей которых является построение правильной системы метрик для своего продукта и предложение путей по их улучшению.

На этом всё.

Если статья помогла Вам лучше понять суть вопроса, автор будет признателен за “лайк” и перепост.
Share post

Comments 11

    +4
    Поздравляю! Вам удалось написать худшую статью, которую я видел. Я не буду придираться к оформлению, а покажу несколько ошибок в сути статьи:

    >Думаю, Вы, наверное, и сами догадались, что… ничего не обозначает!

    Скорость в 100Км/час означает, что за час времени я проеду сто киломметров. Это ОЧЕНЬ важно при планировании времени, требуемого за путь.

    >Для интернет-магазинов над OMTM вообще думать не надо — это объем продаж или прибыль (в зависимости от Вашего решения).

    Поздравляю, вы только что развалили налаженный бизнес.
    Наняли пачку маркетологов, переделали сайт начали «доить» пользователей. Объемы продаж выросли! Прибыль огромная! А давайте еще оптимизировать и доить пользователя! Объемы и прибыль же! Растет же! Всем премий!

    А в итоге, люди работавшие по 5-10 лет и имеющие огромный опыт (и свою базу клиентов) уходят к конкурентам, постоянные клиенты понимают, что отношение к ним поменялось и теперь их доят и так же уходят к конкурентам.

    И наш интернет магазин перебивается случайными покупателями, из которых старается выжать все. Прибыли минимальны, но наш прекрасный аналитик давно слился разваливать следующий бизнес.
      –1
      Я очень ценю каждое мнение, даже отрицательное.
      Прекрасно понимаю, что такой стиль изложения нетипичен для Хабра, да и сама тема метрик пока еще довольно нова.
      К сожалению, не знаю конкретно Вашей ситуации, однако для интернет-магазинов в качестве основной метрики посоветовал бы т.н. «Traction»: стоимость привлечения <= пожизненной стоимости.
      Также рекомендую посмотреть фреймворк ARRR из метрик, созданных специально для интернет-магазинов.
        +1
        Я был в ситуации крысы бегущей с тонущего корабля. Больше не хочется.

        Вы однозначно определяете в статье одну метрику для интернет магазина, а в комментарии уже приводите другу.

        К сожалению, это выглядит как минимум — не проффесионально. Как максимум — это выглядит ложью.
          0
          Просто я в статье писал не про конкретный набор метрик, а про то, как подходить к их выбору в целом, чтобы в результате не пришлось никуда убегать.

          Кстати, Ваших комментариев по поводу доения пользователей я не совсем понял. Как они связаны с выбором метрик?

          Если хотите, давайте разберем Ваш случай и посмотрим, что там можно было бы изменить
      –1
      Скорость — совершенно бесполезная и бестолковая метрика.

      У любой метрики важен контекст:
      100 км/ч в городской черте — это круто, но очень опасно для окружающих
      100 км/ч на автобане — черепаха, вали отсюда
      или как выше комментатор верно указал про контекст планирования времени.


      По поводу статьи в целом: в чем ее соль? Что вы хотели донести до масс?

        –1
        Конечно, контекст важен. Я так и сказал в статье, что скорость сама по себе ничего не скажет, однако если рассматривать её с контекстом, например, с метрикой мощности двигателя, то можно много чего интересного узнать.

        Но если просто смотреть на скорость или просто на посещаемость — это потеря времени.

        Соль статьи в том, привычное взгляд на метрики не актуален, и что строить хорошую систему метрик нужно исходя из ценности и её жизненного цикла
          0
          А что такое «привычное взгляд на метрики»? Я не спец и близко и никогда не пользовался метриками (не было необходимости), но если бы я хотел получать метрики, то для какой то цели. Если метрика не показывает нужный мне результат, не важно плохой или хороший, то значит она не правильна выбрана. Или то что не правильно это и называется привычное?
      0
      Для какой цели — это правильный вопрос. Сначала нужно определиться, чем Вы хотите управлять.
      Интернет-магазин хочет управлять (увеличивать количество) деньгами (на макроуровне). ИТ-подразделение заинтересовано управлять временем поставки (уменьшать).
      А чем Вы хотите управлять? Об этом я и написал в статье — начините с выбора ценности, которой хотите управлять.
      Следующий вопрос после ценности: как ей управлять?
      Например, как управлять количеством денег интернет-магазина?
        0
        Это и так все понятно думаю многим, даже тем кто этим не занимается. Я спросил немножко другое — что такое привычный взгляд на метрики, откуда ему взяться?
        Скажем для меня привычно слышать от каких нибудь издателей игры — «у нас 10 000 000 зарегистрированных пользователей». Это привычно, и понятно, что ничего не говорит о качестве игры или о ее реальном онлайне. Т.е. привычно маркетинговая статистика для широких масс, где предполагается больше значит лучше.
        Привычный взгляд на метрики, это получается взгляд тех кто их ниразу не использовал?) Или использовал но не правильно? Так это не привычный взгляд, а кривой.
          +1
          Ну значит кривой.
          Может быть мы с Вами общаемся в разных кругах. Я очень мало вижу людей, которые понимают, что 10 000 000 пользователей — это ни о чём. В основном для всех это показатель крутости.
          Тех, кто знает, что смотреть надо на CAC и LTV — единицы.

      Only users with full accounts can post comments. Log in, please.