Продуктовые команды часто применяют такие термины, как «инструментарий» и «телеметрия», и не только потому, что это звучит солидно. Представьте, что вы летите на самолете ночью. Как пилот узнает, в каком направлении движется самолет, достаточно ли топлива, нет ли горы прямо по курсу? С помощью телеметрии.
А теперь представьте, что вы отвечаете за рост вовлеченности на Ютубе. У вас миллиарды пользователей, сложная экосистема. Как узнать, повышается ли вовлеченность пользователей? Почему кто-то использует ваш продукт больше, а кто-то — меньше? И что вообще такое эта «вовлеченность»?
Согласно представлению Эндрю Гроува, изложенному в книге «Высокоэффективный менеджмент», без инструментария, телеметрии и индикаторов (далее будем называть всё это метриками) наш продукт представляет собой «черный ящик», в котором есть вход (код, дизайн, оборудование, время) и выход (доход, пользователи продукта). Метрики помогают количественно оценить выход и прорезать «окна» в черном ящике, чтобы понять, почему мы получаем тот или иной выход. Метрики помогают:
«Измерять» выход (например, успешность продукта): количественно оценивать движение в направлении бизнес-цели.
Анализировать выход: получать ответ на вопрос, почему мы видим тот или иной выход.
Принимать решения: проводить эксперименты и решать, как должен развиваться продукт.
Реагировать и адаптироваться: метрики предупреждают о проблемах с работоспособностью продукта и о тенденциях, которые ставят под угрозу наши цели.
Концентрировать усилия: направлять работу команды в одном направлении.
Типы метрик для продуктовых команд
Использование метрик определяется отраслью, компанией и конкретной задачей. Я не буду пытаться охватить всё, а лишь сосредоточусь на основных понятиях, применимых к наборам продуктовых метрик в большинстве случаев.
Успех, эмпатия и работоспособность
Успех (измерение выхода). В правильном ли направлении движется продукт? В чем причины?
Эмпатия. Можем ли мы определить смысл метрик? Знаем ли мы, что пользователи думают о продукте?
Работоспособность. Контролируем ли мы состояние продукта? У какого процента пользователей он работает надежно?
Истинный север, указатели и контрольные метрики
Истинный север — единственная метрика, используемая для отслеживания успеха продукта (или выхода — в аналогии с черным ящиком). Она должна быть только одна, но ее можно дополнить указателями и контрольными метриками. Метрика «истинный север» обычно представляет собой «воронку поздних этапов», т. е. кульминацию, включающую в себя множество различных шагов, — поэтому повлиять на нее сложно. Вот пару примеров из наверняка известных вам сервисов:
Spotify — общее время прослушивания.
Facebook — количество активных пользователей в месяц (MAU).
Slack — количество активных пользователей в день (DAU).
Указатели — это метрики, которые не определяют успех продукта, однако (вспомним аналогию с черным ящиком) помогают понять, почему истинный север или иные важные части продукта, которые нужно отслеживать, движутся в определенном направлении. Например, если истинный север для Spotify — общее время прослушивания, то указателями могут быть (1) количество уникальных пользователей, (2) количество уникальных композиций, прослушанных одним пользователем, и (3) средняя продолжительность композиции.
Контрольные метрики используются при проведении A/B-экспериментов: они позволяют следить за тем, чтобы вносимые в одну часть продукта изменения не повлияли отрицательно на другую часть. Например, можно провести эксперимент по увеличению количества купленных подписок, предложив значительную скидку за первый месяц. Контрольной метрикой в этом случае может быть удержание пользователей на протяжении двух месяцев — этот показатель поможет выяснить, достаточно ли удовлетворены пользователи, чтобы продолжать пользоваться вашим продуктом. Если значение контрольной метрики оказывается удовлетворительным, можно продолжать инвестировать в привлечение пользователей.
Факты и смысл
Количественные метрики характеризуются высокими объемами и низкой связью с контекстом; они дают фактические данные и помогают понять поведение пользователей: это количество активных пользователей в день (DAU), отток, вовлеченность, объем продаж и т. д.
Качественные метрики — это низкие объемы и высокая связь с контекстом; они придают смысл количественным данным и ставят их в определенный контекст: это могут быть беседы с клиентами, записи экрана, результаты опроса фокус-групп.
При достаточно большом размере выборки качественные данные могут становиться количественными. Например, из большого количества записей пользовательских взаимодействий можно получить тепловую карту, а из масштабного опроса — тенденции по ключевым словам. При этом, однако, есть риск потерять смысл обратной связи.
Помните: какой бы набор метрик вы ни выбрали, у вас должна быть возможность получить факты и выяснить их смысл.
Практические советы по работе с метриками
Определение, внедрение и использование метрик — несовершенный процесс, который приходится регулярно повторять. Однако есть три принципа (может, и больше — мне просто нравится это число), которые я постоянно использую.
Слепо используемые в качестве целей метрики утрачивают смысл
Изменение метрики не должно быть целью. Цель — это достижение бизнес-результата или определенного «выхода» для продукта, а метрика — это способ количественно оценить, достигнута ли обозначенная цель. Представьте, что вы запускаете новый интерфейс входа в систему, чтобы привлечь больше пользователей. Вам нужно определить метрику истинного севера, которая покажет, лучше или хуже новый интерфейс. У вас два варианта:
Коэффициент «показ — сеанс»: процент вошедших в систему пользователей относительно количества открывших экран входа.
Коэффициент «попытка входа — сеанс»: процент вошедших в систему пользователей относительно количества воспользовавшихся интерфейсом экрана входа.
Как и на любую общедоступную веб-страницу, сюда могут заходить боты. Количество просмотров страницы ботами (показы) большое, при этом их трудно отделить от пользователей, но боты редко взаимодействуют с интерфейсом (попытки входа) и никогда не выполняют вход. Учитывая это, можно предположить, что более точной метрикой успеха будет показатель «попытка входа — сеанс», верно?
Давайте разберемся. Представьте, что ваши пользователи делятся на две категории — взрослые и пожилые:
взрослые технически грамотны, показатель «попытка входа — сеанс» для них составляет 71%,
пожилые ориентируются хуже, поэтому в их случае это будет 50%.
Вы запускаете эксперимент, который увеличивает количество попыток входа в систему пожилыми. Их доля увеличится, но только 50% таких попыток будут успешными, поэтому используемая в качестве истинного севера метрика «попытка входа — сеанс» снизится с 65% до 63%:
Метрика истинного севера снизилась, а значит, внедрять новый интерфейс не стоит, правильно? Неправильно. Ваша цель — не увеличение количества успешных попыток входа, а привлечение большего числа людей в продукт, и в эксперименте этот показатель поднялся на 12%:
Значит ли это, что метрика «показ — сеанс» лучше? Необязательно: на нее по-прежнему влияет трафик от ботов. Редко можно найти идеальную метрику, и структурный сдвиг, проиллюстрированный выше, — один из примеров сложностей, с которыми можно столкнуться. Здесь важно понимать, где метрики могут вводить в заблуждение, и устанавливать соответствующие контрольные показатели. Повторюсь: цель — не изменение метрики, а достижение бизнес-результата или определенного «выхода».
Метрики должны быть понятными
Метрики не только оценивают прогресс в достижении цели — они помогают сплотить команду и позволяют сотрудникам действовать с большей автономностью. Для этого метрика должна быть понятна большой группе самых разных людей — иначе это плохая метрика. Для высокотехнологичных команд (например, работающих над поиском) есть исключения, но, как правило, чем проще, тем лучше. Подумайте, сможете ли вы быстро объяснить суть метрики генеральному директору?
В основе самых важных решений почти никогда не бывает идеальных данных
Данные и метрики не существуют сами по себе — они встроены в более широкую экосистему принятия решений. В сфере разработки продуктов у метрик есть два «родственника»: «чутье» и «эмпатия». Обычно про них вспоминают реже, но от этого они не становятся менее важными. Иногда их называют «продуктовой интуицией» — это интуитивное ощущение относительно того, как должен выглядеть идеальный продукт.
Чутье сложно выразить количественно, но это — важный элемент в принятии решений: оно представляет собой кульминацию предыдущих решений и петель обратной связи. И, к счастью, чутье со временем обостряется.
Эмпатия представляет собой интуитивное понимание пользователя или клиента — их проблем, ценностей и мировосприятия.
Каждое наше решение — это результат взаимодействия метрик, чутья и эмпатии. Если хороших метрик нет, приходится полагаться на эмпатию — и наоборот.
Продуктовые команды часто хотят получить как можно более точные данные, и я понимаю это желание: они боятся принять неправильное решение. Но бездействие в ожидании данных тоже стоит денег, поэтому, принимая сложные решения в отношении продукта, всегда помните о двух факторах:
Обратимость. Насколько обратимо это решение? Превышает ли цена принятия неправильного решения издержки от ожидания точных данных?
Эмпатия. Можно ли заменить нужные данные эмпатией? Без одного из этих ориентиров обойтись можно — но без обоих обойтись нельзя.
Резюме. Десять важных вопросов
Инструкции по выбору метрик давать бесполезно, поскольку они в значительной степени определяются конкретными условиями, но я могу предложить несколько вопросов открытого типа, которые можно задавать при определении набора метрик для продукта:
Какой цели вы пытаетесь достичь? Какие у вас миссия и видение?
Как узнать, что цель достигнута?
Как оценивать прогресс в достижении этой цели?
Какие действия вам нужны от пользователей и как оценить, выполняются ли они?
Как измерить совокупное поведение пользователей, определить контекст и выработать эмпатию?
Метрики абсолютные или относительные? Цель — привлечь определенное количество пользователей или определенный процент?
Как понять, что продукт надежно работает у 99,9% пользователей?
Можете ли вы объяснить выбранный «истинный север» максимум двумя предложениями?
Какие контрольные метрики вы отслеживаете в экспериментах?
Как пользователи относятся к продукту?
Здесь есть над чем подумать. Тема продуктовых метрик — очень широкая, и в ней множество нюансов. Однако одно из самых эффективных действий, которые может предпринять продуктовая команда, — вложить ресурсы и время в определение и построение правильных метрик.
Если статья оказалась полезной — можете ознакомиться с остальными в блоге reeve.blog, которые появляются там регулярно (более-менее).
О переводчике
Перевод статьи выполнен в Alconost.
Alconost занимается локализацией игр, приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.
Мы также делаем рекламные и обучающие видеоролики — для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.
