Недавно у меня было собеседование на продуктовую позицию в крупном проекте на российском рынке. Поговорили про сегменты, метрики, чем занимался, как нанимал, ну и всё в таком духе. Спустя два дня приходит фидбек - не прозвучала явная NSM и ее декомпозиция.
Меня зацепил даже не сам комментарий. Про NSM я ответил ещё на интервью, хотя может и не так ярко, как нужно было. Меня зацепила логика под такой обратной связью. В продуктовой среде ярлык все чаще весит больше, чем понимание механики. Назови одну правильную аббревиатуру, и всем сразу спокойнее. Как будто бы продукт после этого начинает расти, задачи поставлены и вообще всё под контролем.
Нет. Так это не работает.
Деньги, поведение пользователей и качество роста не складываются в одну красивую цифру. Поэтому мне хочется вернуть разговор на землю. Откуда вообще взялась эта идея, где она правда помогает, а где из полезной рамки получается маленький культ.
Почему идея North Star Metric вообще стала популярной?
NSM вытаскивала команды из ванильных метрик
Когда Шон Эллис начал продвигать идею единственной метрики, мысль там была вполне здравая. Он не продавал магию. Он пытался вытащить команды из мира установок, просмотров и прочих цифр, которые приятно таскать на общий созвон, но трудно привязать к реальной ценности для клиента.
На фоне хаоса это и правда помогало. Одна цифра собирает внимание. Продукт, маркетинг и руководство хотя бы смотрят в одну сторону, вместо того чтобы тянуть одеяло на свои KPI. Неудивительно, что вокруг темы быстро вырос культ. У Amplitude даже появился отдельный North Star Hub с шаблонами, воркшопами и playbook'ами.
И проблема тут не в идее. Проблема начинается позже, когда команде начинает мерещиться, что одна цифра уже описывает продукт целиком. Вот в этом месте обычно и начинается...
На сильных продуктах NSM работает только поверх системы
В разборах NSM обычно всплывают Airbnb с nights booked - количество забронированных ночей и Spotify с time spent listening - общее время прослушивания контента пользователями . Примеры хорошие. В разборе Amplitude тоже интересно - такие верхние метрики действительно стараются цепляться за ценность.
Но из разговора почему-то постоянно выпадает скучная часть, а именно всё, что осталось под капотом. В любом маркетплейсе под верхним графиком живут поставки, конверсии, отмены, цены, ликвидность предложения, поведение поставщиков и качество трафика. А в подписке или медиа одна метрика вроде времени прослушивания вообще не отвечает на вопрос, что чинить утром в понедельник, когда эксперимент провалился, рекомендательная полка просела в одном сегменте и вдруг выросла в другом.
Я обычно напрягаюсь, когда вижу слайд с красивой NSM, а под ним пусто. Это почти всегда значит, что настоящая работа осталась где-то в стороне. На сцене символ. В подсобке, где пахнет проводами и недокрученными SQL, как раз и спрятался продукт.
В зрелых продуктах прокси легко перепутать с ценностью
В контентных и зрелых продуктах самообман вообще случается быстро. Там очень легко выбрать прокси-метрику, которая звучит солидно. Прочтения, минуты, открытия, глубина сессии. На презентации это выглядит знакомо и всем понятно. А дальше начинается старая песня - метрика выглядит умной, значит и на решения толкает вроде бы умные.
Хотя человек мог провести в продукте больше времени не потому, что получил ценность, а потому, что лента стала липче. Это совсем не одно и то же. Меня бесит даже не сама ошибка, ошибки бывают у всех. Меня бесит священный тон вокруг нее. В этот момент метрика перестает быть рабочей гипотезой и становится догмой.
Где метрика Полярной звезды ломается?
NSM слишком грубо сжимает реальность
Первая проблема довольно банальная. Рост верхней метрики сам по себе не доказывает, что команда поняла драйвер роста. Иногда просто сработала сезонность. Иногда приехал дешевый канал. Иногда акция надула спрос, который через месяц вернется плохим качеством, высоким CAC и просевшим ретеншеном. График растет, а понимания не прибавилось.
Вторая неприятность в задержке сигнала. Для отчета наверх такая цифра удобна. Для управления продуктом она часто поздняя и глухая. Особенно в зрелых продуктах, маркетплейсах и сервисах, где ценность собирается по кускам, через несколько этапов и иногда через несколько ролей.
И третья штука, самая мерзкая на мой вкус. Как только метрика становится священной, команда начинает оптимизировать число, а не пользу. Брайан Бэлфор хорошо пишет про связку output и input metrics. Верхний показатель без слоя входных драйверов очень быстро превращается в аккуратную ловушку. Снаружи все чисто. Внутри уже давно мухлюют с реальностью.
Входные метрики (Input Metrics) - это ��пережающие показатели, на которые команда влияет непосредственно через свои действия. Считается, что если вы улучшите входные метрики, выходные вырастут автоматически
Выходные метрики (Output Metrics) - это показатели, которые отражают конечный успех бизнеса или продукта. Они важны для стратегии, но ими нельзя управлять напрямую
Пример из реальной природы входной и выходной метрик.
Культ NSM вреднее, чем отсутствие единой цифры
Скажу жестче. Отсутствие одной верхней метрики не всегда мешает. А вот культ единой метрики мешает почти гарантированно.
Потому что разговор уходит не туда. Вместо вопроса, что именно двигает деньги, люди спорят, как назвать главный график. Вместо разбора воронки начинается обсуждение ритуала. Какой ивент считать активацией. Где провести границу между новым и активированным. Какую формулу красивее показать на квартальном обзоре.
Снаружи это выглядит прилично. Внутри уже пахнет самообманом, и довольно плотно.
Кейс сервиса записи пациентов на приём
Где тут настоящая управленческая механика
Возьмем сервис записи пациентов. На дашборд очень хочется вынести одну цифру, записи пациентов. Звучит чисто, аккуратно, по-менеджерски. Но для управления продуктом это уже поздняя и шумящая метрика.
Если раскладывать механику, дерево выглядит примерно так.
Состоявшиеся визиты в клинику = сессии × конверсия в поиск врача × конверсия в выбор слота × конверсия в заявку × доля подтверждения × доходимость до приема
Валовая прибыль = состоявшиеся визиты × средняя маржа на визит - CAC - cost to serve, то есть затраты на колл-центр, поддержку и операционку.
Повторные визиты через 30 или 60 дней = доля пациентов, которым первый опыт не сломал доверие и которым продукт помог решить задачу, а не просто оставить заявку.
Вот здесь и начинается взрослый продукт. Заявка сама по себе еще не ценность. Пациенту нужна не форма. Ему нужен реальный прием в нужный слот, без отмены, без кривого подтверждения и без двух пропущенных звонков от колл-центра. Бизнесу тоже нужен не просто объем заявок, а визиты с положительной маржой и нормальным шансом на повтор.
Какие контр-метрики должны стоять рядом с NSM
Если у такой команды рядом с верхней цифрой нет защитных показателей, она почти гарантированно врет самой себе. Я бы держал хотя бы такой набор.
CAC по каждому каналу, потому что рост объема на дорогом трафике очень быстро съедает экономику
Доля подтвержденных заявок, потому что маркетинг и продукт легко разгоняют верх воронки, а узкое место живет ниже
No show rate, доля пациентов, которые не дошли до приема. Иначе можно нарастить записи, не нарастив выручку/ценность для клиник
Среднее время до подтверждения и доля пропущенных обращений. Это уже прямой датчик того, что операционный слой не выдерживает спрос
Доля отмен со стороны клиник. Если supply нестабилен, рост сверху только усиливает хаос.
Повторная запись и LTV по когорте. Иначе системе продают одноразовый трафик вместо лояльных пациентов
Вот почему мне мало одной цифры на дашборде. Мне нужен механизм. Не символ, не тотем, а штука, по которой видно, где именно ломается путь пациента и в каком месте продукт перестает быть управляемым.
Где чаще всего прячется сегментный риск
Средняя цифра по больнице почти всегда врет, на то она и средняя. В сервисе записи пациентов картину нужно резать хотя бы по трем измерениям.
Новый трафик против повторных пациентов. У повторных выше доверие, выше конверсия и ниже cost to serve. Смешаешь их в один график, потеряешь сигнал.
Каналы с разным намерением. SEO по симптомному спросу, брендовый трафик и перформанс дают очень разный хвост по качеству. Один канал может красиво растить заявки и тихо убивать маржу.
Города, клиники и специализации. В одной категории есть запас слотов и быстрая обратная связь. В другой все упирается в дефицит расписания, дорогой саппорт и длинный цикл подтверждения.
Важна механика. У каждой вершины дерева должен быть владелец, допустимый диапазон и понятный лаг. Продукт отвечает за конверсию в выбор слота и подачу заявки. Аккаунтинг отвечает за стабильность расписания и долю отмен. Финансы смотрят на CAC, маржу и возвраты. Пока эта схема не собрана, разговор про единую верхнюю метрику немного декоративный. Красиво, но рановато.
Где NSM реально полезна
NSM полезна как верхний ориентир, но только после сборки системы
Я не предлагаю выкинуть весь подход. Верхняя метрика полезна, когда нужно собрать организацию в один фокус. Она помогает объяснить, ради какого результата вообще живет продукт. В разговоре между продуктом, аналитикой, маркетингом и стейкхолдерами это удобный верхний слой.
Но ее нормальный масштаб сильно скромнее, чем любят рисовать на слайдах. Сначала команда формулирует ценность. Потом строит дерево метрик. Потом добавляет контр-метрики. Потом режет картину на сегменты. И только после этого вешает наверх одну агрегирующую цифру. В разборе Amplitude про good vs bad NSM мысль близкая: верхняя метрика не должна жить отдельно от набора входных драйверов, а тщеславные и запаздывающие метрики легко уводят в сторону.
Ирония в том, что люди, которые давно копаются в стратегии и метриках, уже ушли от идеи одной цифры в вакууме. Тот же Тим Хербиг пишет про связку стратегии, верхней метрики и OKR. Это взрослее. Тут хотя бы есть понимание, что один график сам по себе продуктом не рулит.
Конструкция, которую я бы защищал на любом интервью, особенно когда это касается аббревиатур
Для меня рабочая схема выглядит так.
1. Наверху есть один агрегирующий результат, чтобы команда не расползалась
2. Под ним лежит дерево input metrics, чтобы было видно причинную цепочку от поведения пользователя к деньгам
3. Рядом стоят counter metrics и сегменты, чтобы рост одной линии не маскировал деградацию экономики, качества или операционной устойчивости.
А для экспериментов я почти всегда использовал другие метрики, точно не North Star. Не потому, что они заменяют смысл продукта, а потому, что они раньше меняются, то есть более чувствительные. В работе это показано на примере A/B-тестов: медленные north star metrics часто запаздывают и плохо чувствуют эффект, а метрики, собранные из коротких сигналов, могут заметно ускорять обучение и повышать мощность тестов.
Что я бы хотел слышать от нанимающих PM и HR
Если кандидат на интервью не произнес модный термин, это еще ни о чем не говорит. Мне важнее другое. Может ли он показать причинную цепочку от пользовательского поведения к деньгам. Видит ли он, где метрика запаздывает. Понимает ли, какие counter metrics обязаны стоять рядом. Умеет ли резать картину по сегментам, а не прятаться за среднюю линию.
С HR история примерно та же. Если собеседование превращается в проверку словаря, вы отсекаете не слабых продактов, а тех, кто мыслит чуть менее ритуально. Термин правда можно выучить за вечер. Умение разложить систему на драйверы, ограничения и unit-экономику за вечер не нарастишь, хоть обвесься модными фреймворками.
И что с NSM-то делать?
NSM не нужно отменять. Ей нужно вернуть нормальную роль. Это верхний ориентир, а не замена мышлению.
Если команда может показать дерево метрики, держит рядом защитные показатели и понимает, где у нее деньги, где качество, а где операционный потолок, метрика Полярной звезды правда помогает. Если не может, она просто занимается самообманом. В добавок это ещё может и выглядеть умнее. Но и только.
Поэтому я бы на интервью слушал не слово NSM, а то, что человек ставит рядом с ним. Там обычно и видно, перед тобой продакт или человек, который просто хорошо выучил иностранные символы.
Веду в ТГ канал про продукты - подписывайтесь https://t.me/supervisionpw
