Автор статьи: Кристина Курдюмова
ментор продактов, product manager Avito, стрим активация новых пользователей
Одним из главных навыков менеджера по продукту является аналитика. Менеджер без аналитических навыков может претендовать только на позицию Junior. В настоящем времени сложно представить компанию, которая принимает решения, основанные на чем-то еще, кроме метрик.
С каждым годом мир становится более турбулентным, а компании становятся гибче. Это значит, что цели планируются максимум на год, а в критические периоды — на месяц. Как итог, менеджеру необходимо выбрать из десятков гипотез бэклога всего одну-две, которые принесут максимум результата за короткий промежуток времени. Вот тут и начинаются проблемы. Как это сделать? Как не ошибиться? Давайте разбираться на примере.
Предположим, вы отвечаете за конверсию в заявку на сайте. Сейчас конверсия из трафика на сайт в кнопку «оставить заявку» составляет 5%. У вас в арсенале гипотезы:
Сделать кнопку «Оставить заявку» больше.
Изменить место кнопки «Оставить заявку», разместить ее на 2 блока сайта выше.
Изменить ценностное предложение вашего продукта на сайте.
Добавить лид-магнит на сайт.
Как вам кажется на первый взгляд, какая из этих гипотез даст окажет наибольшее влияние на вашу метрику? Запомните свой ответ.
Разберем гипотезы
Первые 2 гипотезы очень легко просчитать. Но перед расчетом хочется, чтобы вы углубились в проблемы, которые дали повод для таких гипотез.
1. Сделать кнопку «Оставить заявку» больше.
Формулируя такого рода гипотезу, нужно понимать, что гипотеза о проблеме звучит так: У нас есть гипотеза, что пользователи сейчас не замечают кнопку на сайте. Чтобы это проверить, нужно провести юзабилити исследование и посмотреть в Яндекс аналитике тепловую карту + записанные сессии пользователей (если есть). Если гипотеза на исследовании подтвердится, стоит идти в тест гипотезы.
Как посчитать?
Всегда важно найти бенчмарк, на который вы будете опираться. Бенчмарк (финансы) — показатель или финансовый актив, доходность по которому служит образцом для сравнения результативности инвестиций. В данном случае нам нужно найти кнопку большего размера, чем текущая, и посмотреть на ее конверсию. Например, у вас есть кнопка, которая больше и ее конверсия составляет 5,2%. !Если у вас нет таких данных, то нужно искать бенчмарк на рынке (смотрите кейсы продактов, гуглите, общаетесь с коллегами из других отделов и компаний).
Составляем модель:
Маленькая кнопка 5%
Большая кнопка 5,2%
Аплифт роста 0,2%
С тем же количеством трафика в 10.000 чел/месяц:
Если кнопка останется прежнего размера — получим 500 заявок.
Если мы изменим размер кнопки и увеличится конверсия в кнопку — 520 заявок.
То есть, каждый месяц мы будем получать + 20 новых заявок, в год это 240 заявок.
Что составляет +4% заявок total к году.
2. Изменить место кнопки «Оставить заявку» выше на 2 блока сайта выше.
Схема подсчета такая же:
Ищем бенчмарк кнопки выше (прикидываем/ищем на рынке).
Составляем модель.
Кнопки на 1 блоке имеют конверсию 2%
Текущая кнопка 5%
Аплифта роста здесь нет — мы потеряем в трафике -3%
С тем же количеством трафика в 10.000 чел/месяц:
Если кнопка останется на том же блоке — 500 заявок.
Если мы переместим кнопку выше на 2 блока — получим всего 200 заявок.
То есть, мы оказываемся в минусе, -300 заявок.
Каждый месяц мы будем получать 200 заявок, в год это 2 880 заявок.
Итог — теряем 48% заявок total к году.
Небольшой дисклеймер по гипотезам выше.
Данные гипотезы — не самые лучшие с точки зрения продуктового опыта. Работа над кнопками, безусловно, может дать вам рост метрик, но незначительный. Фокусируйтесь на решении проблем пользователей, а не на размере кнопок. Мы можем сделать одну большую кнопку на сайте или 10 маленьких, но это не решит проблему пользователя и не даст ему почувствовать, что именно ваш продукт решит его проблему.
Продолжим разбор гипотез.
3. Изменить ценностное предложение вашего продукта на сайте.
А вот это уже интересная и сложная гипотеза, которую будет не так просто посчитать. Здесь однозначно напрашивается исследование, как пользователи сейчас понимают, о чем ваш продукт, исходя из данных на сайте. И здесь без первых действий невозможно посчитать, не опираясь на предыдущий опыт и опыт ваших коллег.
Ценностные предложения — штука очень сложная. Они могут как повысить вашу конверсию за счет того, что вы расскажете своим пользователям о продукте доступно, а может и снизить конверсию, так как пользователям стало, наоборот, менее понятно.
Такие гипотезы тестируются на уровне контента — почитайте про то, как я тестировала контент онбординга в Авито, в статье на vc.
После того, как вы знаете, насколько вы повысите знание, можно составлять модель.
Пример. Повысили уровень знания о ядре продукта. 33% пользователей понимали его в старом ценностном предложении на сайте => 67% пользователей стали понимать наше ядро продукта.
Возникает пропорция:
Конверсия в заявку у нас сейчас 5%
Понимание, о чем продукт на сайте 33%
Сколько будет конверсия в заявку сейчас
Если понимание о чем продукт стало — 67%
Итого: ~10%
Аплифт 5% говорит о том, что здесь есть большой потенциал для роста. Однако, так как это приблизительные цифры, мы не можем взять бенчмарк, как цель (мы так делали в расчетах гипотез 1 и 2). Поэтому мы будем стараться сократить этот разрыв хотя бы на 30% [может быть любое число, в которое вы верите, основываясь на результатах прошлых А/В тестов].
В таком случае наша модель будет следующей:
Конверсия в заявку у нас сейчас 5%
Конверсия в заявку с новым ценностным предложением 6,5%
С тем же количеством трафика в 10.000 чел/месяц.
Если кнопка останется прежнего размера — 500 заявок.
Если мы изменим ценностное предложение — 650 заявок.
То есть каждый месяц мы будем получать + 150 новых заявок, в год это =1 800 заявок.
+30% заявок total к году.
4. Последняя гипотеза — добавить лид-магнит на сайт.
Это не просто гипотеза, а новая воронка в вашем продукте, которая будет действовать на тех пользователей, которые имеют проблему, но пока не готовы оставить заявку.
С такими пользователями тоже важно и нужно работать. Лид-магнит, как один из способов:
подсветить проблему пользователя и почему это есть проблема для него;
дать понять способы ее решения.
В метриках, от реализации этой гипотезы, у вас также останется конверсия в заявку на сайте 5%. Но добавится еще и новые заявки с лид-магнита.
Трафик на сайте 10,000 чел./мес.
Конверсия в заявку составляет 5%
Заявок в месяц — 500
Скачали лид-магнит еще 5% пользователей (берем бенчмарк с рынка, ваши прошлые тесты) — 500 чел.
Конверсия в заявку 1%
Заявки с лид-магнита — 5
В год + 60 заявок, +1% заявок total к году.
Анализируем результаты
Гипотеза | + Новых заявок в год | абсолют | Заявок в год | total к году. |
Сделать кнопку «Оставить заявку» больше | + 240 | +4% заявок total |
Изменить место кнопки «Оставить заявку» выше на 2 блока сайта выше | - 2 800 | -48% заявок total |
Изменить ценностное предложение вашего продукта на сайте | + 1 800 | +30% заявок total |
Добавить лид-магнит на сайт | + 60 | +1% заявок total |
Выиграла гипотеза не простая, но самая действенная. И все это мы с вами смогли посчитать буквально за 20 минут. Опираясь на бенчмарки и мой опыт, который я с радостью передаю своим ученикам на менторстве (писать в телеграме @product_kris) и на уроках в Otus.
Итоги:
Подсчет любой гипотезы строится на бенчмарках, чтобы мы понимали предельное значение.
Иногда даже самая простая гипотеза в реализации может стоить дорого в ее результатах.
Опирайтесь на цифры — они не врут.
Лучше посчитать «верхнеуровнево» и оценить, чем совсем не считать.
Приглашаем всех желающих на открытый вебинар «Формулирование гипотез, поиск точек роста», на котором мы:
— Узнаем, что такое гипотезы и рассмотрим примеры гипотез;
— Определим, с чего начать процесс постановки гипотез;
— Рассмотрим примеры того, как гипотезы реализуются и в чем преимущество работы с ними.
Регистрация на вебинар.
