Если вы искали ответ на вопрос «Сколько людей пользуется темной темой?», то вот он, рассказываю. 

На примере букмекерского продукта, в мобильном приложении больше 40% пользователей видят темную тему, когда заходят в приложении. Это может быть как системная настройка переключения темы на устройстве (таких кстати ~85% пользователей), так и вручную переключились и сидят только на темной. 

В вебе процент меньше, около 25%. Вероятно, это связано с тем что не все компьютеры/ноутбуки умеют в системную смену темы девайса, а также с тем что часть веб (особенно десктоп) аудитории довольно таки консервативна, и для них сайт - это обязательно что-то на белом фоне.

Так что, если вы сомневались нужна ли темная тема в продукте. Не сомневайтесь, нужна.

Метрики теста

В дизайне эксперимента ключевое значение имеет выбор правильной метрики, на которую должна влиять проверяемая гипотеза. Если команды не фокусируются на конкретной метрике и пытаются изучить все сразу, это часто приводит к плохо спланированным экспериментам и искажению результатов. Это может случиться, если команда не просчитала ожидаемый эффект от гипотезы или сделала это неверно.

Лучший подход – выделить ключевую метрику, исходя из OKR (целей и ключевых результатов) команды или продукта. Это помогает понять, какие показатели нужно улучшать и ограничить выбор гипотез, делая их более релевантными. Важно составить дерево метрик, которое помогает понять взаимосвязь между различными показателями.

На практике продуктовые команды не всегда могут напрямую влиять на бизнес-метрики, так как они зачастую складываются из других показателей. В Лиге мы инвестируем много времени в разработку общего дерева метрик, которое разбивает бизнес-метрики на составляющие, связывает их с продуктовыми метриками и устанавливает уровни их чувствительности. Это упрощает выбор метрик в команде и помогает понять, на что они могут реально повлиять и как это скажется на главной метрике.

Не начинайте эксперименты, не понимая точно, как и на какую метрику повлияет изменение. Лучше заранее провести расчеты, чем тратить ресурсы на разработку и тестирование без четкого плана.

Сколько стоит гипотеза?

Аналитик не аналитик, если не помогает команде приоритизировать гипотезы.
В мире продуктов и маркетинга всегда есть множество идей и гипотез, которые хочется проверить. Но ресурсы команды ограничены, и мы не можем проверить все и сразу. На практике оказывается, что всего 1 из 10 гипотез действительно приносит значимые изменения и окупает вложенные в неё усилия. Если мы выберем неправильные гипотезы для проверки, рискуем потратить время, деньги и ресурсы впустую.

Давайте попробуем оценить гипотезы с точки зрения того, сколько они стоят.
Предположим что в среднем один участник для компании стоит около 400 тыс рублей.
Команда в среднем состоит из 10 человек, то есть 4 млн в месяц. За месяц она может проверить около 2 гипотез.
Тогда одна гипотеза стоит 2 млн.
Исходя из практики, срабатывает 1 из 10 гипотез, так что одна успешная гипотеза стоит 20 млн.

Теперь понятно, какой эффект должна давать каждая новая идея, чтобы окупиться. Нам нужны гипотезы, которые решают ключевые проблемы и способны дать существенный рост.

Для приоритезации гипотез мы с командой используем RICE – охват (Reach), влияние (Impact), вера в успех (Confidence), сложность (Effort).

RICE Score = (Reach*Impact*Confidence) / Effort

В действительности есть много статей как лучше расставлять приоритеты, вот некоторые из них:

Фреймворки по приоритезации задач

Как приоритизировать продуктовые гипотезы

DHM подход к приоритезации гипотез от Netflix 

Помните, ваша команда — это инвестиции.