Search
Write a publication
Pull to refresh

A/B-тесты греют душу продакт-менеджера холодными вечерами, но обладают вредным характером. Нужно пилить инфраструктуру или интегрироваться с чем-то дорогим, эксперименты тяжело проектировать, при оценке важно учитывать стат.значимость. Я люблю и ненавижу A/B, у-о-о-о...

А ещё эксперимент не приходит один. Если уж начал проверять гипотезы, под это дело приходится переделывать процессы, в том числе в собственной голове. Приоритеты порой приходится расставлять почти вслепую — это, мягко скажем, некомфортно.

Вот тренажёр, который заставил меня сомневаться в себе:
https://www.lukasvermeer.nl/confidence/

Перед вами бэклог экспериментов. У каждого есть направление (некоторые работают, другие мёртвые) и ожидаемое влияние в метрику (соответствует реальности не всегда). Задача: расставить приоритеты и принимать решения по экспериментам таким образом, чтобы к концу игры получился хоть какой-то положительный результат.

С Instant feedback ориентироваться довольно просто, но попробуйте сыграть на Realistic. Ощущения непередаваемые, очень похоже на настоящую работу с A/B-тестами и их результатами.

Tags:
Rating0
Comments0

Articles