В биологии и медицине многие эксперименты на людях и других высших приматах, как известно, сейчас запрещены. Но в маркетинге и управлении продуктом это пока не возбраняется. Чем мы активно и пользуемся в ID Finance, проводя мультивариативные тесты ценностных предложений, продуктовых фич, интерфейсов и прочего.

А/Б тестирование в нашей компании отличается широкой распространенностью и особой извращенностью. Тесты у нас проводят все, за исключением разве что юристов и бухгалтерии. Но проблема в том, что эксперименты эти обычно намного сложнее того, что обычно понимают под А/Б тестированием — поменять цвет кнопки, подвигать поля, передизайнить лендинг — то, что можно легко сделать через фреймворки типа Google Analytics или Visual Website Optimizer. В нашем случае меняются большие куски customer journey, а зацепить такой тест может значительную часть основных бизнес-метрик.

В итоге, правильное проведение таких тестов, а, главное, правильное подведение их итогов стало своего рода искусством, доступным немногим просвещенным. Что, конечно, не есть хорошо. В итоге, мы решили начать собирать рекомендации и примеры, дабы помочь бизнес-аналитикам и менеджерам сделать все правильно. Ведь, ошибки стоят достаточно дорого: в лучшем случае мы потеряем время на сбор кривых данных и перезапуск теста, в худшем случае – можем принять ошибочное бизнес решение. При этом компания растет, приходят новые люди и хочется сократить learning curve насколько возможно.