Comments 3
Ваше заключение: "...мы правильно сформулировали гипотезу, выбрали оптимальное соотношение процента прироста и длительности эксперимента, а также определили наиболее подходящее распределение аудитории " — кажется мне скорее попыткой выдать желаемое за действительное, нежели выводом основанным на реальных фактах. Вся статья больше похожа на попытку разобраться в самом подходе к проведению эксперимента. А содержание проводимого эксперимента, вообще, очень сомнительным. Возможно, руководство недостаточно критично отнеслось к вашей работе и этому материалу, только этим я могу себе объяснить появление и первого и второго.
Статья написана для людей, кто никогда не сталкивался с А/В и не имеет опыта в статистике. Поэтому да, многие вещи упрощены. Сделано это намерено.
На наш взгляд, очень много материала есть для продуктовых аналитиков и очень мало для новичков. Из-за этого тема А/В подается как сложная и с высоким порогом входа, а мы хотим сказать, что и без опыта, без отдела аналитики и с небольшой аудиторией - вы все равно можете запускать тесты.
А/Б тесты внешне просты, но это не означает, что результата легко добиться. Меньше 15% тестов в зрелых командах приводят к значительным результатам. Искажение распределения трафика по вариантам на 0,2% уже искажает результат тестирования. Даже при наличии выигрышного результата у вас есть почти 26% вероятности, что результат неверен. И как говорил генеральный директор Airbnb Брайан Чески: «А/Б-тестирование — это отказ от ответственности перед пользователями.»
Полная его цитата звучит так: «А/Б-тестирование — это отказ от ответственности перед пользователями. Если вы собираетесь проводить A/B-тестирование, оно должно быть основано на гипотезах. Если это сработает, вы должны быть в состоянии сказать, почему, а не только что».
Проектируем А/Б-эксперименты грамотно