Комментарии 4
> Вы не можете полагаться на результаты теста, имея 100-200 отчетов.
Это слишком сильное упрощение. Если мы серию из 200 парашютов тестируем, первый из них не раскрылся и убил испытателя, тест можно завершать. Преждевременное завершение клинического теста, когда предварительный результат намного лучше или хуже ожидаемого, тоже бывает.
> Верьте результатам. Даже если вы на 146% уверены в эффективности того или иного решения, а тест говорит об обратном – не списывайте это на ошибку.
Это слишком сильное утверждение. Не использовать априорные знания в принятии решений — не лучший вариант. Лучше Байеса спросить или Петрова.
Это слишком сильное упрощение. Если мы серию из 200 парашютов тестируем, первый из них не раскрылся и убил испытателя, тест можно завершать. Преждевременное завершение клинического теста, когда предварительный результат намного лучше или хуже ожидаемого, тоже бывает.
> Верьте результатам. Даже если вы на 146% уверены в эффективности того или иного решения, а тест говорит об обратном – не списывайте это на ошибку.
Это слишком сильное утверждение. Не использовать априорные знания в принятии решений — не лучший вариант. Лучше Байеса спросить или Петрова.
Вы не можете полагаться на результаты теста, имея 100-200 отчетов.
Да, конечно, здесь присутствует упрощение, ведь это общие рекомендации, которые не могут охватить всех случаев. Все зависит от трафика, если для сайта нормальный трафик — 300 человек, то 200 результатов для теста достаточно. Но, если у вас поток в 50к, а вы останавливаетесь на первой тысяче, то результат, возможно, будет неточным. Тем более, что гипотеза должна основываться на проработанных решениях, а не свободных допущениях (это, кстати, касается и темы о априорных знаниях. Иногда они могут тормозить, а не помогать).
Добавлю, что лучше определить метрики эффективности и отталкиваться от них. Такие как click to reg например, если получаете коммерческий трафик на лендинг.
Вообще, статья довольно жиденькая, имхо, но подойдет для новичков.
Вообще, статья довольно жиденькая, имхо, но подойдет для новичков.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
A/B Анализ для начинающих. Как понять, что именно работает на вас?