Comments 3
если данные не имеют нормальное распределение, не учтены выбросы и динамика, то аб тест в стандартной форме идет лесом. хотя в качестве красивой презентации пойдет и даже решение на основе такого теста можно принять и ничего особо не потерять
"даже решение на основе такого теста можно принять и ничего особо не потерять" - сначала ты пишешь, что аб тест идет лесом, но решение принять можно)) Что все-таки значит в твоем случае идет лесом? - нормальность распределения далеко не обязательно + выбросы можно убрать
выбросы не всегда можно убрать
нормальность почти обязательна для выводов в том виде, в котором предлагают стандартные аб тесты
то и пишу, что чаще всего правильный ответ на результат аб теста, особенно когда речь идет о тесте цвете кнопочки, это то что различий нет. но из за случайностей и структуры исходных данных аб тест показывает различия. решение принимается. но так как это решение о цвете кнопки, то проблем это не принесет.
Как одолеть вопросы по АБ тестам с собеседований