Увеличиваем размер выборки и прокрашиваем серые метрики: неочевидная ошибка при проведении А/B — тестов

[dezluvv]

А/Б-тестирование - это проверка гипотезы о наличии статзначимой разницы в метрике между двумя группами; альфа и бета (в контексте статьи) - это ошибки первого (вероятность отклонить нулевую гипотезу при условии, что она верна) и второго рода (вероятность не отклонить нулевую гипотезу при условии, что она ложна) соответственно.

[sneg2015]

Интересная статья. Можно ли вместо t теста использовать тот же Монте Карло или z тест?

[dezluvv]

Можно хоть свой критерий придумать, главное чтобы он корректно работал на ваших данных