Как быстро и безболезненно выбрать лучшую из десяти выборок

[tikhomirov_d]

Спасибо за прекрасный метод и коллаборацию :)

[khodyakova_ma]

Это взаимно))

[armenyes]

Спасибо за статью, очень интересно!

Гипотеза  означает, что -й баннер дает наибольшую конверсию продажи и она больше конверсии на других баннерах,  — все баннеры дают одинаковую конверсию продажи. Но возможен случай, что есть два баннера, которые дают одинаковую конверсию продажи и их конверсия максимальна. Принятие нулевой гипотезы  означает не ее верность, неверность остальных  гипотез. 

Такой вопрос: а что по поводу ошибки второго рода и мощности такого подхода? Не ниже ли она по сравнению с использованием обычной поправки Бонферонни? Интуитивно кажется, что если мы принимаем H0 каждый раз, когда не можем выявить явного победителя среди k гипотез, то ошибка второго рода здесь будет выше, чем в классическом случае.

С другой стороны, чтобы скорректировать эту ошибку второго рода, увеличив размеры каждой из k выборок, но будет ли это лучше в том смысле, что суммарно понадобится меньше пользователей в группы, чем поправка Бонферонни?