Для эксперимента с конверсией: H0: pA = pB (разницы в CR нет). H1: pA ≠ pB (для двухстороннего теста; в статье я использовал two-sided).
Для эксперимента с ARPU/денежной метрикой: H0: μA = μB (матожидания равны). H1: μA ≠ μB.
Про MDE и расшифровку Да, здесь MDE = Minimal Detectable Effect. Согласен, что расшифровку нужно явно добавить в текст.
MDE не цель теста, но важный параметр планирования. Я использую в статье на MDE не как центральную правильную метрику, а как на способе заранее сформулировать, какой эффект вообще имеет смысл ловить при текущем трафике, длительности, стоимости ошибки. В моей реальной работе гипотезы обычно задаются диапазоном эффектов (или целевым ROI), а MDE - это удобная точка, чтобы калибровать размер выборки и не попадать в underpowered эксперименты.
Для эксперимента с конверсией: H0: pA = pB (разницы в CR нет). H1: pA ≠ pB (для двухстороннего теста; в статье я использовал two-sided).
Для эксперимента с ARPU/денежной метрикой: H0: μA = μB (матожидания равны). H1: μA ≠ μB.
Про MDE и расшифровку
Да, здесь MDE = Minimal Detectable Effect. Согласен, что расшифровку нужно явно добавить в текст.
MDE не цель теста, но важный параметр планирования. Я использую в статье на MDE не как центральную правильную метрику, а как на способе заранее сформулировать, какой эффект вообще имеет смысл ловить при текущем трафике, длительности, стоимости ошибки. В моей реальной работе гипотезы обычно задаются диапазоном эффектов (или целевым ROI), а MDE - это удобная точка, чтобы калибровать размер выборки и не попадать в underpowered эксперименты.