Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

[Tyusha]

Немного не в тему.

Помню, делала для крупной сети магазинов модель, которая должна была по географии размещения торговой точки и её параметров выдавать ожидаемую выручку. Для этого анализировались потоки траспорта, доходы населения района, конечно же размеры магазина, моделировалась его доступность. Короче сложная геоинфрационная модель с довольно сложными и оригинальными подходами, с покупкой пиратских баз от ГИБДД до налоговой и т.д.

И в конечном итоге мой результат (для получения предполагаемой выручки) домножася на один параметр. Спрашиваю: а это что за величина? Отвечают: это параметр принимает значения от 0,5 до 2, он означает "известность магазина" и утверждается коммерческим директором сети. Занавес.

[BoomerCore]

Иван, а вы точно аналитик, который анализирует реальные данные, а не "длину хвостов сферических коней в вакууме"? Если таки да, то будьте добры показать H0 для обоих обсужденных экспериментов, а мы уж тогда попрепарируем и цифры и тезисы. Просто вы так фиксируетесь на MDE (расшифровку которой надо бы дать в тексте, потому что даже в контексте "аналитика" аббревиатура имеет как минимум два значимых значения), т.е. "Minimal Detectable Effect " здесь, что у стороннего наблюдателя может создаться эффект, что надо проводить тестирования только вокруг этой метрики и никак иначе. А это сильно не так

[Niuh]

Для эксперимента с конверсией: H0: pA = pB (разницы в CR нет). H1: pA ≠ pB (для двухстороннего теста; в статье я использовал two-sided).

Для эксперимента с ARPU/денежной метрикой: H0: μA = μB (матожидания равны). H1: μA ≠ μB.

Про MDE и расшифровку
Да, здесь MDE = Minimal Detectable Effect. Согласен, что расшифровку нужно явно добавить в текст.

MDE не цель теста, но важный параметр планирования. Я использую в статье на MDE не как центральную правильную метрику, а как на способе заранее сформулировать, какой эффект вообще имеет смысл ловить при текущем трафике, длительности, стоимости ошибки. В моей реальной работе гипотезы обычно задаются диапазоном эффектов (или целевым ROI), а MDE - это удобная точка, чтобы калибровать размер выборки и не попадать в underpowered эксперименты.

[BoomerCore]

Чисто мое мнение: вот эти формулировки гипотез стоит разместить где-то в тексте, чтобы предположительный аналитик, читая его, не ощущал, как я, в процессе: "Was soll das denn bitte?". Заодно и мой вопрос "тут у нас аналитик или просто погулять вышел?" не возникнет

В ... работе гипотезы обычно задаются диапазоном эффектов

OMG! В A/B тестах диапазоны?! Il a des idées bien à lui! Но тут воля ваша, барин, каждый имеет право страдать чем угодно, особенно на деньги работодателя. Я не осуждаю, просто сам так делать бы не стал (и не делаю).

У себя практически никогда предрасчет MDE не делаю, потому что "не обнаруженный эффект потому что или его нет или он необнаруживаемый в эксперименте — означает эффекта нет" в масштабах и задачах оказывается достаточным