Время — деньги: анализируй А/В-тесты разумно

[gigimon]

Вроде материал полезный, но сильно не хватает контекста и примеров, что проверяли, какие эксперименты, как это работает в целом. Ну и по аналитике тоже

[dienow]

Классический вариант — это наиболее известный Т-тест Стьюдента. У него есть определенные теоретические ограничения. В частности, мы хотим, чтобы средние подвыборок генеральной совокупности имели нормальное распределение (а не само распределение, что является частым заблуждением). На практике при достаточно больших выборках этот тест показывает себя отлично.

Как бальзам на душу. Постоянно приходится это доказывать, однажды даже слышал это заблуждаение от организации, которая занимается исключительно косультациями по a/b.

А как вы боритесь с риском ложного отклонения гипотезы при ежедневном подсчёте стат значимости? Используете секвенциальные тесты?

[Fairaku]

Сейчас мы до старта А/В эксперимента рассчитываем необходимое число наблюдений. Исходя из этого числа считаем, сколько дней нужно держать эксперимент. И не делаем выводы до окончания этого периода

Иногда этот период действительно довольно значителен, поэтому в дальнейшем планируем ускорять А/В тесты:
— Если изменение в тесте больше ожидаемого, то останавливать эксперимент раньше через секвенциальные тесты
— Снижать дисперсию метрик (прямо сейчас развиваем автоприменение CUPED)
— Пытаемся строить более чувствительные для данного теста метрики. Например, смотреть более узкие конверсии

[kurtgn]

Скажите, а как вы убедились в том, что в АБ-тестах средствами Firebase пользователи меняют группу из теста в контроль и наоборот? Это происходило в каждом тесте или в некоторых?

Мы сами активно пользуемся фаербейсовскими Remote Config + AB Testing и пока такого не замечали (1M DAU, Андроид онли, тесты раскатываем на 10-20% аудитории, обычно параллельно идут 2-3 теста). Чтобы проверить корректность распределения, мы иногда вставляем в метрики какое-либо событие, которое точно будет в одной группе и не будет в другой — и счетчик этого события всегда растет только в правильной группе. joxi.ru/Y2LavKKIMEjgLA

Как нам воспроизвести вашу проблему? :)