Время — деньги: анализируй А/В-тесты разумно

Сейчас мы до старта А/В эксперимента рассчитываем необходимое число наблюдений. Исходя из этого числа считаем, сколько дней нужно держать эксперимент. И не делаем выводы до окончания этого периода

Иногда этот период действительно довольно значителен, поэтому в дальнейшем планируем ускорять А/В тесты:
— Если изменение в тесте больше ожидаемого, то останавливать эксперимент раньше через секвенциальные тесты
— Снижать дисперсию метрик (прямо сейчас развиваем автоприменение CUPED)
— Пытаемся строить более чувствительные для данного теста метрики. Например, смотреть более узкие конверсии