Комментарии 2
Подскажите, (1) для отбора кластеров какой способ отбора использовался (простая случайная выборка, систематическая, PPS sampling), (2) рассчитывался ли эффект плана [(deff) design effect], (3) учитывается ли дизайн эксперимента при расчете стандартной ошибки выборки и соответсвенно непосредственных расчетах статистических тестов?
Спасибо за вопросы!
(1) Используем стратифицированную случайную выборку кластеров по городам, чтобы в эксперименте вклад от разных городов было схожим с реальным
(2) Для стратификации не считали, так как её использование скорее необходимость, в разных городах может быть разный эффект, и это может сильно исказить результат
(3) Для анализа экспериментов чаще всего используется бутстрап, поэтому дизайн не сильно влияет, но как писали в статье, иногда нужно исключать заказы на стыке переключения или границы кластеров - вот это может зависеть от дизайна эксперимента
Как мы научились А/B-тестировать алгоритмы с помощью switchback-тестов