Здравствуйте! Спасибо за вопросы -- по делу. В статье не стал перегружать дизайн эксперимента статистикой (изначально ориентировался на мобильных разработчиков/менеджеров), но основные детали такие:
Нулевая гипотеза -- оптимизация времени загрузки контента не изменяет долю откликов после просмотров вакансий из поисковой выдачи.
Чуть подробнее про дизайн: A/B, Android, соискатели, длительность 21 день.
По метрике доли откликов: uplift +2.16% (+0.25 п.п.), 95% CI для дельты [0.0003; 0.0047] -- ноль не входит. Часть деталей (полный набор чисел/разрезы) публично раскрыть не могу.
Согласен, местами формулировки получились некорректными -- смешал корреляцию и причинность и не дал оговорок. Причинные выводы -- только про эффект A/B на метрики внутри эксперимента, а про выручку это была гипотеза, которую нужно проверять отдельно. Спасибо, учту)
Здравствуйте! Спасибо за вопросы -- по делу. В статье не стал перегружать дизайн эксперимента статистикой (изначально ориентировался на мобильных разработчиков/менеджеров), но основные детали такие:
Нулевая гипотеза -- оптимизация времени загрузки контента не изменяет долю откликов после просмотров вакансий из поисковой выдачи.
Чуть подробнее про дизайн: A/B, Android, соискатели, длительность 21 день.
По метрике доли откликов: uplift +2.16% (+0.25 п.п.), 95% CI для дельты [0.0003; 0.0047] -- ноль не входит. Часть деталей (полный набор чисел/разрезы) публично раскрыть не могу.
Согласен, местами формулировки получились некорректными -- смешал корреляцию и причинность и не дал оговорок. Причинные выводы -- только про эффект A/B на метрики внутри эксперимента, а про выручку это была гипотеза, которую нужно проверять отдельно. Спасибо, учту)