Как стать автором
Обновить

Комментарии 13

статьи про эффективные лендинги а/б тестирование появляются с завидной регулярностью. Но у вас весьма неплохо получилось обобщить подход.

У меня вопрос — использовали ли вы в оценке результатов теста Average treatment effect?
Оценка среднего значения показателя в сегменте это вроде бы и есть ATE. Следующий шаг, это оценить значимость результата.
пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Вы не шутите?

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Сегодня среда, идет теплый летниий дождь, на моем сайте нужно запустить замер продажи зонтов по новой акции «аксессуар для каждого в середине недели», длящейся до конца августа. Как правильнее использовать ваши советы?

Я не занудствую, но предлагаемый вами ходи мыслей — поди восприми.
Вы не шутите?
Почему автор тут шутит?
Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.


Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Не хочется докапываться дальше до каждого элемента методики, но, простите, впечатление, что вы открыли для себя мысль «нововведения в проекте стоит прогонять через бета-тест» и поделились ею, развернув на статью.
A/B тест в отличие от бета-теста решает маркетинговые задачи. Статья ни в коем случае не претендует на полноту изложения материала. Основная цель статьи — это донести базовые принципы проведения теста и анализа результатов.
Да, размер сэмпла — 1000 отсчетов, кривая получается в результате усреднения по нескольким точкам.
Интересная статья. Но есть замечание. Т-критерий Стюдента требует нормальное распределение. Вы предлагаете биномиальное (конверсия). Нормальная аппроксимация справедлива когда pn>5 и n(1-p)>5. en.wikipedia.org/wiki/Binomial_proportion_confidence_interval

Т.е. если на сайте 1% конверсии, то выборка должна быть на 500 кликов минимум. Если мы изучаем клики по банеру c CTR 0.1%, то показов должно быть 5к минимум. Так что не совсем верно: «Этот тест хорошо зарекомендовал себя для небольших объемов данных».

P.S. Не совсем понятно что такое «Стандартное отклонение». Это «среднеквадратичное отклонение» или «стандартная ошибка»?
Если быть точным, то это несмещенная оценка дисперсии.
Спасибо за замечание, тема выбора необходимого числа примеров для принятия решения заслуживает отдельной статьи.
На скриншоте ошибка. Выводится квадрат стандартного отклонения (даже не дисперсия), а подписано стандартным отклонением.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.