A/B тест — это просто

[exmmo]

статьи про эффективные лендинги а/б тестирование появляются с завидной регулярностью. Но у вас весьма неплохо получилось обобщить подход.

У меня вопрос — использовали ли вы в оценке результатов теста Average treatment effect?

[a4tunado]

Оценка среднего значения показателя в сегменте это вроде бы и есть ATE. Следующий шаг, это оценить значимость результата.

[The_Electronic_Cat]

пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Вы не шутите?

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Сегодня среда, идет теплый летниий дождь, на моем сайте нужно запустить замер продажи зонтов по новой акции «аксессуар для каждого в середине недели», длящейся до конца августа. Как правильнее использовать ваши советы?

Я не занудствую, но предлагаемый вами ходи мыслей — поди восприми.

[serega011]

Вы не шутите?
Почему автор тут шутит?

[The_Electronic_Cat]

Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

↓

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

[The_Electronic_Cat]

Не хочется докапываться дальше до каждого элемента методики, но, простите, впечатление, что вы открыли для себя мысль «нововведения в проекте стоит прогонять через бета-тест» и поделились ею, развернув на статью.

[a4tunado]

A/B тест в отличие от бета-теста решает маркетинговые задачи. Статья ни в коем случае не претендует на полноту изложения материала. Основная цель статьи — это донести базовые принципы проведения теста и анализа результатов.

[VBart]

Хозяйке на заметку. В nginx есть стандартный модуль для A/B тестирования:
nginx.org/ru/docs/http/ngx_http_split_clients_module.html

[Hkey]

А почему у вас получаются такие негладкие графики? Точек мало?

[a4tunado]

Да, размер сэмпла — 1000 отсчетов, кривая получается в результате усреднения по нескольким точкам.

[Hkey]

Интересная статья. Но есть замечание. Т-критерий Стюдента требует нормальное распределение. Вы предлагаете биномиальное (конверсия). Нормальная аппроксимация справедлива когда pn>5 и n(1-p)>5. en.wikipedia.org/wiki/Binomial_proportion_confidence_interval

Т.е. если на сайте 1% конверсии, то выборка должна быть на 500 кликов минимум. Если мы изучаем клики по банеру c CTR 0.1%, то показов должно быть 5к минимум. Так что не совсем верно: «Этот тест хорошо зарекомендовал себя для небольших объемов данных».

P.S. Не совсем понятно что такое «Стандартное отклонение». Это «среднеквадратичное отклонение» или «стандартная ошибка»?

[a4tunado]

Если быть точным, то это несмещенная оценка дисперсии.
Спасибо за замечание, тема выбора необходимого числа примеров для принятия решения заслуживает отдельной статьи.

[skreling]

На скриншоте ошибка. Выводится квадрат стандартного отклонения (даже не дисперсия), а подписано стандартным отклонением.