Comments 13
статьи про эффективные лендинги а/б тестирование появляются с завидной регулярностью. Но у вас весьма неплохо получилось обобщить подход.
У меня вопрос — использовали ли вы в оценке результатов теста Average treatment effect?
У меня вопрос — использовали ли вы в оценке результатов теста Average treatment effect?
пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.
Вы не шутите?
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Сегодня среда, идет теплый летниий дождь, на моем сайте нужно запустить замер продажи зонтов по новой акции «аксессуар для каждого в середине недели», длящейся до конца августа. Как правильнее использовать ваши советы?
Я не занудствую, но предлагаемый вами ходи мыслей — поди восприми.
Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.
↓
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Не хочется докапываться дальше до каждого элемента методики, но, простите, впечатление, что вы открыли для себя мысль «нововведения в проекте стоит прогонять через бета-тест» и поделились ею, развернув на статью.
A/B тест в отличие от бета-теста решает маркетинговые задачи. Статья ни в коем случае не претендует на полноту изложения материала. Основная цель статьи — это донести базовые принципы проведения теста и анализа результатов.
Хозяйке на заметку. В nginx есть стандартный модуль для A/B тестирования:
nginx.org/ru/docs/http/ngx_http_split_clients_module.html
nginx.org/ru/docs/http/ngx_http_split_clients_module.html
А почему у вас получаются такие негладкие графики? Точек мало?
Интересная статья. Но есть замечание. Т-критерий Стюдента требует нормальное распределение. Вы предлагаете биномиальное (конверсия). Нормальная аппроксимация справедлива когда pn>5 и n(1-p)>5. en.wikipedia.org/wiki/Binomial_proportion_confidence_interval
Т.е. если на сайте 1% конверсии, то выборка должна быть на 500 кликов минимум. Если мы изучаем клики по банеру c CTR 0.1%, то показов должно быть 5к минимум. Так что не совсем верно: «Этот тест хорошо зарекомендовал себя для небольших объемов данных».
P.S. Не совсем понятно что такое «Стандартное отклонение». Это «среднеквадратичное отклонение» или «стандартная ошибка»?
Т.е. если на сайте 1% конверсии, то выборка должна быть на 500 кликов минимум. Если мы изучаем клики по банеру c CTR 0.1%, то показов должно быть 5к минимум. Так что не совсем верно: «Этот тест хорошо зарекомендовал себя для небольших объемов данных».
P.S. Не совсем понятно что такое «Стандартное отклонение». Это «среднеквадратичное отклонение» или «стандартная ошибка»?
На скриншоте ошибка. Выводится квадрат стандартного отклонения (даже не дисперсия), а подписано стандартным отклонением.
Sign up to leave a comment.
A/B тест — это просто