Что, Зачем, Когда и Как

Какой из цветов, розовый или голубой, поспособствует тому, чтобы больше людей кликали на кнопку регистрации на сайте? Стоит ли использовать Gif вместо статичного изображения для Главной страницы? Сколько должно быть опций меню для привлечения клиентов, пять или семь? Какая версия больше способствует доведению клиентов до последнего этапа воронки?

Вы можете продолжать вносить изменения наугад или попробовать А/В тестирование!

А/В тестирование используется для определения наиболее эффективной версии продукта на рынке.

Компании самых разных масштабов от стартапов до крупных высокотехнологичных предприятий прибегают к А/В тестированию, чтобы сделать более осознанный выбор. Даже самое простое тестирование может помочь в принятии важных решений.

Что такое А/В тестирование?

А/В тестирование — это метод исследования, при котором разным группам посетителей сайта одновременно показаны две версии одной и той же веб-страницы для определения, какая из них работает эффективнее.

Если вкратце, то исследование показывает, какая из версий (А) или (В) лучше?

A/B тестирование, также известное как сплит-тестирование (split testing) или групповое тестирование (bucket testing), по сути, представляет собой эксперимент, в котором пользователям случайным образом показываются два или более варианта рекламы, маркетингового емэйла или веб-страницы, а затем используются различные методы статистического анализа для определения какой вариант дает больше конверсий.

Как правило, при A/B тестировании вариант, который дает более высокую конверсию, является выигрышным, т.е. этот вариант может помочь вам оптимизировать ваш сайт для получения более высоких результатов.

Для чего нужно A/B тестирование?

При емэйл-рассылках пользователям отправляется два варианта письма, и таким образом, маркетинговая команда узнает, какое письмо дало больший эффект с точки зрения прочтения и кликабельности.

Но они не знают, что именно заставило пользователя открыть письмо: предварительный текст, тема, визуальные эффекты или содержание письма? Какой из элементов емэйла является наиболее привлекающим внимание можно определить с помощью A/B теста.

Он может помочь вам изучить поведение посетителей и клиентов на вашем сайте, прежде чем принимать важные решения об изменениях, и повысить ваши шансы на успех. Иными словами, A/B тестирование помогает избежать ненужных рисков, позволяя целенаправленно использовать свои ресурсы для достижения максимальной отдачи и эффективности.

В каких случаях следует использовать A/B тестирование?

Платформа для онлайн-обучения хочет внести изменения в свою главную страницу, чтобы новый, более привлекательный дизайн увеличил количество пользователей, проходящих их курсы. Или, например, они хотят сфокусировать внимание клиентов на более подробном описании карьеры на странице обзора курса, и это изменение потенциально может побудить большее количество пользователей зарегистрироваться и пройти курс — A/B тестирование может проверить так ли это.

Все, что отображается на веб-странице и может повлиять на поведение посетителя при просмотре сайта, можно протестировать с помощью A/B тестирования.

Вот неполный список того, что можно оценить с помощью A/B тестирования - заголовок, контент, дизайн страницы, изображения, рекламные акции и предложения, упоминания в социальных сетях, навигация по сайту и пользовательский интерфейс, CTA-кнопка (Call to action — призыв к действию) и ее текст, варианты оплаты, варианты доставки и т. д.

При проведении A/B тестирования сравнения должны быть как можно проще. Например, не сравнивайте две совершенно разные версии своего веб-сайта, потому что вы не поймете, какие факторы действительно имели значение. Точно так же, если на сайт добавляется новый модуль или меню, он не может быть протестирован с помощью A/B тестирования, поскольку в этом случае у нас нет основ для сопоставления.

Как проводится A/B тестирование?

Идеальная воронка продаж для интернет-магазина выглядит следующим образом:

Домашняя страница → Список категорий/Поиск продукта → Просмотр страницы продукта → Корзина → Оформление заказа

Магазин теряет своих пользователей по мере того, как они проходят этапы этой воронки. Затем проводится A/B-тестирование, чтобы опробовать изменения, которые, как мы надеемся, повысят коэффициент конверсии от одного этапа к другому.

A/B тестирование проводится в четыре этапа:

Определение изменения и метрики

Для начала решите, какую информацию вы сможете собирать и анализировать. Мы не просто предполагаем, а используем соответствующие аналитические инструменты, чтобы в первую очередь удостовериться, что у вас действительно есть проблема, и определить, где именно она находится.

Аналитика часто дает представление о том, что вы можете попробовать усовершенствовать. Например, мы решили изменить кнопку с призывом к действию (CTA) на странице продукта с «Buy Now» на «Shop Now», чтобы увеличить количество пользователей, которые добавляют товары в корзину.

Затем выбираются метрики для измерения уровня вовлеченности пользователей. В нашем примере метрикой будет служить кликабельность кнопки «Buy Now». Коэффициент кликабельности (Click through rate, CTR) — это количество кликов уникальных пользователей, разделенное на количество просмотров уникальными пользователями. Вы можете выбрать столько метрик, сколько захотите, и чем больше вы оцениваете, тем выше вероятность того, что вы заметите существенные различия.

Определение гипотезы

Проверка гипотез в статистике — это способ проверить результаты исследования, чтобы понять, есть ли у вас какие-либо существенные результаты. Наиболее важные и запутанные аспекты проверки гипотез — это определение нулевой и альтернативной гипотез.

Проще говоря, утверждение, которое истинно до того, как мы собираем какие-либо данные, является нулевой гипотезой. При A/B тестировании основная нулевая гипотеза будет заключаться в том, что новая версия не лучше или даже хуже старой. Для нашего примера это утверждение, что новый коэффициент кликабельности (CTR) меньше или равен старому.

Альтернативой является конкурирующая гипотеза, зачастую являющаяся логическим отрицанием нулевой гипотезы. Утверждения, которые мы пытаемся доказать, всегда появляются альтернативой. Итак, при A/B тестировании альтернативная гипотеза состоит в том, что новая версия лучше старой. В нашем примере это утверждение о том, что новый CTR будет больше старого.

Создание эксперимента (размер выборки, факторы воздействия, время выполнения, участники)

Обычно пользователи выбираются случайным образом и распределяются либо в контрольную группу, либо в экспериментальную группу. Затем мы запускаем эксперимент, в котором контрольная группа видит старую версию, а экспериментальная группа — новую.

Каждый пользователь видит только один вариант дизайна (A или B), даже если обновляет интерфейс. Таким образом, каждую из версий будет просматривать одинаковое количество людей, и вы сможете проанализировать, какая версия обеспечивает улучшение метрики, которое вы считаете существенным.

Размер выборки, который вы выберете, позволяет приблизительно определить, сколько времени займет сбор достаточного количества данных.

Анализ результатов A/B тестирования

После завершения исследования мы можем проанализировать результаты. На этом этапе больше всего сконцентрировано внимание аналитиков. Мы рассчитываем значения показателей как для контрольной, так и для экспериментальной группы.

Затем применяются различные статистические методы, такие как распределение выборок (Sampling Distribution) с применением бутстреппинга, регрессии и различных других алгоритмов машинного обучения, для оценки метрики и демонстрации разницы между работой двух версий вашей веб-страницы и наличия статистически значимой разницы.

Трудности при A/B тестировании

При планировании A/B тестирования и составлении выводов по его результатам необходимо учитывать множество факторов. Перечислим несколько самых распространенных:

Эффект новизны и отторжение изменений, когда старые пользователи впервые сталкиваются с изменениями.
Достаточный трафик и конверсии для значимых и повторяемых результатов.
Последовательность среди испытуемых в контрольной и экспериментальной группе.
Выбор лучших показателей для принятия окончательного решения. Например, измерение дохода в сопоставлении с количеством кликов.
Практическая значимость коэффициента конверсии, стоимость запуска новой фичи по сравнению с прибылью от увеличения конверсии.
Продолжительность времени исследования, чтобы учесть такие факторы, как изменения в настроении людей в зависимости от времени дня/недели или сезонных событий.

При написании этой статьи я старалась выражать мысли как можно проще, чтобы люди, не знакомые с A/B тестированием, могли получить общее представление о нем. Существуют различные аналитические инструменты, которые используются для A/B тестирования в крупных отраслях, такие как Google Analytics и Google Optimize, Vwo, Optimizely, набор для A/B тестирования HubSpot, Crazy Egg и т. д.

A/B — это не роскошь для маркетологов, у которых есть свободное время; это — источник жизненной силы «взлома роста».

Один из самых популярных примеров A/B тестирования — 41 оттенок синего, когда Google не могли решить, какой из двух синих цветов они предпочитают для определенного элемента дизайна. По некоторым данным, они использовали A/B тестирование для оценки привлекательности 41 различных оттенков синего. Кроме того, ознакомьтесь с 7 невероятными примерами A/B тестов, проводимых реальными компаниями — примеры A/B тестирования промышленного уровня.

Точный подход к A/B тестированию может привести к огромным преимуществам и более эффективному взаимодействию с пользователями, повышению коэффициента конверсии, простоте анализа и увеличению продаж — это беспроигрышный вариант!!

Перевод статьи подготовлен в преддверии старта курса "Промышленный ML на больших данных".
Приглашаем всех желающих записаться на бесплатный демо-урок, в рамках которого рассмотрим потоковую обработку больших данных. Подходы, архитектуры, фреймворки, сравнение, обзор и выбор. Основных игроков и перспективных новичков. А также реальные проекты, интересные связки и многое другое!

A/B Тестирование: Основы