Привет. Я часто провожу А/В и А/А-тесты и в статье хочу рассказать, как делать это быстро и без затрат. Рассказывать буду на основе одного из кейсов — так удобнее, нагляднее, да и вам больше пользы, т.к. покажу реальные данные.

Зачем проводить А/А-тест

Чтобы ответить на данный во��рос, стоит ввести вас в курс дела. Для проекта, который беру за пример, я в роли веб-аналитика изначально запускал А/В-тестирование. Сам или через разработку менял местами формы заявок, текст на элементах, сами элементы, целые блоки и разделы сайта. При этом каждый из вариантов теста оценивал на основе релевантных KPI, которые и так уже используются продуктовыми командами бизнеса.

Говоря про KPI — я имею в виду настроенную веб-аналитику на сайте, которая позволяет отслеживать микро и макро конверсии. Например, клики по кнопкам или полноценные заявки.

Карта целей и событий для настройки веб-аналитики

Чтобы отслеживать результаты по разным вариантам, я дополнительно внедрил справочник разметки, позволяющий зашивать доп. параметры в url и в дальнейшем видеть данные.

Пример результатов А/В-теста и сырые данные

В итоге в ходе А/В-теста зачастую мог получить данные, как на скрине выше. Вы можете заметить, что разница в конверсии между двумя вариантами составляет всего 0.73%. Много это или мало? Можно ли сказать, что тестовый вариант лучше и его запускаем в прод — непонятно.

Отсюда и возникла необходимость в нахождении той величины, выше которой можно говорить об успешности А/В-теста. А это наиболее точно (со своей погрешностью конечно, но хотя бы точнее чем другие варианты) можно сделать с помощью А/А-теста.

Как запустить А/А-тест

Вообще, если говорить о тестировании, то я использую несколько вариантов. Для разных проектов, они могут отличать в зависимости от ресурса — где-то есть разработчики готовые помочь, где-то нет и копейки на это направление.

Варианты А/В и А/А-тестирования:

Проведение тестов через Вариакуб Яндекс Метрики. Российский аналог канувшего в лета Google Optimize. Есть бесплатная версия? которая подойдёт только для простых тестов;
Тестирование через внутренние правила разделения трафика разработчиками сайта. Условно, программисты сами настраивают их показывая по заданным правилам разделения разные варианты теста;
Третий вариант похож на второй, только код уже упакован в удобный продукт который может интегрироваться к основным CMS сайтов и сервисам веб-аналитики. Таких продуктов просто масса.

В описываемым мной кейсе, я пошёл самым простым, быстрым и бесплатным вариантом — использовал Вариакуб Метрики. Для чего взял одинаковый элемент сайта и без изменений в странице создал два варианта теста.

Пример запущенного А/А-теста в Вариакубе

В результате я получил данные, где доверительные интервалы почти полностью пересекаются (что говорит о совпадении вариантов теста) и дельта в конверсии, которую брали в качестве метрики для сравнения, составила всего 0,02%.

Как интерпретировать результаты А/А-теста

Напомню, А/А-тест случился из-за того, что при А/В-тесте я получил разницу в конверсии тестовых вариантов в 0,73%. Я не понимал, это много или мало и запустил А/А-тест, который был призван дать ориентир. В итоге я получил на нём разницу в 0,02%, что говорило о том, что А/В-тест ранее показал хорошие результаты и тестовый вариант победил и его нужно внедрять в прод.

А/А-тест — как проводить с примерами