A/B тест это один из немногих инструментов в аналитике, который используют настолько часто и который у всех на слуху. К тому же, он достаточно простой - две группы, контроль, готово. Всё четко.

Но на моей практике, большинство A/B тестов в компаниях не доказывают ничего.

Когда A/B тест работает нормально

На мой взгляд, A/B тест хорошо работает там, где есть много наблюдений, понятное действие и, что тоже важно - короткий путь от изменения до результата.

К примеру: интернет-магазин меняет текст кнопки или же порядок шагов в форме.

И получается, что пользователь увидел какой-то вариант, сделал или не сделал целевое действие, а мы можем достаточно быстро посчитать эффект.

И результат будет не в стиле "ну вроде стало лучше", а в стиле: какая была конверсия и сколько людей попало в группы, а также насколько разница значительна.

Но что важно - тест работает только при сопоставимых условиях. Если один вариант видели новые пользователи, а второй - постоянные клиенты, это уже не чистый эксперимент.

Где начинается самообман

Самая частая ошибка - маленькая выборка.

Допустим, вариант А увидели 100 человек, купили 4. Вариант B увидели тоже 100 человек, купили 6.

Ума не приложу как, но в презентации это легко превращается в фразу вида: "конверсия выросла с 4% до 6%, рост на 50%".

Масштаб очень мизерный. Ну купили сегодня 6 штук, завтра купят 3, послезавтра снова 5. Но если очень хочется показать успех, эти два человека быстро превращаются в некий стратегический инсайт.

Вот здесь и возникает проблема. Цифра есть, даже когда смысла у нее нет. 6 это же больше 4 - спорить вроде бы не с чем.

Но из этого еще не следует, что вариант B действительно лучше.

Короче, иногда сталкиваемся мы с натягиванием управленческого вывода. Не только в этом тесте, конечно же, а вообще.

Метрика должна быть выбрана ДО теста

Следующий прекрасный способ испортить A/B тест - заранее не договориться, что именно считаем успехом. Тогда после теста начинается охота за красивой цифрой.

Конверсия не выросла? Зато выросло время на сайте.
Время не выросло? Зато люди чаще кликали на вот ту кнопку в футере сайта или в сегменте женщин 25-34 из Москвы что-то где-то слегка шевельнулось...

Ток что это было? Анализ или попытка спасти идею, которую уже хочется признать успешной?

Если метрика выбирается после того, как данные уже посмотрели, это не проверка гипотезы. Это подгонка.

Нормальный тест начинается до запуска: что меняем, какую метрику считаем главной, какой эффект считаем значимым, сколько данных нужно собрать, когда останавливаемся и т.д. и т.п.

Эта черта и отличает эксперимент от гадания на Excel.

A/B тест не объясняет всё

Едем дальше. A/B это не панацея, даже самый хороший A/B тест не отвечает на все вопросы.

Да, он покажет, что вариант B сработал лучше, но не всегда объяснит, почему именно.

Может быть, пользователи лучше поняли текст. Или быть может изменился состав трафика, прошла акция, пришла другая аудитория или просто совпало так совпало.

Поэтому A/B тест это именно способ проверить конкретную гипотезу в конкретных условиях.

Из результатов теста не следует: "делай так и будет счастье". Иногда любят делать из одного теста вечный закон, но данные обычно гораздо скромнее.

Где A/B тест почти бесполезен

Здесь буду краток: где мало наблюдений, длинный цикл решения и слишком много внешних факторов - не надо.

В том же HR можно тестировать текст вакансии, если вакансий много и поток кандидатов большой. Но проверить A/B тестом, какая система мотивации лучше удерживает сотрудников, уже гораздо сложнее.

Не всё, что можно сравнить, можно честно назвать экспериментом.

A/B тест: когда он работает, а когда нет