Оптимизация веб-сайтов, известная под именем А/Б тестирование набрала популярность в качестве рабочей техники для многих команд, создающих сайты. Но до сих пор по ней слишком мало всеобъемлющих книг, статей или обучающих материалов, направленных на одиночных разработчиков, стремящихся ввести эту технику у себя в организации.

В первой части руководства я представлю подробную инструкцию по тому, как построить, настроить и улучшить эту технику для своего использования.

Основы: что такое оптимизация веб-сайтов?

Это метод экспериментов, проверяющих, какой дизайн лучше подходит для вашего сайта. Идея проста:

создать несколько вариантов дизайна страницы или части страницы вашего сайта
разделить трафик сайта так, чтобы каждый посетитель видел либо текущую версию (контрольная группа), либо один из новых вариантов
отслеживать, какая из версий показывает лучшие результаты, при помощи специальных показателей

Показатели выбираются так, чтобы непосредственно отражать ваши бизнес-цели. Они могут включать количество товаров, купленных на сайте; количество людей, подписавшихся на рассылку; количество людей, просмотревших видео с инструкцией. Иногда показатели называют конверсией – это процент посетителей, совершивших нужное действие по отношению к общему числу посетителей.


Разработка сайта

А/Б тестирование и многовариантый метод

Есть два основных вида оптимизационных тестов: А/B тесты (также известные как A/B/N) и многовариантные тесты.

А/Б тесты

В этом случае вы сравниваете работу нескольких фиксированных вариантов дизайна между собой. Они могут отличаться только одним элементом (цветом кнопки или заменой картинки на видео), или многими элементами сразу (другой дизайн страницы).


Три разных кнопки для тестирования


Два разных варианта дизайна страницы

А/Б тесты проще разработать и анализировать, а результаты они возвращают быстрее, поскольку обычно содержат меньше вариантов, чем многовариантные тесты. Большинство людей работает именно с такими тестами.

Многовариантные тесты

Многовариантные тесты меняют два или более свойств страницы и проверяют, какие комбинации лучше работают. Основное их отличие от А/Б тестов в том, что они проверяют, как несколько различных измерений дизайна работают друг с другом и что приводит к лучшим результатам. В следующем примере мы пытаемся понять, какие комбинации текста и цвета кнопок получат наибольшее количество кликов.



Простейший вид многовариантного теста — полный факторный эксперимент. Это тест всех комбинаций факторов. Минус в том, что такие тесты занимают больше всего времени, поскольку вы разделяете трафик между гораздо большим количеством вариантов, чем А/Б тесты.

Частично факторные методы используют статистику и интерполяцию результатов для определённых комбинаций, уменьшая необходимое для тестов количество трафика. Но эти методы довольно сложны математически.

Почему мы делаем тесты? Цели, преимущества и обоснования

Оптимизация позволяет ввести систему, основанную на показателях, определяющих успех или провал дизайна. Таким образом ваша команда учится с каждым тестом. Люди не будут спорить безосновательно над деталями дизайна. Эффект «решает тот, у кого зарплата больше» уже не будет работать. Установив чёткие цели и подходящие показатели, вы получаете точные данные.

Три популярных философии тестирования

1. Строго следуем показателям

Лично я не уверен, что вам надо проверять абсолютно все мельчайшие изменения на сайте. Но в каждой организации стратегия веб-развития должна быть привязана к измеряемым целям, которые связаны с вашими бизнес-целями.

Если вам говорят, что сайт должен «предоставлять лучшую клиентскую поддержку», вам надо определить, какие показатели наилучшим образом это отражают. Может, это общее число тикетов и емейлов, на которое ответили с сайта вместе с рейтингом удовлетворённости пользователей, или средний рейтинг пользователя у ответов в секции FAQ. Как говорил Галилей: «измеряйте то, что можно измерить, и делайте измеряемым то, что нельзя».

Кроме того, вы должны стараться измерять реальную конверсию, а не какие-то простые индикаторы, которые с ней косвенно связаны. Например, в интернет-магазине следует наблюдать количество оплаченных заказов, а не просто размещённых. Ваша команда должна наблюдать как за такими реальными конверсиями, так и за второстепенными шагами и промежуточными целями.

2. Никто не знает, какой вариант станет выигрышным

Даже эксперты не предскажут со 100% вероятностью, как оптимизация повлияет на процесс. Поэтому и надо заниматься тестированиям. Не давайте членам команды продавливать свои варианты дизайна просто на основании их уверенности. Тестируйте.

3. Стратегия релизов «по чуть-чуть, но часто»

Делайте часто малые изменения, и благодаря тестированию вы сможете понять, что именно влияет на конверсию. Рассмотрим предыдущий пример А/Б тестирования:



Представим, что новый директор решил полностью переделать страницу. Через несколько месяцев вы запускаете новый трёхколоночный дизайн. И вы решаете провести А/Б тестирование, показывая 10% посетителей старый дизайн, а 90% — новый.

Оказывается, что старый дизайн лучше работает. Что делать? Нельзя просто выкинуть новую наработку. Наверняка в новом дизайне какие-то элементы работают лучше, чем в старом. Но поскольку вы сделали такое резкое изменение, тяжело отделить хорошее от плохого.

Стратегия получше – постоянно оптимизировать разные детали на странице и проводить тесты, которые позволят постепенно эволюционировать в новую версию. Как Джаред Спул написал в своей статье "Тихая смерть больших перезапусков", «лучшие сайты заменили революционные процессы на эволюционные. Полный редизайн уходит в прошлое, вместо него появляются постепенные улучшения».

Часть 2