A/B-тестирование – быстрый и надежный способ узнать, что улучшит рассылку. Рассказываем, какие гипотезы стоит проверить, как это сделать с помощью сплит-тестов на DashaMail.

Проверять гипотезы очень важно. Если внедрять изменения без тестирования, можно сделать рассылку хуже.

На эффективность рассылки влияют разные ее параметры: тема письма, шаблон, цвет кнопки и др. Чтобы не ухудшить показатели, менять их бездумно нельзя. Любая гипотеза, будь то время отправления рассылки, положение кнопки с призывом или обращение к подписчику по имени, нуждается в проверке. Понять, какой из вариантов лучше, помогают сплит-тесты.

Как проверять гипотезы?

Гипотезы касаются разных параметров рассылки: тема, отправитель, макет, время отправки. Если меняются они, меняются и показатели:

Количество открытий (OR). Это процент открытых писем от числа доставленных. Как правило, зависит от того, насколько цепляющей оказалась тема письма и прехедер, пришла ли рассылка вовремя.

Количество кликов (CR). Это процент подписчиков, которые совершили переход по ссылке из письма, от числа доставленных писем. На этот показатель влияет все, что находится внутри письма: шаблон, текст, положение и оформление кнопки с призывом к действию.

Соотношение кликов к открытиям (CTOR). Это процент переходов из рассылки от числа открытых писем. Он тоже зависит от внутреннего наполнения письма.

Количество отписок (UR). На их число влияет полезность предложений и контента в рассылке. Чем она меньше, тем больше отписок.

Но зачастую помимо отслеживания базовых метрик в статистике по рассылки, при выборе победителя сплит-теста следует ориентироваться на продажи. Ведь чаще всего именно они являются конечной целью email-маркетинга. Для отслеживания этого показателя, в каждую тестовую версию рассылки можно добавить свою уникальную utm-метку и затем отследить продажи из каждой версии.

В зависимости от того, какой показатель хотите улучшить, тестируйте разные гипотезы и следите за изменение показателей. Мы расскажем об основных трех: открытия, клики и продажи.

Какие гипотезы проверять, чтобы увеличить открытия?

Откроет подписчик рассылку или нет, зависит от темы и прехедера письма, имени отправителя и времени отправки.

Чтобы увеличить процент открытий, можно тестировать следующие гипотезы:

Сформулировать тему коротко или расширить?
Добавлять таймер обратного отсчета до окончания акции или обойтись без него?
Указывать ли размер скидки в теме?
Отправлять рассылку от имени компании, бренда или конкретного должностного лица?
Увеличит ли показатель открытий упоминание в теме прошлых покупок или других персональных сведений (количество баллов в аккаунте, например, накопленных миль)?
Не будут ли смайлики раздражать подписчиков: обойтись без них или попробовать добавить к теме письма?
Когда лучше отправлять письма с предложениями, а когда – статьи из блога?
На чем сыграть в теме письма и прехедере: пользе для подписчика, любопытстве или боли и страхах?

Тестирование имени отправителя лучше проводить в начале запуска email-маркетинга в компании или только на новых подписчиках. Так как если резко поменять имя отправителя уже в процессе работы с базой, уровень открытий может вырасти исключительно из-за самого факта изменения имени, но при этом с большой долей вероятности также вырастет и количество отписок.

Какие гипотезы использовать, чтобы увеличить количество кликов?

На клики влияет внутреннее оформление письма: дизайн макета, расположение, цвет и текст кнопки призыва к действию, стиль обращения к подписчику и многое другое.

Можно тестировать следующие гипотезы:

Сделать выбор в пользу текстового письма (plain text) или HTML-шаблона?
В каком месте макета расположить кнопку призыва?
Какого цвета кнопка более привлекательна в конкретном письме?
Какая надпись для кнопки призыва сработает с большей вероятностью?
Какие изображения больше цепляют: нейтральные иллюстрации или, например, мемы?
Использовать ли анимацию?
Фон какого цвета лучше использовать?
Обращаться к подписчику на «ты» или на «вы»?
Размещать товары в рассылке или достаточно одного баннера?

Что проверять, чтобы повысить продажи?

На уровень продаж влияют все параметры в комплексе: нужно проверять разные темы, шаблоны, кнопки и время. Если тема зацепит, то письмо откроют. Если оформление и текст будут убедительны, то подписчик перейдет на сайт. Если предложение выгодное, то клиент совершит покупку.

Большое значение для продаж имеет время отправки. Например, на выходных в сегменте B2C показатель открытий часто низкий, зато продажи выше: подписчик скорее найдет время на шопинг в субботу или воскресенье, чем в будни.

Пользователь сам решает, покупать или нет, но вовремя отправленное письмо с интересной темой и цепляющим текстом может повлиять на его решение, и тогда больше шансов, что он совершит покупку.

Чтобы не оказаться в такой ситуации, достаточно проверять свои гипотезы с помощью сплит-тестов.

Дополнительные рекомендации

Тестируйте гипотезы обо всех рассылках, а не только о регулярных. Например, можно проверять, какой шаблон для триггерного письма о брошенной корзине работает лучше.
Проведите тест, насколько часто будут открывать рассылки с отзывами и кейсами о ваших услугах. Если показатели хорошие, проверьте, увеличивают ли такие письма продажи, если разместить в них кнопку, ведущую на сайт. На тест в таком случае можно отправить и разные варианты этой кнопки (место размещения, текст, цвет).
Если у вас есть разный контент (статьи из блога, партнерские материалы, статьи с лайфхаками и топами), то с помощью сплит-тестов можно определить, какие материалы подписчики читают охотнее. Это позволяет лучше понять аудиторию и скорректировать контент-план рассылок.
Тестируйте письма, в которых делается упор на разные достоинства продукта. Так вы узнаете, что в приоритете именно для ваших подписчиков. Например, вы считаете, что преимущества вашего продукта – надежность и инновационность. Чтобы это проверить, подготовьте два шаблона письма: один с акцентом на надежность, второй – на инновации. Результат теста покажет, что в действительности важнее для подписчиков. Советуем не ограничиваться двумя вариантами, а добавить, например, третий – дизайн. Может оказаться, что неочевидное преимущество больше всего цепляет клиентов.

Как проверять гипотезы с помощью сплит-тестов?

Сплит-тесты помогают улучшать показатели рассылок без сложных манипуляций. Например, при разработке макета вы задумались, кнопка призыва к действию какого цвета в этой рассылке принесет больше кликов – красная или синяя. Вам кажется, что красная. Сплит-тест поможет подтвердить или опровергнуть эту гипотезу.

Для этого двум тестовым сегментам отправляются идентичные рассылки с единственным отличием: одно письмо с красной кнопкой, другое – с синей. После сбора данных по каждому варианту и их сравнения определяется победитель на основании статистических данных, а не интуиции дизайнера или маркетолога. Именно это письмо будет отправлено остальным контактам из базы.

Давайте разберем подробнее, как работают сплит-тесты, на примере сервиса DashaMail.

Все гипотезы нужно тестировать самостоятельно: то, что заходит у конкурента или в другом сегменте, не факт, что сработает у вас.

Функциональность сплит-тестирования рассылок

Фишки мультивариантного тестирования email-рассылки от DashaMail:

1. Тестирование нескольких параметров одновременно. Сервис позволяет тестировать сразу несколько параметров рассылки (например, 3 темы и 3 макета письма). При этом создаются их всевозможные комбинации, чтобы каждый параметр тестировался отдельно. Максимальное количество тестовых сегментов - 9. Если какие-то комбинации вы тестировать не хотите (например, один макет обязательно должен идти с одной темой, а второй - с другой), то при создании A/B-рассылки вы можете исключать “лишние” комбинации параметров.

В DashaMail можно тестировать сразу несколько параметров рассылки.

2. Выбирайте победителя автоматически и вручную. В зависимости от того, что именно вы собираетесь тестировать, определяйте победителя по максимуму открытий, максимуму кликов или минимуму отписок. Рассылка с победившим вариантом автоматически уйдет в назначенное время. Если для вас представляют интерес другие метрики, например, продажи, выбирайте победителя вручную.

Определить победителя можно как автоматически на основании базовых метрик статистики по рассылке, так и вручную на основании данных своей внутренней аналитики, например.

3. Ставьте уникальные UTM-метки. Чтобы выбрать победителя вручную, в сервисе DashaMail предусмотрена автоматическая простановка индивидуальных UTM-меток в каждую тестовую версию рассылки. Они позволят определить лучшую гипотезу на основании действий пользователя на сайте после клика в письме. Например, так можно проанализировать продажи из каждой версии письма в Яндекс.Метрике или Гугл.Аналитике, и на основании этого выбрать победителя сплит-теста.

С помощью индивидуальных UTM-меток в каждой версии рассылки, можно отследить эффективность работы каждого параметра рассылки по данным из своей внутренней аналитики..

4. Управляйте размером тестовых групп. С помощью ползунка вы можете определить долю получателей, которые получат тестовую рассылку. Их должно быть достаточно для получения статистически достоверного результата. Отправка доступна и для 100 % подписчиков. Это актуально, когда, например, нужно определить удачное время отправки или провести глобальное тестирование шаблона письма.

Размером тестовых групп можно управлять с помощью ползунка. Никаких ограничений – отправляйте тест хоть всем 100 % базы.

5. Тестируйте времени отправки. Тестовые рассылки уходят 100% базы в разное время. Результат – подробная статистика, которая в дальнейшем поможет вам в выборе лучшего времени отправки писем.

Тест времени помогает сравнить, в какой временной промежуток пользователи открывают рассылку чаще, когда больше кликают и регулярнее отписываются.

Рекомендации для проведения сплит-тестирования

Если вы определяете победителя по кликам, размер тестовых сегментов должен быть больше. Причина: средний процент открытий писем – 15–20, в то время как кликабельность в среднем – 1,5–2 %. Соответственно, для получения достоверных результатов выборка во втором случае должна быть больше. Следуйте рекомендациям сервиса и не ошибетесь.

Выделите на сбор статистики минимум 4 часа. Согласно нашему исследованию, на первые 3,5 часа после отправки приходится половина всех открытий. Если поторопиться, то результаты могут быть некорректными.

Выводы

Проверка гипотез решает конкретную проблему или задачу, помогает оптимизировать email-кампаний. Параметры рассылки влияют на ее показатели: тема, имя отправителя, время отправки – на открытия, внутреннее оформление письма – на клики, все в комплексе – на продажи.
Для точности сплит-теста необходимо выждать определенное время (мы рекомендуем минимум 4 часа), чтобы успела собраться статистика по тестовым сегментам. Бывает, что в первые часы лидирует один вариант, но со временем ситуация меняется. Если данных мало, результат не будет статистически достоверным.
Даже отрицательная динамика много рассказывает о нашей аудитории. Например, после тестирования мы можем прийти к выводу, что определенный формат материалов лучше исключить из контент-плана.
Все гипотезы нужно тестировать самостоятельно: то, что заходит у конкурента или в другом сегменте, не факт, что сработает у вас.

Проверяйте гипотезы, внедряйте удачные варианты и делайте вашу рассылку более эффективной! А DashaMail поможет в этом!

Как сделать email-рассылку более эффективной с помощью сплит-тестов?