Привет, меня зовут Александра Хорошкова, я менеджер проектов по рассылкам в SuperJob. Каждый день наши email-сообщения получают миллионы пользователей. Эта аудитория даёт отличную возможность для быстрого тестирования гипотез, поскольку позволяет за короткий период провести необходимое количество экспериментов и понять, есть ли статистически значимые отличия между разными вариантами.

В этом посте хочу поделиться опытом оптимизации нашей самой массовой рассылки – «Горячих вакансий», на которую подписаны 5,5 млн пользователей, то есть практически каждый наш активный соискатель. Точнее кейсом, когда серия позитивных изменений может неожиданно привести к негативному результату, и что нужно делать, чтобы это побороть.

Собираем трафик с негатива

В самом начале, до всех изменений, «Горячие вакансии» выглядели скромно и неброско (слева). Но уже довольно скоро, после ряда тестов мы привели рассылку в несколько иной вид (справа):

Мы не остановились на достигнутом и стали улучшать наши «Горячие вакансии» дальше. Появилась идея собрать трафик и с негатива – с предложений, которые пользователя не интересуют. Например, если получатель письма уже видел предлагаемые в рассылке вакансии в выдаче на сайте, то он наверняка не пойдет смотреть их повторно. Но возможно он захочет заблокировать их или скрыть из поисковой выдачи. Для этого ему придется перейти на сайт, и там есть шанс втянуться в какие-то другие наш сценарии: посмотреть похожие вакансии, почитать ленту уведомлений и так далее.

Мы разработали и стали тестировать три варианта кнопки:

По итогам теста победил вариант со ссылкой «Заблокировать»:

Наше письмо стало выглядеть так:

Привлекаем внимание к видеовакансиям

Одна из современных тенденций – меньше читать, больше смотреть видео. Поэтому и на сайте у нас растет количество видеовакансий. Разумеется, мы захотели сделать на них акцент и в рассылке.

Мы придумали несколько вариантов для тестирования и по итогам выбрали тот, где пометка «Видеовакансии» располагается прямо над заголовком предложения о работе.

Итак, мы поработали с внешним видом письма, собрали трафик из негатива, выделили видеовакансии:

Что бы ещё улучшить?

Решили проверить гипотезу, которая заключается в том, что пользователи охотнее откликаются на свежие вакансии – опубликованные за последние сутки. Тем более, что такая фича будет полезна и соискателю, которому мы подсвечиваем самый «свежак», и работодателю, который получает отклики в первые сутки после размещения своей вакансии.

Вот такими способами решили выделить свежие вакансии. Здесь подсвечено, какие акценты мы тестировали:

По итогам победил вариант с призывом и ссылкой «Откликнуться», размещёнными под вакансией на зеленой плашке.

Лучше - проще?

Давайте посмотрим на то, как стало выглядеть наше письмо после года последовательной оптимизации:

Из простого и лаконичного сообщения рассылка эволюционировала в письмо, перегруженное акцентами и какими-то цветовыми пятнами. Соискателю при этом стало сложнее: чрезмерное количество параметров затрудняет выбор, а не облегчает его. Неудивительно, что конверсия письма стала неизбежно снижаться.Мы стали тестировать новые облегчённые варианты сниппета (превью) вакансии в письме. Что-то убрали, что-то переместили – и получили три новых варианта для тестирования:

По количеству переходов на описание вакансии победил вариант со ссылкой «Посмотреть», то есть призывающий совершить клик. А по откликам – вариант со ссылкой «Откликнуться», хотя набрал меньше переходов. А вот вариант совсем без call to action (призыва к действию) нашим пользователям не зашёл.

Поскольку наша ключевая метрика – отклики, мы оставили вариант со ссылкой «Откликнуться». Вот как это стало выглядеть в письме:

Ниже фрагмент графика за период наблюдений с мая по август. 

Мы заметили, что после майских праздников график с показателями переходов уполз вниз. Обычно к лету наблюдается сезонное снижение, но в этот раз оно было более резкое (1).

В точке (2) запустили тест облегченного письма и график пополз вверх, а в точке (3) раскатили на всю аудиторию победивший вариант. В итоге по откликам тестовый вариант дал на 6% больше, чем были показатели в контрольном варианте, и на 4,8% больше переходов. Конечно, на колебания графика влияют не только наши тесты, но корреляция определенно прослеживается.

Итоги и выводы

Как видим, письмо стало не только визуально «чище», но еще и короче. Теперь пользователю не нужно столько скролить, чтобы долететь до конца списка.

Сейчас мы тестируем эти сниппеты в других письмах, чтобы тоже очистить их от «визуального шума». Для каждой рассылки нужно проверять гипотезы заново: просто взять опыт «Горячих вакансий» и применить их на другие направления без А-В-тестирования не получится. Почему? Во-первых, каждое письмо отправляется в определенной ситуации с определенным набором правил. Во-вторых, если ключевыми метриками в рассмотренном сегодня кейсе для нас являются отклики, то в других случаях это может быть создание резюме или переход на сайт.

Тем не менее, опыт оптимизации самой массовой рассылки SuperJob много��у нас научил. Вот основные уроки, которые мы вынесли из этого кейса:

  • Отдельно взятые хорошие результаты не всегда хороши в целом. Старайтесь видеть картину мира полностью и смотреть, как каждое изменение коррелирует друг с другом.

  • Ни в коем случае не останавливайтесь. Нужно всегда экспериментировать, пробовать, перенимать успешный опыт коллег.

  • Не бойтесь отменить изменения, какими бы успешными они ни казались. Иногда откат назад может стать большим шагом вперёд.

  • Важно объективно оценивать свою аудиторию, понимать, что она также меняется и подчас «перегорает». Эффект новизны уходит, и пользователю ваши изменения становятся неинтересны.

На этом всё, была рада поделиться с вами опытом. Задавайте вопросы в комментариях. Можно не только по теме статьи, но и вообще про рассылки и их мониторинг в SJ.