Comments 63
> две одинаковых рассылки с разницей в один неразрывный пробел в коде
Это называется А/А-тестирование, и похоже оно вам показывает, что у вас есть неравномерное распределение. Я видел такой эффект, когда анализировал довольно объемные (100к+) рассылки в Иннове. Я не знаю что позволяет Unisender, мы использовали ActiveCampaign, но попробуйте посмотреть такие зависимости:
— конверсия в переходы от времени суток. Если человек в рабочее время получает ваше письмо про игры и даже читает его, вполне возможно он не переходит и забывает. Для нашей аудитории мы старались делать рассылки после 19:00.
— конверсия открытия в переходы с мобильных клиентов. Она обычно удручающая, если вы не делаете мобильной верстки
— конверсия в отписки по времени суток и типу почтового клиента
Это называется А/А-тестирование, и похоже оно вам показывает, что у вас есть неравномерное распределение. Я видел такой эффект, когда анализировал довольно объемные (100к+) рассылки в Иннове. Я не знаю что позволяет Unisender, мы использовали ActiveCampaign, но попробуйте посмотреть такие зависимости:
— конверсия в переходы от времени суток. Если человек в рабочее время получает ваше письмо про игры и даже читает его, вполне возможно он не переходит и забывает. Для нашей аудитории мы старались делать рассылки после 19:00.
— конверсия открытия в переходы с мобильных клиентов. Она обычно удручающая, если вы не делаете мобильной верстки
— конверсия в отписки по времени суток и типу почтового клиента
По тесту — база была перемешана псевдослучайно, результат снимался через месяц. То есть вроде как все факторы неравномерного распределения учтены. По советам — большое спасибо.
Я не знаю вашей базы и паттернов ваших получателей, по своему опыту — 40% переходов было в течении 6 часов после рассылки. Соответственно, отсылать в 9 утра, 3 дня или 9 вечера — разница могла бы быть существенной, и больше половины эффекта — это первые сутки, что и могло бы давать перекос в A/A тесте.
Согласен перекос есть. Но в диаграме нет маштаба, ничего сказать нельзя, может выборка маленькая.
Выборка очень большая.
Возможно, проблема с выборкой из-за того, что конверсия маленькая. Важнее не число испытаний а число успехов (если их меньше или неудач в противном случае).
Если вы не хотите сообщить размеры выборки, то проверить есть ли систематическая ошибка можно самостоятельно. По сути у вас биномиальное распределение каждый пользователь открывает письмо и переходит по ссылке или нет. Если эксперимент правильно поставлен.
Если нет систематической ошибки, то у ваших выборок А/А тестирования должны пересекаться доверительный интервалы. Если доверительные интервалы даже для 95% не пересекаются значит почти наверняка есть систематическая ошибка. Либо софт глючит либо вы неправильно проводите эксперимент.
Посчитать дов. интервалы можно здесь:
www.measuringusability.com/wald.htm
Если вы не хотите сообщить размеры выборки, то проверить есть ли систематическая ошибка можно самостоятельно. По сути у вас биномиальное распределение каждый пользователь открывает письмо и переходит по ссылке или нет. Если эксперимент правильно поставлен.
Если нет систематической ошибки, то у ваших выборок А/А тестирования должны пересекаться доверительный интервалы. Если доверительные интервалы даже для 95% не пересекаются значит почти наверняка есть систематическая ошибка. Либо софт глючит либо вы неправильно проводите эксперимент.
Посчитать дов. интервалы можно здесь:
www.measuringusability.com/wald.htm
Конверсия тоже высокая. Вот конверсия по отпискам как раз низкая, и по ней наблюдается большая дельта. Но всё равно, она слишком большая для такого порядка чисел.
Например, для 10000 испытаний и 200 успехов (2%), то относительная точность при доверительном интервале 75% составляет 20%. Т.е. с вероятностью 75% погрешность не будет выше 20%.
Если вероятность отписки значительно больше 2% либо выборки значительно выше 10000, то можно со значительной долей уверенности сказать, что эксперимент нарушен.
Если вероятность отписки значительно больше 2% либо выборки значительно выше 10000, то можно со значительной долей уверенности сказать, что эксперимент нарушен.
Начинал читать — думал оставить комментарий в духе «как же заколебали все эти рассылки», но под конец текста — понравилось. Хорошая информация.
И очень хочется, чтобы прочитавшие статью люди навсегда и твердо запомнили про «мегапрозрачная и простая отписка».
Тот же free-lance.ru, на котором не появлялся уже пару лет, регулярно задалбывает меня письмами, от которых можно отписаться только вспомнив пароль от личного кабинета, который я давно забыл и вспоминать не хочу. Ситуация усугубляется тем, что аккаунта было два (работник и работодатель), соответственно и письма приходят в двух экземплярах, с задержкой в несколько минут.
Самый яркий пример, но далеко не единственный, к сожалению.
И очень хочется, чтобы прочитавшие статью люди навсегда и твердо запомнили про «мегапрозрачная и простая отписка».
Тот же free-lance.ru, на котором не появлялся уже пару лет, регулярно задалбывает меня письмами, от которых можно отписаться только вспомнив пароль от личного кабинета, который я давно забыл и вспоминать не хочу. Ситуация усугубляется тем, что аккаунта было два (работник и работодатель), соответственно и письма приходят в двух экземплярах, с задержкой в несколько минут.
Самый яркий пример, но далеко не единственный, к сожалению.
Возможно, от прозрачных отписок отталкивает то, что если человек будет форвардить письма друзьям, друзья могут щёлкнуть за него по персональной ссылке. На мой взгляд, на практике — это настолько редкий случай, что удобство пользователя в сотни раз перевешивает.
Знаете, если ссылка «отписаться» требует ввода пароля, то можно без зазрения совести нажимать кнопку «пожаловаться на спам». Даже если вы когда-то сами на неё подписались.
(удалено, промахнулся)
Спасибо, очень интересные, можно сказать «кейсовые» подробности.
Сейчас делаю сайт с конкурсами на Drupal, поискал интеграцию с unisender.com, оказалось, есть такой модуль. Буду делать еженедельную рассылку новых конкурсов через него.
P.S. Ваша статья по организации «колл-центра» — тоже, очень понравилась.
Сейчас делаю сайт с конкурсами на Drupal, поискал интеграцию с unisender.com, оказалось, есть такой модуль. Буду делать еженедельную рассылку новых конкурсов через него.
P.S. Ваша статья по организации «колл-центра» — тоже, очень понравилась.
Хочу, сказать, кстати, спасибо вашей рассылочной службе. Из всего спама, который валится ко мне на ящик, только ваш я всегда с интересом читаю, прежде чем удалить.
Передам. Серьёзно, очень приятно слышать.
А я бы в области этого сделал бы фичреквест — возможность подписываться на поступление игр, причем с фильтром по жанрам. :) Хотя бы на уровне тех же фильтров, что есть на сайте. Ну что поделать, если не интересно мне появление новой версии Активити или Ерша, а вот за Пандемией или Doom'ом бы выбежал покупать, теряя тапочки.
Про A/B-тесты в вебе неплохо рассказывали на курсе Human-Coumputer Interaction на Курсере. Ссылка на лекции: class.coursera.org/hci-2012-002/lecture/index — правда, придётся, похоже, зарегистрироваться для получения доступа.
Смотреть лекции 7.4 (Running web experiments) и 7.5 (Comparing rates). В 7.5 хорошо описана математика, которую можно использовать для понимания результатов A/B-теста — когда можно считать, что гипотеза о равнозначности A/B групп отвергается и т. п. Там же можно скачать слайды с лекций. Рекомендую.
Смотреть лекции 7.4 (Running web experiments) и 7.5 (Comparing rates). В 7.5 хорошо описана математика, которую можно использовать для понимания результатов A/B-теста — когда можно считать, что гипотеза о равнозначности A/B групп отвергается и т. п. Там же можно скачать слайды с лекций. Рекомендую.
Я отправил статью супруге — она сразу обратила внимание на пример страницы рассылки, приведенный в статье.
Тексты в этом примере очень безграмотные — вчитайтесь в описание игры «Монополия с банковскими картами», к примеру. Кроме простых грамматических ошибок, там и смысл предложений сложно уловить — кто ее захочет купить, с таким описанием? Две последних игры тоже описаны не ахти как. Очень похоже на результат не очень качественного перевода с английского.
Сама статья очень хороша, а вот модерированием текстов описаний игр стоит заняться :-)
Тексты в этом примере очень безграмотные — вчитайтесь в описание игры «Монополия с банковскими картами», к примеру. Кроме простых грамматических ошибок, там и смысл предложений сложно уловить — кто ее захочет купить, с таким описанием? Две последних игры тоже описаны не ахти как. Очень похоже на результат не очень качественного перевода с английского.
Сама статья очень хороша, а вот модерированием текстов описаний игр стоит заняться :-)
Спасибо большое за материал — очень интересно. И отдельная благодарность за любовь к деталям и стремление к прекрасному — это замечательные качества.
Надо заметить, в статье приведен очень хороший пример письма: нет больших кусков текста, основные подаваемые продукты с иллюстрациями. Вот такие-то письма и будут читаться лучше всего. То есть маленький абзац для вступления, такой же для прощания, а основная идея выстроена таким образом, что можно сразу понять, интересно тебе это или нет. Если интересно — прочитать еще по предложению и сразу же перейти по ссылке. Если нет — пробежаться глазами и удалить. Это очень круто, потому что ощущается, что люди, которые готовили письмо, заботятся о твоём времени.
Надо заметить, в статье приведен очень хороший пример письма: нет больших кусков текста, основные подаваемые продукты с иллюстрациями. Вот такие-то письма и будут читаться лучше всего. То есть маленький абзац для вступления, такой же для прощания, а основная идея выстроена таким образом, что можно сразу понять, интересно тебе это или нет. Если интересно — прочитать еще по предложению и сразу же перейти по ссылке. Если нет — пробежаться глазами и удалить. Это очень круто, потому что ощущается, что люди, которые готовили письмо, заботятся о твоём времени.
Единственный минус в отписке в один клик, если кто-то перешлёт письмо из рассылки, то тот, кому это письмо было переслано может отписать того кто пересылал.
Нужно на последнем шаге хотя бы спрашивать «вы уверены?». Случайно (!) перешедший по ссылке с высокой долей вероятности не отпишется.
Ещё вариант (правда, он на уровне «как бы не перешло в навязчивость») — кидать письмо «вы успешно отписались, но если передумали, вот вам ссылка для мгновенного включения назад со всеми настройками».
Ещё вариант (правда, он на уровне «как бы не перешло в навязчивость») — кидать письмо «вы успешно отписались, но если передумали, вот вам ссылка для мгновенного включения назад со всеми настройками».
Проще в письме сделать ссылку не просто на подписку, а на управление ей. Т.е. ссылку пройдя по которой можно будет отписаться, если подписан, а если отписан — то подписаться. Да, достаточно первого предложения.
Можно отправить письмо «вы успешно отписаны» со ссылкой «я передумал», но проще и логичнее просто оставить как есть. Вероятность отписки по чужой ссылке крайне мала.
UFO just landed and posted this here
Все ищут проблем :) В ссылке на отписку передается токен, в котором зашифрован email пользователя. При переходе по ссылке просим человека руками подтвердить email для отписки. Совпадение прошло? Ок, пляшем. Отписываем пользователя.
ЮСендер делает так: отписывает по клику показывает страницу «Вы отписались», textarea для причины отписки и кнопку типа «Я передумал». Так вот, был уже с десяток читателей, которые думали, что кнопка внизу — это подтверждение отписки. И нажимали. И ругались страшными словами, когда она приходила заново.
Ребята из юнисендера немного странные. Несомненно рассылку они проводят достойно, иначе не было бы у них столько клиентов. Но на фидбэк реакции ноль. Не раз отправлял им репорты с косяками. Ответа(мол, спасибо за фидбэк) и исправлений не следовало.
Ну не знаю, мне по звонку за 5 минут реагировали по делу. Возможно, у нас немного разные объёмы отправки?
Я не совсем об этом. Я не являюсь их клиентом. Я просто добрый самаритянин, который находит косяки верстки в их же письмах и сообщает как это исправить :) Реакции ноль. Это один из примеров.
плюс подключили статистику по доставке
Подскажите, а что за статистика такая? Как я понимаю она предоставляется самими почтовыми сервисами?
Да. Удобство внешних площадок еще в том, что они собирают её за вас.
Под почтовыми сервисами я имел в виду gmail, mail.ru, yandex…
То есть данную статистику предоставляют именно сервисы по рассылке?
То есть данную статистику предоставляют именно сервисы по рассылке?
Цикл такой. Например, Мейл.ру может сказать вам, сколько писем с вашего почтового сервера доставлено, сколько в спаме, сколько задержалось. Площадка может собрать эти данные с кучи почтовых сервисов и еще связать с конкретными адресами отправки. А ваша аналитика дальше позволит, например, не отправлять письма тем, кто хоть раз положил их в спам.
Вот, можно ли как-то напрямую с тем же mail.ru взаимодействовать и получить от него подобную статистику. То есть без посредников, пусть эта статистика и будет в менее удобном формате.
Postmaster.mail.ru
Огромное спасибо. Я так понимаю, у гугла, яндекса и прочих ничего подобного нет?
Извините, что мучаю вопросами:)
Извините, что мучаю вопросами:)
За пределами площадок не встречал. Для Гугла есть другая малоизвестная опция — habrahabr.ru/post/101440/
Если такую статистику предоставляет только mail.ru, как её сбирают с других?
с удовольствием читал только одну рассылку. Много всего приходит, но одну читаю. Хотя нет, теперь две. Первая — от Боффо (книги), вторая от мегаплана (недавно появилась). Видимо мосигра — третья такая.
Мосигра, а у вас есть архив рассылок? Показывать маркетологам, как нужно писать рассылки.
Мосигра, а у вас есть архив рассылок? Показывать маркетологам, как нужно писать рассылки.
Спасибо на добром слове. Печально видеть, конечно, что графика проигрывает плейну, но на мой взгляд цифра ничтожна хотя бы из-за ситуации с письмами в рунете. Каждый второй считает рассылки спамом. В топике много полезной информации на заметку рекламщикам. Есть куда стремиться. Поменять отношение людей в спаму(а ваши письма на спам не тянут никак), и все будет хорошо :)
> делать полезную рассылку
Хочу уточнить: старым клиентам, которые разрешили им слать рекламу, или тупо по всей базе?
Ничего не хочу сказать, возможно, карнавальные костюмы — вещь, часто покупаемая повторно, но когда получаю письмо с припиской, что это рекламы мы вам прислали, т.к. когда-то у нас что-то купили, я очень серьезно подумываю, идти ли туда второй раз. Ибо рекламы и так хватает, а, если мне понадобится повторно что-то купить, я просто найду старые письма от них же, зайду на сайт, «а дальше по старинке».
Дело притом не в том, что считать спамом, а в том, что я просто не рад видеть присланное без спроса в своем почтовом ящике.
Причем, кстати, совсем клиника бывает, когда клиенту, чтобы что-то купить, нужно обязательно подписаться на рассылку. Такое ли «светлое завтра» мы хотим?
Хочу уточнить: старым клиентам, которые разрешили им слать рекламу, или тупо по всей базе?
Ничего не хочу сказать, возможно, карнавальные костюмы — вещь, часто покупаемая повторно, но когда получаю письмо с припиской, что это рекламы мы вам прислали, т.к. когда-то у нас что-то купили, я очень серьезно подумываю, идти ли туда второй раз. Ибо рекламы и так хватает, а, если мне понадобится повторно что-то купить, я просто найду старые письма от них же, зайду на сайт, «а дальше по старинке».
Дело притом не в том, что считать спамом, а в том, что я просто не рад видеть присланное без спроса в своем почтовом ящике.
Причем, кстати, совсем клиника бывает, когда клиенту, чтобы что-то купить, нужно обязательно подписаться на рассылку. Такое ли «светлое завтра» мы хотим?
Отличная статья, с удовольстием прочитал. Недавно сам ощутил силу персонализированных текстовых рассылок. Я взял некоторые фрагменты из статьи со ссылкой на источник, если не против. Мы тут с коллегами составляем базу знаний по email рассылкам — rizzoma.com/topic/773912b49d46ad4744215786f011e728/0_b_42h2_3gecc/
Если будет чем доплнить, буду признателен. Интересно было бы посмотреть на графики)
Если будет чем доплнить, буду признателен. Интересно было бы посмотреть на графики)
Sign up to leave a comment.
Одержимость эффективностью рассылок: пара тестов и историй