Comments 63
> две одинаковых рассылки с разницей в один неразрывный пробел в коде
Это называется А/А-тестирование, и похоже оно вам показывает, что у вас есть неравномерное распределение. Я видел такой эффект, когда анализировал довольно объемные (100к+) рассылки в Иннове. Я не знаю что позволяет Unisender, мы использовали ActiveCampaign, но попробуйте посмотреть такие зависимости:
— конверсия в переходы от времени суток. Если человек в рабочее время получает ваше письмо про игры и даже читает его, вполне возможно он не переходит и забывает. Для нашей аудитории мы старались делать рассылки после 19:00.
— конверсия открытия в переходы с мобильных клиентов. Она обычно удручающая, если вы не делаете мобильной верстки
— конверсия в отписки по времени суток и типу почтового клиента
Это называется А/А-тестирование, и похоже оно вам показывает, что у вас есть неравномерное распределение. Я видел такой эффект, когда анализировал довольно объемные (100к+) рассылки в Иннове. Я не знаю что позволяет Unisender, мы использовали ActiveCampaign, но попробуйте посмотреть такие зависимости:
— конверсия в переходы от времени суток. Если человек в рабочее время получает ваше письмо про игры и даже читает его, вполне возможно он не переходит и забывает. Для нашей аудитории мы старались делать рассылки после 19:00.
— конверсия открытия в переходы с мобильных клиентов. Она обычно удручающая, если вы не делаете мобильной верстки
— конверсия в отписки по времени суток и типу почтового клиента
+5
По тесту — база была перемешана псевдослучайно, результат снимался через месяц. То есть вроде как все факторы неравномерного распределения учтены. По советам — большое спасибо.
0
Я не знаю вашей базы и паттернов ваших получателей, по своему опыту — 40% переходов было в течении 6 часов после рассылки. Соответственно, отсылать в 9 утра, 3 дня или 9 вечера — разница могла бы быть существенной, и больше половины эффекта — это первые сутки, что и могло бы давать перекос в A/A тесте.
0
Согласен перекос есть. Но в диаграме нет маштаба, ничего сказать нельзя, может выборка маленькая.
0
Выборка очень большая.
0
Возможно, проблема с выборкой из-за того, что конверсия маленькая. Важнее не число испытаний а число успехов (если их меньше или неудач в противном случае).
Если вы не хотите сообщить размеры выборки, то проверить есть ли систематическая ошибка можно самостоятельно. По сути у вас биномиальное распределение каждый пользователь открывает письмо и переходит по ссылке или нет. Если эксперимент правильно поставлен.
Если нет систематической ошибки, то у ваших выборок А/А тестирования должны пересекаться доверительный интервалы. Если доверительные интервалы даже для 95% не пересекаются значит почти наверняка есть систематическая ошибка. Либо софт глючит либо вы неправильно проводите эксперимент.
Посчитать дов. интервалы можно здесь:
www.measuringusability.com/wald.htm
Если вы не хотите сообщить размеры выборки, то проверить есть ли систематическая ошибка можно самостоятельно. По сути у вас биномиальное распределение каждый пользователь открывает письмо и переходит по ссылке или нет. Если эксперимент правильно поставлен.
Если нет систематической ошибки, то у ваших выборок А/А тестирования должны пересекаться доверительный интервалы. Если доверительные интервалы даже для 95% не пересекаются значит почти наверняка есть систематическая ошибка. Либо софт глючит либо вы неправильно проводите эксперимент.
Посчитать дов. интервалы можно здесь:
www.measuringusability.com/wald.htm
0
Конверсия тоже высокая. Вот конверсия по отпискам как раз низкая, и по ней наблюдается большая дельта. Но всё равно, она слишком большая для такого порядка чисел.
0
Например, для 10000 испытаний и 200 успехов (2%), то относительная точность при доверительном интервале 75% составляет 20%. Т.е. с вероятностью 75% погрешность не будет выше 20%.
Если вероятность отписки значительно больше 2% либо выборки значительно выше 10000, то можно со значительной долей уверенности сказать, что эксперимент нарушен.
Если вероятность отписки значительно больше 2% либо выборки значительно выше 10000, то можно со значительной долей уверенности сказать, что эксперимент нарушен.
+1
Начинал читать — думал оставить комментарий в духе «как же заколебали все эти рассылки», но под конец текста — понравилось. Хорошая информация.
И очень хочется, чтобы прочитавшие статью люди навсегда и твердо запомнили про «мегапрозрачная и простая отписка».
Тот же free-lance.ru, на котором не появлялся уже пару лет, регулярно задалбывает меня письмами, от которых можно отписаться только вспомнив пароль от личного кабинета, который я давно забыл и вспоминать не хочу. Ситуация усугубляется тем, что аккаунта было два (работник и работодатель), соответственно и письма приходят в двух экземплярах, с задержкой в несколько минут.
Самый яркий пример, но далеко не единственный, к сожалению.
И очень хочется, чтобы прочитавшие статью люди навсегда и твердо запомнили про «мегапрозрачная и простая отписка».
Тот же free-lance.ru, на котором не появлялся уже пару лет, регулярно задалбывает меня письмами, от которых можно отписаться только вспомнив пароль от личного кабинета, который я давно забыл и вспоминать не хочу. Ситуация усугубляется тем, что аккаунта было два (работник и работодатель), соответственно и письма приходят в двух экземплярах, с задержкой в несколько минут.
Самый яркий пример, но далеко не единственный, к сожалению.
+12
Возможно, от прозрачных отписок отталкивает то, что если человек будет форвардить письма друзьям, друзья могут щёлкнуть за него по персональной ссылке. На мой взгляд, на практике — это настолько редкий случай, что удобство пользователя в сотни раз перевешивает.
+2
У нас один из сотрудников отписал всю компанию от новостей, которые приходили на групповой адрес.
Но это уже совсем не розница.
Но это уже совсем не розница.
0
Знаете, если ссылка «отписаться» требует ввода пароля, то можно без зазрения совести нажимать кнопку «пожаловаться на спам». Даже если вы когда-то сами на неё подписались.
+7
(удалено, промахнулся)
+1
Спасибо, очень интересные, можно сказать «кейсовые» подробности.
Сейчас делаю сайт с конкурсами на Drupal, поискал интеграцию с unisender.com, оказалось, есть такой модуль. Буду делать еженедельную рассылку новых конкурсов через него.
P.S. Ваша статья по организации «колл-центра» — тоже, очень понравилась.
Сейчас делаю сайт с конкурсами на Drupal, поискал интеграцию с unisender.com, оказалось, есть такой модуль. Буду делать еженедельную рассылку новых конкурсов через него.
P.S. Ваша статья по организации «колл-центра» — тоже, очень понравилась.
0
Хочу, сказать, кстати, спасибо вашей рассылочной службе. Из всего спама, который валится ко мне на ящик, только ваш я всегда с интересом читаю, прежде чем удалить.
+1
Передам. Серьёзно, очень приятно слышать.
+1
А я бы в области этого сделал бы фичреквест — возможность подписываться на поступление игр, причем с фильтром по жанрам. :) Хотя бы на уровне тех же фильтров, что есть на сайте. Ну что поделать, если не интересно мне появление новой версии Активити или Ерша, а вот за Пандемией или Doom'ом бы выбежал покупать, теряя тапочки.
+3
Про A/B-тесты в вебе неплохо рассказывали на курсе Human-Coumputer Interaction на Курсере. Ссылка на лекции: class.coursera.org/hci-2012-002/lecture/index — правда, придётся, похоже, зарегистрироваться для получения доступа.
Смотреть лекции 7.4 (Running web experiments) и 7.5 (Comparing rates). В 7.5 хорошо описана математика, которую можно использовать для понимания результатов A/B-теста — когда можно считать, что гипотеза о равнозначности A/B групп отвергается и т. п. Там же можно скачать слайды с лекций. Рекомендую.
Смотреть лекции 7.4 (Running web experiments) и 7.5 (Comparing rates). В 7.5 хорошо описана математика, которую можно использовать для понимания результатов A/B-теста — когда можно считать, что гипотеза о равнозначности A/B групп отвергается и т. п. Там же можно скачать слайды с лекций. Рекомендую.
+1
Я отправил статью супруге — она сразу обратила внимание на пример страницы рассылки, приведенный в статье.
Тексты в этом примере очень безграмотные — вчитайтесь в описание игры «Монополия с банковскими картами», к примеру. Кроме простых грамматических ошибок, там и смысл предложений сложно уловить — кто ее захочет купить, с таким описанием? Две последних игры тоже описаны не ахти как. Очень похоже на результат не очень качественного перевода с английского.
Сама статья очень хороша, а вот модерированием текстов описаний игр стоит заняться :-)
Тексты в этом примере очень безграмотные — вчитайтесь в описание игры «Монополия с банковскими картами», к примеру. Кроме простых грамматических ошибок, там и смысл предложений сложно уловить — кто ее захочет купить, с таким описанием? Две последних игры тоже описаны не ахти как. Очень похоже на результат не очень качественного перевода с английского.
Сама статья очень хороша, а вот модерированием текстов описаний игр стоит заняться :-)
0
Спасибо большое за материал — очень интересно. И отдельная благодарность за любовь к деталям и стремление к прекрасному — это замечательные качества.
Надо заметить, в статье приведен очень хороший пример письма: нет больших кусков текста, основные подаваемые продукты с иллюстрациями. Вот такие-то письма и будут читаться лучше всего. То есть маленький абзац для вступления, такой же для прощания, а основная идея выстроена таким образом, что можно сразу понять, интересно тебе это или нет. Если интересно — прочитать еще по предложению и сразу же перейти по ссылке. Если нет — пробежаться глазами и удалить. Это очень круто, потому что ощущается, что люди, которые готовили письмо, заботятся о твоём времени.
Надо заметить, в статье приведен очень хороший пример письма: нет больших кусков текста, основные подаваемые продукты с иллюстрациями. Вот такие-то письма и будут читаться лучше всего. То есть маленький абзац для вступления, такой же для прощания, а основная идея выстроена таким образом, что можно сразу понять, интересно тебе это или нет. Если интересно — прочитать еще по предложению и сразу же перейти по ссылке. Если нет — пробежаться глазами и удалить. Это очень круто, потому что ощущается, что люди, которые готовили письмо, заботятся о твоём времени.
+1
Единственный минус в отписке в один клик, если кто-то перешлёт письмо из рассылки, то тот, кому это письмо было переслано может отписать того кто пересылал.
0
Нужно на последнем шаге хотя бы спрашивать «вы уверены?». Случайно (!) перешедший по ссылке с высокой долей вероятности не отпишется.
Ещё вариант (правда, он на уровне «как бы не перешло в навязчивость») — кидать письмо «вы успешно отписались, но если передумали, вот вам ссылка для мгновенного включения назад со всеми настройками».
Ещё вариант (правда, он на уровне «как бы не перешло в навязчивость») — кидать письмо «вы успешно отписались, но если передумали, вот вам ссылка для мгновенного включения назад со всеми настройками».
0
Проще в письме сделать ссылку не просто на подписку, а на управление ей. Т.е. ссылку пройдя по которой можно будет отписаться, если подписан, а если отписан — то подписаться. Да, достаточно первого предложения.
0
Можно отправить письмо «вы успешно отписаны» со ссылкой «я передумал», но проще и логичнее просто оставить как есть. Вероятность отписки по чужой ссылке крайне мала.
+4
Тогда её увидит только друг юзера, но не он сам. Тут рядом был пример, как человек отписал всю компанию от важной корпоративной рассылки. Это как раз для предотвращения такого.
+1
Все ищут проблем :) В ссылке на отписку передается токен, в котором зашифрован email пользователя. При переходе по ссылке просим человека руками подтвердить email для отписки. Совпадение прошло? Ок, пляшем. Отписываем пользователя.
0
ЮСендер делает так: отписывает по клику показывает страницу «Вы отписались», textarea для причины отписки и кнопку типа «Я передумал». Так вот, был уже с десяток читателей, которые думали, что кнопка внизу — это подтверждение отписки. И нажимали. И ругались страшными словами, когда она приходила заново.
0
Ребята из юнисендера немного странные. Несомненно рассылку они проводят достойно, иначе не было бы у них столько клиентов. Но на фидбэк реакции ноль. Не раз отправлял им репорты с косяками. Ответа(мол, спасибо за фидбэк) и исправлений не следовало.
0
Ну не знаю, мне по звонку за 5 минут реагировали по делу. Возможно, у нас немного разные объёмы отправки?
0
Я не совсем об этом. Я не являюсь их клиентом. Я просто добрый самаритянин, который находит косяки верстки в их же письмах и сообщает как это исправить :) Реакции ноль. Это один из примеров.
0
>Я не являюсь их клиентом.
Это многое объясняет :) Полагаю, просто ставят с низким приоритетом. А я что-то ни разу не видел, чтобы фичреквест с низким приоритетом исполнялся на практике.
Это многое объясняет :) Полагаю, просто ставят с низким приоритетом. А я что-то ни разу не видел, чтобы фичреквест с низким приоритетом исполнялся на практике.
0
плюс подключили статистику по доставке
Подскажите, а что за статистика такая? Как я понимаю она предоставляется самими почтовыми сервисами?
+2
Да. Удобство внешних площадок еще в том, что они собирают её за вас.
+1
Под почтовыми сервисами я имел в виду gmail, mail.ru, yandex…
То есть данную статистику предоставляют именно сервисы по рассылке?
То есть данную статистику предоставляют именно сервисы по рассылке?
0
Цикл такой. Например, Мейл.ру может сказать вам, сколько писем с вашего почтового сервера доставлено, сколько в спаме, сколько задержалось. Площадка может собрать эти данные с кучи почтовых сервисов и еще связать с конкретными адресами отправки. А ваша аналитика дальше позволит, например, не отправлять письма тем, кто хоть раз положил их в спам.
+1
Вот, можно ли как-то напрямую с тем же mail.ru взаимодействовать и получить от него подобную статистику. То есть без посредников, пусть эта статистика и будет в менее удобном формате.
0
Postmaster.mail.ru
+1
Огромное спасибо. Я так понимаю, у гугла, яндекса и прочих ничего подобного нет?
Извините, что мучаю вопросами:)
Извините, что мучаю вопросами:)
0
За пределами площадок не встречал. Для Гугла есть другая малоизвестная опция — habrahabr.ru/post/101440/
0
Если такую статистику предоставляет только mail.ru, как её сбирают с других?
0
с удовольствием читал только одну рассылку. Много всего приходит, но одну читаю. Хотя нет, теперь две. Первая — от Боффо (книги), вторая от мегаплана (недавно появилась). Видимо мосигра — третья такая.
Мосигра, а у вас есть архив рассылок? Показывать маркетологам, как нужно писать рассылки.
Мосигра, а у вас есть архив рассылок? Показывать маркетологам, как нужно писать рассылки.
+2
Спасибо на добром слове. Печально видеть, конечно, что графика проигрывает плейну, но на мой взгляд цифра ничтожна хотя бы из-за ситуации с письмами в рунете. Каждый второй считает рассылки спамом. В топике много полезной информации на заметку рекламщикам. Есть куда стремиться. Поменять отношение людей в спаму(а ваши письма на спам не тянут никак), и все будет хорошо :)
+1
> делать полезную рассылку
Хочу уточнить: старым клиентам, которые разрешили им слать рекламу, или тупо по всей базе?
Ничего не хочу сказать, возможно, карнавальные костюмы — вещь, часто покупаемая повторно, но когда получаю письмо с припиской, что это рекламы мы вам прислали, т.к. когда-то у нас что-то купили, я очень серьезно подумываю, идти ли туда второй раз. Ибо рекламы и так хватает, а, если мне понадобится повторно что-то купить, я просто найду старые письма от них же, зайду на сайт, «а дальше по старинке».
Дело притом не в том, что считать спамом, а в том, что я просто не рад видеть присланное без спроса в своем почтовом ящике.
Причем, кстати, совсем клиника бывает, когда клиенту, чтобы что-то купить, нужно обязательно подписаться на рассылку. Такое ли «светлое завтра» мы хотим?
Хочу уточнить: старым клиентам, которые разрешили им слать рекламу, или тупо по всей базе?
Ничего не хочу сказать, возможно, карнавальные костюмы — вещь, часто покупаемая повторно, но когда получаю письмо с припиской, что это рекламы мы вам прислали, т.к. когда-то у нас что-то купили, я очень серьезно подумываю, идти ли туда второй раз. Ибо рекламы и так хватает, а, если мне понадобится повторно что-то купить, я просто найду старые письма от них же, зайду на сайт, «а дальше по старинке».
Дело притом не в том, что считать спамом, а в том, что я просто не рад видеть присланное без спроса в своем почтовом ящике.
Причем, кстати, совсем клиника бывает, когда клиенту, чтобы что-то купить, нужно обязательно подписаться на рассылку. Такое ли «светлое завтра» мы хотим?
0
Отличная статья, с удовольстием прочитал. Недавно сам ощутил силу персонализированных текстовых рассылок. Я взял некоторые фрагменты из статьи со ссылкой на источник, если не против. Мы тут с коллегами составляем базу знаний по email рассылкам — rizzoma.com/topic/773912b49d46ad4744215786f011e728/0_b_42h2_3gecc/
Если будет чем доплнить, буду признателен. Интересно было бы посмотреть на графики)
Если будет чем доплнить, буду признателен. Интересно было бы посмотреть на графики)
-1
Only those users with full accounts are able to leave comments. Log in, please.
Одержимость эффективностью рассылок: пара тестов и историй