Как стать автором
Обновить

Как же мощно я провел A/B-тест, или почему не стоит сравнивать наблюдаемый аплифт с MDE

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 1.9K
Блог компании Lamoda Tech Математика *Аналитика мобильных приложений *Управление продуктом *Статистика в IT
Мнение

Всем привет! Меня зовут Рома Смирнов. Я работаю продуктовым аналитиком в Lamoda Tech. Не так давно я столкнулся с необычным взглядом на то, как следует интерпретировать результаты A/B-эксперимента. Он заключается в том, что наблюдаемый аплифт — разницу средних, полученную на основе выборок, — необходимо сравнивать не только с критическим z- или t-значением, но еще и с MDE, минимальным эффектом, который мы ожидаем зафиксировать. Утверждается, что тест следует принимать только в том случае, если наблюдаемый аплифт лежит правее значения MDE.

Кажется, что на занятиях по статистике такому обычно не учат. Я обратился к традиционному источнику информации — Всемирной паутине (web, internet) — и нашел на эту тему хорошую статью болгарского гигачада A/B-тестирования Георгия Георгиева. В ней он приводит несколько аргументов, демонстрирующих несостоятельность описанного выше подхода.

В своей статье я буду использовать аргументы Георгия Георгиева, разбавленные моими мыслями и примерами на эту тему.

Читать далее
Всего голосов 26: ↑26 и ↓0 +26
Комментарии 3

Иконка-гамбургер

Время на прочтение 5 мин
Количество просмотров 68K
Веб-дизайн *Интерфейсы *Usability *
Из песочницы
Перевод статьи «The Hamburger Icon» дизайнера сайта Booking.com Мишеля Феррейры от 23 сентября 2014 года.

Иконка-гамбургер

Иконка-гамбургер — она везде. Везде вокруг нас. В веб-приложениях, на мобильных и десктопных сайтах, в программном обеспечении. Этот вездесущий значок из трех линий в настоящее время настолько распространен, что такое впечатление, как будто он однозначно ассоциируется с меню навигации. Но так ли это?
Читать дальше →
Всего голосов 59: ↑41 и ↓18 +23
Комментарии 71

Azure Website Testing in Production

Время на прочтение 9 мин
Количество просмотров 5K
Microsoft Azure *Тестирование веб-сервисов *

* Все что написано в данной статье находится в процессе разработки и публично еще не анонсировано (почти эксклюзив), так что некоторые вещи могут работать иначе или не работать вовсе

Привет!

Сегодня я расскажу о пока еще публично не анонсированном, но уже доступном для использования сервисе в Microsoft Azure Websites под названием Testing In Production (TiP). С его помощью вы сможете начать тестировать свои облачные веб-приложения более тонко и точно, показывая новый функционал лишь малой части ваших пользователей, оставляя в «безопасности» большинство посетителей. Одним из способов использования TiP является A/B тестирование, которое может быть использовано в различных сценариях. И прежде чем мы перейдем к сути, стоит прежде рассказать, а что же это такое и для чего оно нужно.
Читать дальше →
Всего голосов 19: ↑16 и ↓3 +13
Комментарии 2

5 удивительных уроков по оптимизации коэффициента конверсии (примеры из реальной жизни)

Время на прочтение 6 мин
Количество просмотров 5.7K
Блог компании Witget Growth Hacking *Интернет-маркетинг *Повышение конверсии *
Перевод
image

Оптимизация коэффициента конверсии – это не только излюбленная тема авторов блога CrazyEgg, но и метод, при помощи которого вы можете извлечь больше пользы из потока пользователей на страницах вашего сайта. Лучший способ обучиться оптимизации – это почерпнуть знания у тех, кто её уже делал. Ниже приведён ряд советов по оптимизации коэффициента конверсии, а также свежие приёмы оптимизации, использованные различными компаниями. Вы увидите, что иногда удаётся добиться поистине удивительных результатов.
Читать дальше →
Всего голосов 19: ↑12 и ↓7 +5
Комментарии 4

Как провести A/B-тестирование контекстной рекламы?

Время на прочтение 3 мин
Количество просмотров 4.8K
Блог компании Yagla Growth Hacking *Интернет-маркетинг *Контекстная реклама *Повышение конверсии *


Как мы уже рассказывали в нашем вводном материале, одним из наиболее эффективных инструментов повышения конверсии в работе с контекстной рекламой является персонализация контента на сайте под запросы и потребности пользователя. Персонализируя контент (заголовки и содержание текста) под поисковый запрос, по которому ваш потенциальный клиент приходит на сайт, вы получаете так называемые «мультилэндинги».

Таким образом, посетитель видит приятный и понятный человеческому глазу результат (а не просто «тупую» механическую замену заголовка непосредственно на поисковые запросы) и с большей вероятностью конвертируется в клиента.

В предыдущем посте мы постарались разъяснить отличия подобной системы повышения конверсии от товарных рекомендаций и осветили тему сегментирования поисковых запросов и соответствующей аналитики. Сегодня мы решили привести более детальный рассказ о динамическом A/B-тестировании от Yagla.
Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Комментарии 2

Взрыв конверсии с помощью value proposition: создание и тестирование

Время на прочтение 6 мин
Количество просмотров 12K
Блог компании Yagla Growth Hacking *Интернет-маркетинг *Повышение конверсии *


Value proposition определяет, будут ли пользователи изучать ваш продукт или быстро закроют сайт.
Это первое, что должен видеть пользователь на всех точках входа, посадочных страницах. Не для эстетики или SEO, а для увеличения вашего CLV (прибыль от одного клиента за все время сотрудничества).

В этой статье мы разберем отчет известного маркетолога Пипа Лайя «Как создать эффективный value proposition». Рассмотрим крутые и неудачные примеры, а также дадим прорывную технику тестирования value proposition для увеличения конверсии.
Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 7

Когда правила повышения конверсии не работают: 7 грандиозных провалов

Время на прочтение 5 мин
Количество просмотров 8.5K
Блог компании Yagla Интернет-маркетинг *Повышение конверсии *Управление медиа *


Существуют десятки способов повышения конверсии. Некоторые из них считаются чуть ли не «священными»:

— Избавляйтесь от слайдеров — они отвлекают;
— Делайте посадочную страницу как можно более короткой — пользователи не любят «портянки»;
— Просто увеличьте размер кнопки CTA, и будет вам счастье.

И еще много-много «правил», «законов», «стратегий».

Да, они взяты не из воздуха, а на основании практики и тестирования. Но то, что работает у большинства, может не сработать у вас. При этом мы настолько привыкли к каким-то положениям, что обратный результат воспринимается как сенсация.

В этой статье мы сделали перевод подборки от экспертов ConversionXL — это разрыв шаблона, 7 невероятных примеров, когда результаты a/b тестов опровергают самые «железные» приемы увеличения конверсии.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Комментарии 2

Тестирование сайта: 7 раз отмерь, один раз отрежь

Время на прочтение 6 мин
Количество просмотров 5.7K
Блог компании Kokoc Group Веб-аналитика *Интернет-маркетинг *Повышение конверсии *
image

Автор: Иван Красюк — директор по развитию клиентской сети Kokoc.com (Kokoc Group).

Посетители любого сайта – обычные люди, которые покупают там, где наиболее удобный и привлекательный интерфейс. Некоторые руководители или маркетологи считают, что лучше всех знают предпочтения пользователей. На самом деле угадать, понравится ли им новый дизайн сайта или изменение цвета корзины, невозможно. Убедитесь сами.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Осторожно! Чужие кейсы опасны для вашей конверсии

Время на прочтение 4 мин
Количество просмотров 3K
Блог компании Yagla Веб-аналитика *Интернет-маркетинг *Повышение конверсии *Управление медиа *


Кейсы, лучшие практики, аналитика рынка — все привыкли им доверять, а напрасно.

В этой статье мы показываем опасность чужого опыта по материалам исследований Крейга Салливана, известного эксперта по оптимизации конверсии и пользовательского опыта (UX).

Итак, смотрите 4 примера, когда результаты тестов сильно удивили владельцев бизнеса.
Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 0

100 идей для A/B тестирования. Часть первая

Время на прочтение 12 мин
Количество просмотров 12K
Блог компании Boosta.ru Веб-аналитика *Growth Hacking *Интернет-маркетинг *Повышение конверсии *
A/B тестирование – один из самых эффективных способов увеличения конверсии на сайте. Если вы новичок, придумать идею для эксперимента не так просто. Но мы решили помочь и составили список из 100 идей. Приступайте к изучению, друзья.



Сразу хочу предупредить, что правильное A/B тестирование – это очень сложный процесс. Вся сложность заключается не в запуске эксперимента. Это самое простое. Вся сложность заключается в формулировке гипотезы, в поиске идеи для тестирования.

Если следовать правилам, которые пропагандируют эксперты, для поиска потенциально успешной идеи A/B тестирования вам придётся использовать веб-аналитику, анализировать поведение пользователей, общаться с целевой аудиторией, проводить опросы. И эти правила абсолютно логичны. Их нужно соблюдать. Но если у вас небольшая компания, маленькая команда, нет нужных специалистов, сделать всё вышеперечисленное очень сложно.

На этот случай и был составлен список из 100 идей. 51 идея в первой части статьи. 49 – во второй. Изучайте, перенимайте и тестируйте самые подходящие идеи на вашем сайте.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 6

100 идей для A/B тестирования. Часть Вторая

Время на прочтение 13 мин
Количество просмотров 5K
Блог компании Boosta.ru Веб-аналитика *Growth Hacking *Повышение конверсии *
A/B тестирование – один из самых эффективных способов увеличения конверсии на сайте. У новичков процесс тестирования чаще всего вызывает только проблемы и разочарования. Ведь придумать хорошую идею не так уж и просто. Поэтому мы решили помочь и составили самый большой список идей для A/B тестов.



Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Как найти идею для А/В теста: тепловые карты и опросы

Время на прочтение 7 мин
Количество просмотров 2.9K
Блог компании Boosta.ru Growth Hacking *Интернет-маркетинг *Повышение конверсии *


Лучшие A/B тесты создаются на основе данных, полученных от самих пользователей. Можно спросить у знакомых, какие проблемы они видят на сайте. Но они не целевая аудитория. Гораздо эффективнее использовать опросы и тепловые карты для поиска проблем на сайте и идей A/B тестов.

Именно об этом и пойдёт речь в статье, которую мы написали совместно с Еленой Ивановой, создателем сайта Seocyber.net, специалистом в области SEO, Копирайтинга и Интернет-маркетинга.

Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 1

Как провалить оптимизацию конверсии: 10 вредных советов

Время на прочтение 3 мин
Количество просмотров 5.3K
Блог компании Yagla Интернет-маркетинг *Повышение конверсии *Управление медиа *


Решили написать суровый аналитический пост, а потом перевернули все с ног на голову. Несерьезно о серьезных вещах. Пятница, все-таки)
Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 2

Изменить одно слово в CTA-кнопке и увеличить конверсию: миф или реальность?

Время на прочтение 5 мин
Количество просмотров 3.3K
Блог компании Boosta.ru Growth Hacking *Интернет-маркетинг *Повышение конверсии *
Туториал
Этим вопросом задаются многие. Одни утверждают, что это миф, другие – наоборот. В этой статье, на основе успешных кейсов, вы узнаете, в каких случаях A/B тесты с совсем небольшими изменениями CTA-кнопки могут быть очень эффективны.



A/B тестирование – совсем непростой инструмент для повышения конверсии. И новичкам бывает очень сложно создать хороший, обдуманный и обоснованный эксперимент. А ведь так хочется запустить небольшой A/B тест, повысить конверсию и положить дополнительную 1 000 $ к себе в карман через недельку. И именно в этом случае начинается тестирование всех элементов подряд. Безусловно, это ошибка.

Вполне логично, что радикальные изменения могут сильно влиять на показатель конверсии. Тем не менее, не существует абсолютно прямой связи между большими изменениями и большими успехами. Более того, совсем незначительные изменения могут быть очень эффективны. Но только при одном условии – изменения должны касаться тех элементов, которые оказывают наибольшее влияние на конверсию.

Для наглядности рассмотрим 4 кейса
Читать дальше →
Всего голосов 12: ↑10 и ↓2 +8
Комментарии 8

Секрет успешного A/B тестирования — 5 вопросов самому себе

Время на прочтение 5 мин
Количество просмотров 3.1K
Блог компании Boosta.ru Growth Hacking *Интернет-маркетинг *Повышение конверсии *
Туториал
Авраам Линкольн как-то сказал: « Дайте мне 6 часов, чтобы срубить дерево, и первые 4 часа я потрачу на заточку топора». В этой цитате прослеживается отличная аналогия с A/B тестированием. Если вы хотите сорвать куш при проведении A/B теста, то придётся очень хорошо подготовиться. И именно о том, как это нужно делать, вы узнаете в нашей статье.



Майкл Аагаард (один из самых известных экспертов в сфере оптимизации конверсии и копирайтинга), решил составить список самых серьёзных ошибок в A/B тестировании. Основываясь на своём многолетнем опыте, он пришёл к выводу, что его самая главная ошибка – проведение слишком большого количества экспериментов.

Звучит очень даже странно. На чём же тогда должен концентрироваться эксперт в A/B тестировании, если не на проведении экспериментов? Ответ внутри статьи.

Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

Самая большая ошибка в A/B тестировании

Время на прочтение 5 мин
Количество просмотров 3.2K
Блог компании Boosta.ru Веб-аналитика *Growth Hacking *Интернет-маркетинг *Повышение конверсии *
Хотите иметь сайт с высокой конверсией? Все хотят. Но многие допускают эту ошибку. Ошибку, которая вводит их в заблуждение и приводит к печальному результату.

Ребята из Popcorn Metrics – совершили эту ошибку в A/B тестировании. И чтобы помочь другим не попасть впросак, написали об этом статью. А мы её оперативно перевели, чтобы предостеречь вас от этой ошибки!

Давайте представим ситуацию

Вы проводите A/B тестирование сайта. У вас есть две версии – оригинальная и тестовая. В результате тестирования вы получаете такие результаты: конверсия в регистрацию на оригинальной странице – 2.3 %, в тестовом варианте – 3.2 %. Какая из этих страниц победила в эксперименте?

Конечно, тестовая страница более эффективна. С этим нельзя не согласиться на данном этапе. Почему? Потому что цифры не врут. 3.2 % больше, чем 2.3 %.

И здесь начинается самое интересное. Когда люди проводят A/B тестирование, они фокусируются только на одном этапе воронки продаж. В нашем примере – на конверсии в регистрацию.

Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Как увеличить конверсию — 30 коротких советов для [интернет-маркетологов]

Время на прочтение 7 мин
Количество просмотров 9.8K
Блог компании Boosta.ru Growth Hacking *Интернет-маркетинг *Повышение конверсии *


На ваш сайт каждый день приходит много посетителей, но подавляющее большинство не конвертируется в клиентов? Что делать в таком случае? Прислушаться к этим советам.

1. Тестируйте текстовые элементы на сайте. Они реально имеют значение. Хороший заголовок может привлечь внимание и «подцепить» посетителя на крючок. А такие слова, как «бесплатно», «дешевле» могут увеличить конверсию (а могут и уменьшить). В одном A/B тесте текст СТА-кнопки «Start my free trial» конвертировал лучше, чем «Start your free trial». А разница лишь в одном местоимении.
Кейсы тестирования текстов можно изучить здесь.

2. Все тесты и изменения на сайте должны происходить на основе количественного (Google Analytics, Яндекс.Метрика) и/или качественного анализа (опросы, общение с целевой аудиторией). Тесты, основанные на данных, имеют больше шансов на успех. А каждый проваленный тест – это потраченное время и упущенная возможность.

3. Будьте терпеливы при A/B тестировании. То, что статистическая достоверность в эксперименте превысила 95 % — ещё ни о чём не говорит. Сколько тестов было загублено тем, что люди просто ориентировались на этот показатель (хотя большинство даже и не подозревает об этом).

Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

Кейс: Увеличение регистраций на 11.6 % в сервисе Piktochart

Время на прочтение 6 мин
Количество просмотров 1.8K
Блог компании Boosta.ru Growth Hacking *Интернет-маркетинг *Повышение конверсии *


Пошаговый процесс увеличения конверсии: анализ текущего сайта и целевой аудитории > поиск идеи для тестирования > создание тестового варианта > результат – увеличение регистраций на 11.6 %.

Piktochart – один из самых крутых сервисов для создания инфографики. Сам лично пробовал все инструменты и, в конце концов, остановился именно на нём. Как по мне, так это отлично сделанный продукт.

Многие на этом этапе (когда достигают определенного успеха) перестают работать над сайтом, сервисом, ведь всё и так хорошо. Но это не тот случай. Ребята не остановились на достигнутом и продолжили работать над увеличением конверсии посадочной страницы. Что и как они делали, вы узнаете дальше.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Комментарии 0

Последнее из мира аналитики

Время на прочтение 3 мин
Количество просмотров 4.2K
Веб-аналитика *Интернет-маркетинг *Контекстная реклама *
image

Несколько новинок, которые запомнились нам в последнем месяце уходящего года.

image

Расходы по рекламе в Метрике

В начале декабря появилась возможность просматривать затраты на рекламу в Директе.
Это позволяет легко оценить эффективность ваших кампаний. Если в отчёте выбрать цель, вы увидите не только конверсию по этой цели, но и
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 0

Контрольный выстрел: о роли a/a тестов в a/b тестировании

Время на прочтение 8 мин
Количество просмотров 6.8K
Блог компании Тренинги Романа Поборчего Веб-аналитика *Growth Hacking *Повышение конверсии *


Сегодня внезапно будет совсем не про презентации. Дело в том, что в прошлом я немного занимался a/b тестированием и вчера, в очередной раз попав на статью, где написано, что перед началом экспериментов нужно провести a/a тест (то есть такой, где контрольная группа видит ту же версию сайта, что и экспериментальная), я решил, что могу и должен добавить в этот вопрос свои две копейки. Получается непрофильно для моего блога, но один раз можно, наверное. Иначе меня разорвёт, да.

Одни из самых дорогостоящих ошибок a/b тестирования в смысле потерянных человеческих жизней были допущены при поисках лекарства от цинги. Уже после того, как вроде бы выяснилось, что лимоны от неё помогают, эксперимент был перепроведён, и там, уже в клинических условиях, больных лечили концентратом лимонного сока. А как в восемнадцатом веке получали концентрат? Конечно, длительным кипячением. Ну, вы поняли: клиническая проверка ранее полученные результаты не подтвердила. А нужно-то было всего лишь лечиться, как на фотографии к посту. Можно надеяться, что от ошибок в вашей системе a/b тестирования человеческие жизни напрямую не зависят, но нельзя считать, что ошибок в ней нет. И вот какова связь некоторых из них с a/a тестами.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0