Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Как мы повышали конверсию А/Б тестированием и что из этого вышло

Блог компании Rocket Callback Веб-аналитика *Интернет-маркетинг Повышение конверсии *Контент-маркетинг
Привет Мегамозг! Прочитав немало статей про А/Б тестирование, где практически всегда это указывается в качестве инструмента must have, средства повышения конверсии, залога счастья и вообще, мы решили поделиться и своим скромным опытом. До того, как создать Rocket Callback, мы вручную занимались повышением конверсии, и в какой-то момент поняли, что все делаем неправильно. К тому же, мы полностью согласны с вот этим утверждением из вот этой статьи:

Большие изменения дадут изменения самого продукта, его цены, способов оплаты и доставки, позиционирования. Смысл изменения текстов на сайте не в том что бы попробовать другой заголовок, а в том что бы лучше убедить аудиторию, лучше показать ей преимущества. Показать то, что важно, а не то, что и так понятно.

Как-то проанализировав 78 сайтов, мы увидели, что изменение цвета кнопок, расположение текста, размера шрифтов и так далее ни разу не работает. Точнее, какой-то процент роста есть, но существенных изменений не было. Образно говоря, это было то же самое, как если бы мы пытались спасти Титаник, передвигая на его палубе стулья.

image
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 3K
Комментарии 0

Тестирование «переплетением» – в 100 раз быстрее АБ теста

Управление продуктом *Статистика в IT
А/Б тестирование – один из основных инструментов продакт менеджмента, пока еще не придумали более надежного и дешевого способа достоверно оценить влияние одного конкретного изменения на бизнес-метрики продукта, изолировав его от всех остальных факторов.

В этой статье я хочу рассказать об альтернативном методе тестирования изменений в продукте: тестировании переплетением, в англоязычной литературе – interleaving testing. Чтобы раскрыть его достоинства и недостатки, мы будем частно сравнивать его с традиционным A/B тестом, но не потому что это какой-то новый более совершенный способ, который быстрее и точнее, и должен заменить собой A/B тесты. Это дополнительный инструмент для менеджера продукта с другой областью применения и отвечающий на другой вопрос, сравнение просто позволяет легко показать, в чем отличия и сильные стороны тестов переплетением.

Краткое содержание:

  • Почему переплетение быстрее A/B теста
  • Когда можно применять тест переплетением
  • В чем отличие результатов A/B теста и переплетения
  • Как комбинировать сильные стороны переплетения и A/B теста
Читать дальше →
Всего голосов 25: ↑24 и ↓1 +23
Просмотры 11K
Комментарии 26

Как перестать беспокоиться и начать верить A/B-тестам

Блог компании Badoo Тестирование IT-систем *Повышение конверсии *Управление продуктом *
Когда вы разрабатываете продукт, каждая новая итерация — это риск уронить метрики и потерять пользователей. Тем не менее иногда, особенно на начальных этапах, компании неосознанно идут на этот риск — меняют продукт, полагаясь только на свои инстинкты и гипотезы.

Мы в Badoo не доверяем ощущениям, зато верим цифрам. Суммарно у наших сервисов больше 500 миллионов пользователей, и свой фреймворк для тестирования мы написали довольно давно. За шесть лет через него прошло 2962 теста, и A/B-тестирование доказало свою важность, надёжность и результативность.



Но в этой статье я расскажу не о том, как работает наша система. На это не хватит одной статьи. Кроме того, многие вещи специфичны для нашей компании и не подойдут другим. Сегодня я расскажу об эволюции наших представлений об A/B-тестах: на какие грабли мы наступали в процессе и как проверяли корректность работы тестов. Это статья для тех, кто ещё не начал тестировать, но думает об этом, а также для тех, кто не уверен в своей системе тестов.
Читать дальше →
Всего голосов 47: ↑47 и ↓0 +47
Просмотры 6.3K
Комментарии 6

21 метод UX-исследований: какой выбрать

Веб-дизайн *Разработка веб-сайтов *Разработка мобильных приложений *Интерфейсы *Usability *



Нравится тебе оно или нет, но при создании ИТ-продукта никак не обойти тему проверки UX на прочность. Любой специалист, которому хоть сколько-нибудь не наплевать на свою работу, хочет, чтобы результаты потраченных человеко-часов были по достоинству оценены конечным пользователем.

Часть методов UX-исследований настолько очевидны и прямолинейны, что у некоторых из ИТ-шников при первом знакомстве в классификацией тестов появится логичный вопрос «А что, кто-то этого не делает?» и следующий за ним «Их ещё не поувольняли?».

Давайте признаемся, мы ведь все тестируем UX, иногда даже не ставя себе в явном виде такую задачу. Кто-то называет это пафосным словом «исследование», а кто-то вообще никак не называет, но всё-равно тестирует втихаря.

В этой статье собран 21 метод UX-исследований. Некоторые из них простые и банальные, некоторые более изощрённые. Выбирай тот, что тебе по вкусу. Но сначала посмотрим, какими характеристиками они отличаются.
Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 33K
Комментарии 0

Как мы в IVI используем массивы в ClickHouse для подсчета продуктовых метрик

Блог компании Онлайн-кинотеатр IVI SQL *Хранилища данных *Веб-аналитика *Управление продуктом *

 IVI – кросс-платформенный сервис, а значит, мы должны анализировать метрики всюду: на вебе, телевизорах и мобильных приложениях. Продукт непрерывно развивается, чтобы стать максимально эффективным, удобным и повысить ценность и привлекательность подписки. Перед тем, как внедрить какую-то новую фичу, мы проводим a/b-тесты и исследуем, на сколько востребованным окажется нововведение и как оно повлияет на конверсию или смотрение. Одновременно у нас может проверяться до 70-ти гипотез, от которых непосредственно зависят планы по развитию продукта.

Для того, чтобы правильно оценить успешность или неуспешность теста, требовалось технологичное решение. Новая схема ETL позволила нам иметь хранилище, толерантное к дубликатам. При ошибке в коде мы всегда можем откатить consumer offset в kafka и обработать часть данных снова, не прилагая лишних усилий для движения данных. Хотим рассказать о том, как мы в IVI используем ClickHouse, чтобы посчитать метрики для решения разных продуктовых задач и понять, что мы действительно делаем продукт лучше, а не придумываем фичи, которыми никто не будет пользоваться.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 2.1K
Комментарии 2