Как стать автором
Обновить

Байесовские многорукие бандиты против A/B тестов

Блог компании Open Data Science Python *Математика *Тестирование веб-сервисов *Машинное обучение *

Здравствуйте, коллеги. Рассмотрим обычный онлайн-эксперимент в некоторой компании «Усы и когти». У неё есть веб-сайт, на котором есть красная кнопка в форме прямоугольника с закругленными краями. Если пользователь нажимает на эту кнопку, то где-то в мире мурлычет от радости один котенок. Задача компании — максимизация мурлыкания. Также есть отдел маркетинга, который усердно исследует формы кнопок и то, как они влияют на конверсию показов в клико-мурлыкания. Потратив почти весь бюджет компании на уникальные исследования, отдел маркетинга разделился на четыре противоборствующие группировоки. У каждой группировки есть своя гениальная идея того, как должна выглядеть кнопка. В целом никто не против формы кнопки, но красный цвет раздражает всех маркетологов, и в итоге было предложено четыре альтернативных варианта. На самом деле, даже не так важно, какие именно это варианты, нас интересует тот вариант, который максимизирует мурлыкания. Маркетинг предлагает провести A/B/n-тест, но мы не согласны: и так на эти сомнительные исследования спущено денег немерено. Попробуем осчастливить как можно больше котят и сэкономить на трафике. Для оптимизации трафика, пущенного на тесты, мы будем использовать шайку многоруких байесовских бандитов (bayesian multi-armed bandits). Вперед.

Читать дальше →
Всего голосов 67: ↑65 и ↓2 +63
Просмотры 52K
Комментарии 50

Как мы проводим эксперименты на людях. А/Б тестирование для продвинутых

Блог компании ID Finance Тестирование веб-сервисов *Монетизация веб-сервисов *Управление продуктом *
image

В биологии и медицине многие эксперименты на людях и других высших приматах, как известно, сейчас запрещены. Но в маркетинге и управлении продуктом это пока не возбраняется. Чем мы активно и пользуемся в ID Finance, проводя мультивариативные тесты ценностных предложений, продуктовых фич, интерфейсов и прочего.

А/Б тестирование в нашей компании отличается широкой распространенностью и особой извращенностью. Тесты у нас проводят все, за исключением разве что юристов и бухгалтерии. Но проблема в том, что эксперименты эти обычно намного сложнее того, что обычно понимают под А/Б тестированием — поменять цвет кнопки, подвигать поля, передизайнить лендинг — то, что можно легко сделать через фреймворки типа Google Analytics или Visual Website Optimizer. В нашем случае меняются большие куски customer journey, а зацепить такой тест может значительную часть основных бизнес-метрик.

В итоге, правильное проведение таких тестов, а, главное, правильное подведение их итогов стало своего рода искусством, доступным немногим просвещенным. Что, конечно, не есть хорошо. В итоге, мы решили начать собирать рекомендации и примеры, дабы помочь бизнес-аналитикам и менеджерам сделать все правильно. Ведь, ошибки стоят достаточно дорого: в лучшем случае мы потеряем время на сбор кривых данных и перезапуск теста, в худшем случае – можем принять ошибочное бизнес решение. При этом компания растет, приходят новые люди и хочется сократить learning curve насколько возможно.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 4.5K
Комментарии 0

Что не так с A/B тестированием

Блог компании Skyeng Big Data *Развитие стартапа Карьера в IT-индустрии
Перевод


Мы подготовили для читателей Хабры перевод статьи Майкла Камински, бывшего директора по аналитике в Harry’s. Он рассуждает о том, что не так с A/B тестированием. Комментирует материал Глеб Сологуб, директор по аналитике Skyeng.


Понятие A/B-тестирования основано на в корне неверном предположении, что существует единственное решение, которое в среднем лучше для всех клиентов. Аналитикам стоит отказаться от предположения об однородности их аудитории и начать разрабатывать системы, которые позволяют использовать (и поощряют) результаты иных тестов, кроме бинарных.

Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 8.4K
Комментарии 12

Особенности проверки гипотез для мобильных приложений

Веб-аналитика *Growth Hacking *Аналитика мобильных приложений *Управление продуктом *Flutter *


Сколько времени занимает проверка гипотезы для мобильного приложения? Давайте посчитаем:


  1. Разработка приложения, работающего в разных режимах для разных групп пользователей.
  2. Тестирование результата.
  3. Выкладывание приложения в магазины приложений и ожидание одобрения.
  4. Ожидание, пока пользователи обновят приложение. В 2019-ом у большинства включено автообновление, но далеко не у всех.
  5. Сбор и анализ статистики.
  6. Приведение приложения к состоянию победившей гипотезы, параллельно с разработкой следующей…

Если ваши разработчики работают по Scrum с двухнедельными итерациями, обычно это означает, что тестирование гипотезы занимает полный месяц. С другими методологиями этот срок можно ужать, но незначительно.


Такое положение дел делает невозможным достижение ритма “5 гипотез в неделю”, к которому стремятся многие продуктовые команды.


Ниже я расскажу, как можно ускорить и улучшить этот процесс и укажу ряд готовых решений, которые можно использовать.


Поехали.

Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 4.5K
Комментарии 4

Расчёт каннибализации на основе классического A/B-теста и метод bootstrap’а

Python *Big Data *Аналитика мобильных приложений *
В данной статье рассмотрен метод расчёта каннибализации для мобильного приложения на основе классического A/B-теста. В данном случае рассматриваются и оцениваются целевые действия в рамках процесса реаттрибуции с рекламного источника (Direct, Criteo, AdWords UAC и прочих) по сравнению с целевыми действиями в группе, на которую реклама была отключена.

В статье дан обзор классических методик сравнения независимых выборок с кратким теоретическим базисом и описанием примененных библиотек, в т.ч. вкратце описывается суть метода bootstrap’а и его реализация в библиотеке FaceBook Bootstrapped, а также проблемы, возникающие на практике при применении этих методик, и способы их решения.
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 10K
Комментарии 4

Tips And Tricks For Conducting A Successful Mobile App A/B Test

Разработка мобильных приложений *
Из песочницы


As per the latest stats reveal, there are more than 2.7 billion smartphone users globally and over 2.8 million apps on Google Play Store.


Now, it's a fact that the number of mobile users is increasing at outstanding speed, and so is the name of apps on Google Play Store.


But does all the apps success to make a difference? No, but just a handful of having stood out and gain popularity.


For instance, there are several games on the Play Store, but why only Candy Crush, Subway Surfers and Angry Birds topped the charts while the other games struggle for even ten downloads.


The trick is to provide the players with what they want, and in turn, the response for such apps is tremendous.


However, at this point, when the competition is very high, it's challenging to come up with something new that can stand out from the crowd.


It's crucial to create a brand name so that people can talk about it.

Read more →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 852
Комментарии 0

Как проводить A/B-тестирование на 15 000 офлайн-магазинах

Блог компании X5 Tech Big Data *
Привет! На связи команда Ad-hoc аналитики Big Data из X5 Retail Group.

В этой статье мы расскажем о нашей методологии A/B-тестирования и сложностях, с которыми мы ежедневно сталкиваемся.

В Big Data Х5 работает около 200 человек, среди которых 70 дата сайентистов и дата аналитиков. Основная наша часть занимается конкретными продуктами – спросом, ассортиментом, промо-кампаниями и т.д. Помимо них, есть наша отдельная команда Ad-hoc аналитики.


Читать дальше →
Всего голосов 28: ↑28 и ↓0 +28
Просмотры 17K
Комментарии 13

Множественные эксперименты: теория и практика

Блог компании Яндекс Big Data *Математика *Аналитика мобильных приложений *Статистика в IT
В современном мире сложно представить развитие продукта без A/B-тестирования. Чтобы успешно запустить продукт или новую функциональность — надо грамотно спроектировать A/B, рассчитать и интерпретировать его результаты. Иногда нам требуется тестирование более чем для двух групп. В этой статье мы рассмотрим как раз такой случай — множественное тестирование:

  • поговорим о том, когда и зачем следует проводить множественные тесты;
  • рассмотрим основные методы расчёта результатов тестов и математические принципы, на которых основаны методы;
  • приведём примеры программной реализации методов; эти примеры вы сможете использовать в своих проектах.

Итак, приступим.


Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 13K
Комментарии 1

Время — деньги: анализируй А/В-тесты разумно

Блог компании Delivery Club Tech Визуализация данных *Веб-аналитика *Аналитика мобильных приложений *


Всем привет! Меня зовут Кирилл, я работаю в продуктовом направлении команды Data Science. Сегодня я расскажу о том, как мы в Delivery Club автоматизируем A/B-тестирование. Основная часть статьи посвящена аналитике, но мы кратко затронем и остальные аспекты.
Читать дальше →
Всего голосов 22: ↑22 и ↓0 +22
Просмотры 8.7K
Комментарии 4

Как с помощью Google, утюга и пассатижей сделать так, чтобы пользователи чаще заполняли заявки. История одной формы

Блог компании Райффайзен Банк Графические оболочки *Интерфейсы *Тестирование веб-сервисов *Веб-аналитика *

Привет, меня зовут Улукбек, я фронтенд-разработчик в команде, которая работает над продуктом «Ипотека» в Райффайзенбанке. Под катом я попробую рассказать, как разработчик может не только просто реализовывать задачи, поступающие от бизнеса, но и сам стать генератором идей, помочь компании в повышении эффективности и дать пользователям удобный сервис.

Читать далее
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 3K
Комментарии 4

Стратификация. Как разбиение выборки повышает чувствительность A/B теста

Блог компании X5 Tech Python *Математика *Статистика в IT

Всем привет! На связи команда ad-hoc аналитики X5 Tech.

Сегодня подробно обсудим применение стратификации для повышения чувствительности оценки AB экспериментов.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 3.4K
Комментарии 0