Pull to refresh
  • by relevance
  • by date
  • by rating

Байесовские многорукие бандиты против A/B тестов

Open Data Science corporate blog Python *Mathematics *Web services testing *Machine learning *

Здравствуйте, коллеги. Рассмотрим обычный онлайн-эксперимент в некоторой компании «Усы и когти». У неё есть веб-сайт, на котором есть красная кнопка в форме прямоугольника с закругленными краями. Если пользователь нажимает на эту кнопку, то где-то в мире мурлычет от радости один котенок. Задача компании — максимизация мурлыкания. Также есть отдел маркетинга, который усердно исследует формы кнопок и то, как они влияют на конверсию показов в клико-мурлыкания. Потратив почти весь бюджет компании на уникальные исследования, отдел маркетинга разделился на четыре противоборствующие группировоки. У каждой группировки есть своя гениальная идея того, как должна выглядеть кнопка. В целом никто не против формы кнопки, но красный цвет раздражает всех маркетологов, и в итоге было предложено четыре альтернативных варианта. На самом деле, даже не так важно, какие именно это варианты, нас интересует тот вариант, который максимизирует мурлыкания. Маркетинг предлагает провести A/B/n-тест, но мы не согласны: и так на эти сомнительные исследования спущено денег немерено. Попробуем осчастливить как можно больше котят и сэкономить на трафике. Для оптимизации трафика, пущенного на тесты, мы будем использовать шайку многоруких байесовских бандитов (bayesian multi-armed bandits). Вперед.

Читать дальше →
Total votes 67: ↑65 and ↓2 +63
Views 48K
Comments 50

Как мы проводим эксперименты на людях. А/Б тестирование для продвинутых

ID Finance corporate blog Web services testing *Web services monetization *Product Management *
image

В биологии и медицине многие эксперименты на людях и других высших приматах, как известно, сейчас запрещены. Но в маркетинге и управлении продуктом это пока не возбраняется. Чем мы активно и пользуемся в ID Finance, проводя мультивариативные тесты ценностных предложений, продуктовых фич, интерфейсов и прочего.

А/Б тестирование в нашей компании отличается широкой распространенностью и особой извращенностью. Тесты у нас проводят все, за исключением разве что юристов и бухгалтерии. Но проблема в том, что эксперименты эти обычно намного сложнее того, что обычно понимают под А/Б тестированием — поменять цвет кнопки, подвигать поля, передизайнить лендинг — то, что можно легко сделать через фреймворки типа Google Analytics или Visual Website Optimizer. В нашем случае меняются большие куски customer journey, а зацепить такой тест может значительную часть основных бизнес-метрик.

В итоге, правильное проведение таких тестов, а, главное, правильное подведение их итогов стало своего рода искусством, доступным немногим просвещенным. Что, конечно, не есть хорошо. В итоге, мы решили начать собирать рекомендации и примеры, дабы помочь бизнес-аналитикам и менеджерам сделать все правильно. Ведь, ошибки стоят достаточно дорого: в лучшем случае мы потеряем время на сбор кривых данных и перезапуск теста, в худшем случае – можем принять ошибочное бизнес решение. При этом компания растет, приходят новые люди и хочется сократить learning curve насколько возможно.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 4.3K
Comments 0

Что не так с A/B тестированием

Skyeng corporate blog Big Data *Start-up development IT career
Translation


Мы подготовили для читателей Хабры перевод статьи Майкла Камински, бывшего директора по аналитике в Harry’s. Он рассуждает о том, что не так с A/B тестированием. Комментирует материал Глеб Сологуб, директор по аналитике Skyeng.


Понятие A/B-тестирования основано на в корне неверном предположении, что существует единственное решение, которое в среднем лучше для всех клиентов. Аналитикам стоит отказаться от предположения об однородности их аудитории и начать разрабатывать системы, которые позволяют использовать (и поощряют) результаты иных тестов, кроме бинарных.

Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Views 8.2K
Comments 12

Особенности проверки гипотез для мобильных приложений

Web analytics *Growth Hacking *Mobile App Analytics *Product Management *Flutter *


Сколько времени занимает проверка гипотезы для мобильного приложения? Давайте посчитаем:


  1. Разработка приложения, работающего в разных режимах для разных групп пользователей.
  2. Тестирование результата.
  3. Выкладывание приложения в магазины приложений и ожидание одобрения.
  4. Ожидание, пока пользователи обновят приложение. В 2019-ом у большинства включено автообновление, но далеко не у всех.
  5. Сбор и анализ статистики.
  6. Приведение приложения к состоянию победившей гипотезы, параллельно с разработкой следующей…

Если ваши разработчики работают по Scrum с двухнедельными итерациями, обычно это означает, что тестирование гипотезы занимает полный месяц. С другими методологиями этот срок можно ужать, но незначительно.


Такое положение дел делает невозможным достижение ритма “5 гипотез в неделю”, к которому стремятся многие продуктовые команды.


Ниже я расскажу, как можно ускорить и улучшить этот процесс и укажу ряд готовых решений, которые можно использовать.


Поехали.

Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 3.9K
Comments 4

Расчёт каннибализации на основе классического A/B-теста и метод bootstrap’а

Python *Big Data *Mobile App Analytics *
В данной статье рассмотрен метод расчёта каннибализации для мобильного приложения на основе классического A/B-теста. В данном случае рассматриваются и оцениваются целевые действия в рамках процесса реаттрибуции с рекламного источника (Direct, Criteo, AdWords UAC и прочих) по сравнению с целевыми действиями в группе, на которую реклама была отключена.

В статье дан обзор классических методик сравнения независимых выборок с кратким теоретическим базисом и описанием примененных библиотек, в т.ч. вкратце описывается суть метода bootstrap’а и его реализация в библиотеке FaceBook Bootstrapped, а также проблемы, возникающие на практике при применении этих методик, и способы их решения.
Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Views 8.6K
Comments 4

Tips And Tricks For Conducting A Successful Mobile App A/B Test

Development of mobile applications *
Sandbox


As per the latest stats reveal, there are more than 2.7 billion smartphone users globally and over 2.8 million apps on Google Play Store.


Now, it's a fact that the number of mobile users is increasing at outstanding speed, and so is the name of apps on Google Play Store.


But does all the apps success to make a difference? No, but just a handful of having stood out and gain popularity.


For instance, there are several games on the Play Store, but why only Candy Crush, Subway Surfers and Angry Birds topped the charts while the other games struggle for even ten downloads.


The trick is to provide the players with what they want, and in turn, the response for such apps is tremendous.


However, at this point, when the competition is very high, it's challenging to come up with something new that can stand out from the crowd.


It's crucial to create a brand name so that people can talk about it.

Read more →
Total votes 9: ↑9 and ↓0 +9
Views 705
Comments 0

Как проводить A/B-тестирование на 15 000 офлайн-магазинах

X5 Group corporate blog Big Data *
Привет! На связи команда Ad-hoc аналитики Big Data из X5 Retail Group.

В этой статье мы расскажем о нашей методологии A/B-тестирования и сложностях, с которыми мы ежедневно сталкиваемся.

В Big Data Х5 работает около 200 человек, среди которых 70 дата сайентистов и дата аналитиков. Основная наша часть занимается конкретными продуктами – спросом, ассортиментом, промо-кампаниями и т.д. Помимо них, есть наша отдельная команда Ad-hoc аналитики.


Читать дальше →
Total votes 28: ↑28 and ↓0 +28
Views 15K
Comments 13

Множественные эксперименты: теория и практика

Яндекс corporate blog Big Data *Mathematics *Mobile App Analytics *Statistics in IT
В современном мире сложно представить развитие продукта без A/B-тестирования. Чтобы успешно запустить продукт или новую функциональность — надо грамотно спроектировать A/B, рассчитать и интерпретировать его результаты. Иногда нам требуется тестирование более чем для двух групп. В этой статье мы рассмотрим как раз такой случай — множественное тестирование:

  • поговорим о том, когда и зачем следует проводить множественные тесты;
  • рассмотрим основные методы расчёта результатов тестов и математические принципы, на которых основаны методы;
  • приведём примеры программной реализации методов; эти примеры вы сможете использовать в своих проектах.

Итак, приступим.


Читать дальше →
Total votes 16: ↑16 and ↓0 +16
Views 10K
Comments 1

Время — деньги: анализируй А/В-тесты разумно

VK corporate blog Delivery Club Tech corporate blog Data visualization Web analytics *Mobile App Analytics *


Всем привет! Меня зовут Кирилл, я работаю в продуктовом направлении команды Data Science. Сегодня я расскажу о том, как мы в Delivery Club автоматизируем A/B-тестирование. Основная часть статьи посвящена аналитике, но мы кратко затронем и остальные аспекты.
Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Views 6K
Comments 4

Как с помощью Google, утюга и пассатижей сделать так, чтобы пользователи чаще заполняли заявки. История одной формы

Райффайзенбанк corporate blog Desktop environments *Interfaces *Web services testing *Web analytics *

Привет, меня зовут Улукбек, я фронтенд-разработчик в команде, которая работает над продуктом «Ипотека» в Райффайзенбанке. Под катом я попробую рассказать, как разработчик может не только просто реализовывать задачи, поступающие от бизнеса, но и сам стать генератором идей, помочь компании в повышении эффективности и дать пользователям удобный сервис.

Читать далее
Total votes 14: ↑13 and ↓1 +12
Views 2.6K
Comments 4