Байесовский подход к АБ-тестам — альтернатива частотному (фреквентистскому) подходу. Поговорим о том, как заменить p-value на более интерпретируемые метрики, используя байесовские методы. На примере теста конверсии сравним частотный и байесовский подходы.
User
Как подготовить и провести A/B-тестирование. Базовый роадмэп для новичков
Хабр, привет!
Меня зовут Полина Окунева, я работаю ведущим аналитиком в компании GlowByte в команде Advanced Analytics, а также автор курса по A/B тестам. Сегодня в статье я предлагаю интересующимся небольшой гайд по A/B-тестам.
Когда я начала погружаться в тему A/B-тестирования пару лет назад, меня кидало из стороны в сторону: то перечитывала фундаментальные учебники по статистике, то переключалась на статьи о конкретных методиках. Но во всем этом многообразии материалов для меня на тот момент был огромный недостаток — я не могла собрать все в кучу и разобраться, а как же проводить-то этот A/B-тест? Я знала, что есть разные виды тестов, множественное тестирование и поправки, полезный и популярный Bootstrap… Но как все это соединить было не очевидно. Хотелось понять, какие этапы есть у A/B-тестирования и когда на что обращать внимание. Хотя бы какие термины гуглить и когда.
Сегодня я представляю вашему вниманию пазл, который сложился в моей голове по итогу плотной работы в этой теме. Я не претендую на истину в последней инстанции — шаги могут и должны(!) быть адаптированы конкретно под вашу задачу. Но если вы только начинаете входить в сферу A/B-тестирования, надеюсь, статья будет очень полезна. Я не буду подробно останавливаться на каждом понятии. Моя цель — обозначить технические этапы и показать новичкам модельную картину A/B-тестирования.
Сколько денег приносит системное решение по А/Б тестам?
Хабр, привет! Меня зовут Наталья Тоганова, я работаю старшим бизнес-аналитиком в компании GlowByte. Мы помогаем компаниям с построением моделей, задачами на стыке data science и инфраструктуры, а также с аналитикой и А/Б тестами. Здесь я хочу поговорить об А/Б тестах и финансовых надеждах, которые на них возлагаются.
Вопрос «Сколько денег принесет более правильное проведение А/Б тестов?» – всплывает в нашей работе постоянно. И мы знаем правильный ответ на него: в краткосрочной перспективе довольно мало, а возможно и ничего. Даже в долгосрочной перспективе доходность может стремиться к нулю. Хотя… зависит от того, как мы понимаем слово «доходность». Если включать в него «снижение издержек», то правильные А/Б тесты могут быть выгодными. Именно поэтому мы ратуем за веру в статистику, эксперименты и инвестиции в методику и надежность алгоритмов принятия решений.
Кроме того, доверие к методике А/Б тестирования означает и доверие к результатам тестов, а также – что немаловажно – и к тем, чьи идеи проверялись. И хотя доверие важнее денег, нередко оно - ещё и залог роста доходности.