Я бы посмотрел на объем сегмента пользователей, задачу которых вы решаете. Потом бы задал себе вопрос: какой сегмент рынка занимают конкуренты и чем вы лучше. И на основе этих вводных вы можете построить юнит экономику и проверить на сходимость.
В конечном итоге, если продукт растет и стабильно привлекает новых пользователей при сходящейся экономике, скорее всего, аудитории достаточно.
Да, конечно. Кажется, я ранее частично отвечал вам на этот вопрос. Мы смотрели сколько ставок делается после захода в чат: конверсия в ставку через 5 минут после захода в чат и их объем. Выделяли эту когорту и смотрели на их динамику
Эти факторы изолируются при подготовке контрольной и тестовой группы. Берутся игроки на одинаковом жизненном цикле, с одинаковым поведением и оборотом на протяжении длинного времени. И они не пересекаются с бонусными активностями.
Утратили источник дохода, выиграли лотерею или другие аномалии - это учитывается при анализе результатов А/Б теста через статистические методы.
Спасибо за ваш отзыв! Вопрос достаточно глубокий, думаю тут у каждого свой ответ будет)
Мое мнение, что в человеке заложена потребность переживать, болеть за кого-то. И чтобы усилить эмоции, люди делают ставки. Это прослеживается на всей истории человечества
Да, это и есть А/Б тест. Смотреть А против Б: как они начали отличаться по основным метрикам (оборот, ретеншн итд). Сколько ставок делается после захода в чат. Бьется ли это количество с общим аплифтом основных метрик
1) да, это уже достаточно чувствительная информация, которой могут воспользоваться конкуренты 2) в продукте ничего не менялось, кроме чата, при этом вовлеченность была высокой. еще раз повторю это был классический а/б тест с проверкой на статзначмость, где изолируются другие возможные факторы
На сколько она выросла: не буду раскрывать точных цифр, но она существенно выросла;
Как ее сравнивали: - коротко: в а/б тесте; - подробнее: Мы сформировали 2 однородные группы пользователей. Одной группе был чат доступен, другая группа про него не знала. В конце эксперимента у группы, в которой был доступен чат, оборот стал выше.
Отличная статья! Все четко и по делу. Положил в закладки, чтобы в работе подглядывать
Я бы посмотрел на объем сегмента пользователей, задачу которых вы решаете. Потом бы задал себе вопрос: какой сегмент рынка занимают конкуренты и чем вы лучше. И на основе этих вводных вы можете построить юнит экономику и проверить на сходимость.
В конечном итоге, если продукт растет и стабильно привлекает новых пользователей при сходящейся экономике, скорее всего, аудитории достаточно.
Да, конечно. Кажется, я ранее частично отвечал вам на этот вопрос. Мы смотрели сколько ставок делается после захода в чат: конверсия в ставку через 5 минут после захода в чат и их объем. Выделяли эту когорту и смотрели на их динамику
Да, это тянет на отдельную очень интересную статью) Возможно в будущем раскрою ее подробнее. Спасибо
Эти факторы изолируются при подготовке контрольной и тестовой группы. Берутся игроки на одинаковом жизненном цикле, с одинаковым поведением и оборотом на протяжении длинного времени. И они не пересекаются с бонусными активностями.
Утратили источник дохода, выиграли лотерею или другие аномалии - это учитывается при анализе результатов А/Б теста через статистические методы.
Возможно, в будущем сделаем статью про то как организовывать и интерпретировать А/Б тесты
Кажется, у нас с вами разное понимание методологии проведения А/Б тестов) какие, например, факторы?
Это очень легко, сравнить маржинальность в двух группах сформированных для А/Б теста
Спасибо за ваш отзыв! Вопрос достаточно глубокий, думаю тут у каждого свой ответ будет)
Мое мнение, что в человеке заложена потребность переживать, болеть за кого-то. И чтобы усилить эмоции, люди делают ставки. Это прослеживается на всей истории человечества
Чтобы перепроверить основные метрики спускались во второстепенные: ставки после захода в чат, сколько чатом начали пользовать регулярно итд
Да, это и есть А/Б тест. Смотреть А против Б: как они начали отличаться по основным метрикам (оборот, ретеншн итд). Сколько ставок делается после захода в чат. Бьется ли это количество с общим аплифтом основных метрик
да, но не в этом кейсе. мы прибыль также перепроверили, чтобы исключить такую тенденцию
1) да, это уже достаточно чувствительная информация, которой могут воспользоваться конкуренты
2) в продукте ничего не менялось, кроме чата, при этом вовлеченность была высокой. еще раз повторю это был классический а/б тест с проверкой на статзначмость, где изолируются другие возможные факторы
Главная метрика - оборот от ставок;
На сколько она выросла: не буду раскрывать точных цифр, но она существенно выросла;
Как ее сравнивали:
- коротко: в а/б тесте;
- подробнее: Мы сформировали 2 однородные группы пользователей. Одной группе был чат доступен, другая группа про него не знала. В конце эксперимента у группы, в которой был доступен чат, оборот стал выше.
Игроки начинают чаще ставить и при этом средний чек не меняется -> оборот растет
Спасибо вам за отзыв!