Комментарии 30
Вау... мне как начинающему свои первые шаги в тестировании, было очень интересно) Спасибо за статью)
На что в итоге чат влияет больше всего? Через что выражается зависимость прибыли продукта и чата?
Добрый вечер. Мое предположение - это сравнимо с игрой "Рыбалка" в ОК или ВК. Люди туда заходят не за эмоциями от игры (я думаю что там их получить не возможно). Они заходят туда ради комьюнити (людей по интересу).
Раньше игроки занимались ставками одни, а теперь у них появилось комьюнити, с кем они могут обсудить то или иное действие в режиме реального времени. Зачастую таки люди возвращаются снова и снова не ради ставки (хоть ее и делают) а ради общения.
Игроки начинают чаще ставить и при этом средний чек не меняется -> оборот растет
Увеличение оборота не всегда свидетельствует об увеличении прибыли, может быть и обратная тендеция.
да, но не в этом кейсе. мы прибыль также перепроверили, чтобы исключить такую тенденцию
Как вы можете ее исключить? Это социологическое явление.
Это очень легко, сравнить маржинальность в двух группах сформированных для А/Б теста
Это если верить в то, что маржинальность упала именно за социальной активности в чате. Могут быть и другие факторы.
Кажется, у нас с вами разное понимание методологии проведения А/Б тестов) какие, например, факторы?
Вопрос не в методологии, а в том, что служит причиной снижения кол-во ставок (и как следствие, оборота) в конкретной группе. Мы ведь не можем полагаться на догадки, верно? Нужно проверять.
Те, кто в группе с активным чатом, могут снизить активность потому, что они "зависают в чате" - это гипотеза. С другой стороны, кто-то в этой группе может оказаться порезанным по лимитам; раньше уйти в отток (по каким-то причинам); не попали в ту же бонусную активность, что и контрольная; не утратили источник дохода (сейчас актуальная тема), и т.п.
Группы не идеальны, если, конечно, вам не удалось добиться идеального баланса между двумя группами и такие факторы нивелируются вам автоматически, в чем сомневаюсь.
Эти факторы изолируются при подготовке контрольной и тестовой группы. Берутся игроки на одинаковом жизненном цикле, с одинаковым поведением и оборотом на протяжении длинного времени. И они не пересекаются с бонусными активностями.
Утратили источник дохода, выиграли лотерею или другие аномалии - это учитывается при анализе результатов А/Б теста через статистические методы.
Если уж говорить о социальных механиках...
А какая механика вообще сподвигает людей:
а) смотреть, как другие играют в [футбол, баскетбол и т.п.]
б) увлекаться этим настолько, чтобы тратить на это деньги и делать ставки на победу одной из команд?
Я понимаю - пойти самому позаниматься физкультурой. Или набрать единомышленников и поиграть в футбол/волейбол/городки/etc... Или позвать единомышленников из соседних дворов/районов и устроить матч
Я также понимаю - пойти пообщаться с друзьями в бар. Заодно и пива попить...
Но сидеть и смотреть как 22 миллионера полтора часа гоняют один мяч?... И ещё, как правило, всего лишь пару раз за игру достигают требуемого результата (забивают гол :)))
Вот и вопрос - какая социальная (психологическая) механика массово сподвигает людей к этому? ;)
А что с главной метрикой-то? Насколько она выросла и как сравнивали ее?
То, что частота посещений увеличилась, не означает роста главных метрик, например, конверсии в ставку, а здесь об этом ничего не сказано.
У социальных явлений, таких как чаты, например, есть и обратная сторона медали. Появляются люди, которые приходят не делать ставки, а чатиться, либо теряют даже интерес к ставкам, а приходят поболтать с ребятами в чатами. Что с этим?
Главная метрика - оборот от ставок;
На сколько она выросла: не буду раскрывать точных цифр, но она существенно выросла;
Как ее сравнивали:
- коротко: в а/б тесте;
- подробнее: Мы сформировали 2 однородные группы пользователей. Одной группе был чат доступен, другая группа про него не знала. В конце эксперимента у группы, в которой был доступен чат, оборот стал выше.
То есть даже в % нельзя назвать показатель? Что у группы "Б" (которой включили чат), оборот вырос на 10% (например), в сравении с контрольной группой "А".
Как вы связали именно наличие чата/общение с ним с увеличением оборота, а не другими возможными вариантами?
1) да, это уже достаточно чувствительная информация, которой могут воспользоваться конкуренты
2) в продукте ничего не менялось, кроме чата, при этом вовлеченность была высокой. еще раз повторю это был классический а/б тест с проверкой на статзначмость, где изолируются другие возможные факторы
Они и так могут воспользоваться ей, если это дало что-то значимое, вы же об этом сделали публикацию :)
То есть вы просто посмотрели "А" против "Б" с включенным и выключенным чатом и больше ничего?
Да, это и есть А/Б тест. Смотреть А против Б: как они начали отличаться по основным метрикам (оборот, ретеншн итд). Сколько ставок делается после захода в чат. Бьется ли это количество с общим аплифтом основных метрик
То есть все же был хотя бы заход в чат? Или что-то еще было?
Это и интересно, а просто наличие чата как такового не всегда говорит о том, что именно он был тем самым триггером.
Чтобы перепроверить основные метрики спускались во второстепенные: ставки после захода в чат, сколько чатом начали пользовать регулярно итд
Вот на эту последовательность действий было бы интересно взглянуть в рамках статьи как флоу и последовательности действий, а не просто общие числа. Что-то такое планируете опубликовать?
Возможно, в будущем сделаем статью про то как организовывать и интерпретировать А/Б тесты
Я думаю, что таких статей хватает :)
Здесь конкретно интересен разбор кейса не на верхнем уровне, а на более детальном.
Например, что вы разбили людей на категории "просто открывал чат", "открывал чат и не писал сообщений, но находился там менее 5 минут", "открывал чат и написал хотя бы одно сообщение", и так далее. И как эти группы или когорты себя вели.
Сейчас мы видим, что чат дает плюс к ретеншену, но на вопрос дает ли этот ретеншен аплифт по метрикам ответа нет, так как вы закрываете эту информацию как чувствительную.
Был такой эксперимент, в прошлом, когда время сессии было маленьким. Его искусственно увеличили, и аплифт случился, так как чемпионат популярный был в тоже время, а как он закончился, так время выросло, да, а пользы в натуральном выражении метрик никакой.
В таких вещах всегда интересно, как это все модерировать, и удерживать от сползания в треш. На первый взгляд кажется, что очень быстро такой чат наполнится арбитражниками, которые будут пытаться увести игрока на сайт конкуретна ради перехода по реферальной ссылке + конкуренты тоже могут попробовать вбросить туда противоправный контент, и сразу же побежать к регулятору. Да, даже и без таких умников, кажется логичным, что будет множество троллей, которые будут приходить только для того, чтобы оскорблять фанатов команды противника. В принципе, если открыть комменты к посту в любом достаточно большом паблике в ТГ, то все можно в полной мере и увидеть
История одной смелой гипотезы. Как мы проверяли социальную механику