Статья не претендует на научность, а просто рассказывает, как бывает в жизни, когда уже прошел все курсы, проверил разные гипотезы, но все еще получаешь новый опыт. На моем примере вы увидите как не нужно «впиваться» в конкретную фичу и биться с ней до конца, отпускать — это нормально, ошибки — это нормально.
Контекст
Речь пойдет про мобильное приложение букмекера, где пользователю в любой момент доступны тысячи событий, десятки тысяч маркетов (победа, фора, тотал) и еще больше исходов — коэффициентов на которые ставит пользователь.
Все события можно поделить на 2 типа: live и прематч. Live’ом мы называем события, которые происходят в реальном времени, прямо сейчас по всему миру. Для них у нас есть видеотрансляции и статистика в реальном времени. Все это еще больше погружает пользователя в игру и добавляет эмоций.
Помимо Live событий, ставку можно сделать на прематч. Это те события, которые еще не случились. Крупные спортивные соревнования, такие как чемпионат мира по футболу появляются задолго до начала и привлекают аудиторию игроков за много месяцев.
Далее мы поговорим про Live события.
Вспомните себя
Что вам нравится больше в спорте?
Футбол, в котором забивают голы или счет 0:0 в конце 90 минуты
Хоккей, в котором залетает по несколько шайб за период или фигурное катание с шайбой
Уверенное лидирование Ферстаппена или напряженная борьба Reb Bull с Ferrari
Не удивлюсь, если вы выберете первый вариант во всех случаях.
Но как найти «живые события», за которыми будет интересно наблюдать, болеть за команду и заключать интригующие пари?
Как раз эту гипотезу мы и начали проверять.
? Гипотеза
Если мы поможем пользователю находить «живые» события, в которых происходит что-то интересное, тогда он с большей вероятностью будет в них заходить и заключать пари, что повлияет на наши метрики (в данной истории метрики не главное, мы опустим их для простоты).
Начинаем с аналитики
Часто, когда в событиях происходят опасные ситуации: забивают гол, бьют пенальти, получают карточку, отправляют на скамейку запасных или удаляют игрока — коэффициенты значимо обновляются. В это время пользователю не доступно совершение пари, а на карточках мы так и пишем: «Событие обновляется».
![Старая карточка события Старая карточка события](https://habrastorage.org/getpro/habr/upload_files/fcf/ae2/41c/fcfae241cde63d084e3ee1d876c05659.png)
На момент эксперимента у нас не было качественной разметки таких кнопок, но мы смогли добыть немного информации:
Посмотрели количество переходов в такие события
Посчитали конверсию в ставку (после того, как коэффициенты возвращались к торгам)
Узнали количество пользователей, которые переходят в такие карточки
![Доля пользователей, которые переходят в карточку «Событие обновляется» 46% пользователей выбирают исход после перехода в карточку “Событие обновляется”](https://habrastorage.org/getpro/habr/upload_files/02e/0f7/4ba/02e0f74bab1b5b23c4d06d0416ea33dc.png)
![46% пользователей выбирают исход после перехода в карточку «Событие обновляется» 46% пользователей выбирают исход после перехода в карточку «Событие обновляется»](https://habrastorage.org/getpro/habr/upload_files/45f/647/cd4/45f647cd4b9adda3636cff3440ae59d3.png)
По всем признакам мы можем прибавить в целевое действие.
Наша гипотеза проста в разработке, нужно переименовать кнопки и написать несколько условий. Проведя PBR с командой, получаем набор таких ситуаций и названий. Решаем сделать A/B тест 50/50 и посмотреть, что будет. Докидываем заодно и более качественную разметку событий.
![Новая карточка события Новая карточка события](https://habrastorage.org/getpro/habr/upload_files/a21/509/bd0/a21509bd0dacd61d69c8bb065978109d.png)
Результаты получаются вот такими:
![Доля пользователей, которые взаимодействуют с карточкой, увеличилась до 26,4% Доля пользователей которые взаимодействуют с карточкой увеличилась до 26,4%](https://habrastorage.org/getpro/habr/upload_files/006/8f7/ce9/0068f7ce97d923399850542ac9494598.png)
![Конверсия в выбор исхода увеличилась до 53,3%](https://habrastorage.org/getpro/habr/upload_files/759/15a/d56/75915ad565c068941f5a17503eff84ac.png)
Мы и правда смогли направить внимание пользователей на события, где с большей вероятностью происходит что-то интересное.
Но, получив более качественную разметку, замечаем, что большинство кликов приходятся на 0 минуту и 90, когда событие только начинается и заканчивается.
Добавим еще пару условий, и попробуем убрать бесполезные переходы в карточку, когда с ней нельзя ничего сделать.
![Альтернативные кнопки для карточки Untitled](https://habrastorage.org/getpro/habr/upload_files/f99/d7b/88f/f99d7b88fd700ea40ea45781e00cb2be.png)
Что же, уже интересней, идем смотреть метрики.
Переходы в карточку со статусом «Окончание события» падают, а это как раз то, что нам было нужно. Пользователям незачем туда заходить, мы не тратим их внимание и время в приложение зазря, ставку там сделать не получится.
![Кол-во переходов в карточки с разными кнопками](https://habrastorage.org/getpro/habr/upload_files/411/9a8/218/4119a82182247ff5307ef76a2cd0d3c0.png)
Смотрим еще раз на конверсию в ставку из карточек с «Опасный момент!» и немного расстраиваемся. Статистически значимого результата здесь не будет. Самой формулировкой мы не смогли значимо повлиять на продукт, но зато существенно сократили переходы в те карточки, которые уже точно не дадут ставок, а это тоже отличный результат.
![Конверсия из выбора карточки в выбор ставки](https://habrastorage.org/getpro/habr/upload_files/464/5e0/571/4645e0571bd8a8e7621d584d147f0c13.png)
Некоторые выводы:
На разработку и проверку было потрачено мало времени, но благодаря этому опыту мы больше узнали о наших пользователях, получили аналитику и поняли, что можем управлять вниманием пользователя схожими механиками.
Мы нашли улучшение там, где неверное и не нашли бы, если не решили проверить данную гипотезу. Ошибаться — нормально, не ошибается тот, кто ничего не делает.
Стоило ли делать предварительную долгую системную аналитику для этой задачи, чтобы заранее продумать все статусы и переходы, предусмотреть разметку и т.д. Нет! Зачем? Большого профита мы здесь явно не получили бы, а проверяя гипотезу в лоб, особо ничем не рисковали. Win - Win.
Самое печальное, что кнопку «Опасный момент» нам все же придется заменить на старую «Событие обновляется», так как пока мы еще не научились на 100% попадать в действительно опасный момент, и статистически значимо увеличить конверсию в ставку. При этом, иногда мы получаем гневные комментарии в поддержку от пользователей так как понять что за опасным момент произошел в событии они все еще не могут.
Надеюсь эта небольшая статья поможет вам находить плюсы, экспериментировать и получать опыт даже не в самых удачных гипотезах.