Всем привет! Меня зовут Ира Лисицына, мы с командой делаем сайт ВкусВилла удобным понятным и не останавливаемся в попытках достичь совершенного пользовательского пути через постоянные тесты и работу с обратной связью.
Любое изменение начинается с идеи. Можно ждать озарения, а можно подстроить его под себя, сделать так, чтобы гениальные мысли сами приходили в нужное время. Когда наша команда пришла к тому, что нам необходимо самим управлять своими озарениями и находить новые идеи как по расписанию — появилась встреча по генерациям гипотез. В чем польза таких брейнштормов и как довести идеи до прода — расскажу тут на реальных кейсах.
С чего всё началось
Встречу по генерации гипотез предложил наш техлид разработки. Решили правильно созидать всей командой вместе, а не по отдельности, так повышается концентрация профессионализма и экспертизы. Вся команда (да и любой желающий во ВкусВилле) может прийти, поделиться идеями, а их потом рассматривают и лучшие отправляют на фабрику (на A/B-тесты).
Только есть одно НО. У сайта ВкусВилла есть ограничения по возможным доработкам. Так как наш сайт и мобильное приложение омниканальны, а значит, вносить глобальные изменения долго и дорого. А тестировать-то хочется. Поэтому мы выбираем и тестим те решения, которые можем сделать силами команды разработки сайта.
Как это работает
Этап 1
Дважды в месяц мы выбираем какой-то кусок флоу или какую-то фичу — что-то одно, что для нас в данный момент приоритетнее всего. Вокруг этого придумываем, что можно изменить или улучшить. Например, рассматриваем путь пользователя от захода на сайт до оформления заказа.
Этап 2
Каждый из команды ресерчит, проходит этот флоу свежим взглядом, генерирует идеи и готовится ко встрече. На ней показывает всё, что, по его мнению, не совсем нативно понятно. Рассказывает, где можно было бы сделать по-другому или какие классные референсы нашёл у других игроков рынка — необязательно у фудритейлов.
Этап 3
Мы смотрим на всё это, выбираем те идеи, которые можем реализовать силами сайта и протестировать. Затем берём в работу те фичи, которые понравились всей команде и правда могут повлиять на метрики.
Также периодически отлавливаем какие-нибудь баги, которые впоследствии фиксим. Сайт огромный, функционала море, отслеживать всё это невозможно, а встреча помогает комплексно собрать и отработать.
Этап 4
Для выбранных гипотез формируем метрики, на основании которых будем уже принимать решение, залетела фича или нет. Забираем всё на отрисовку и запускаем.
Все A/B-тесты мы проводим в Varioqub — инструменте от Яндекса, который позволяет тестировать все изменения на сайте, или с помощью внутреннего сервиса А/B-тестов со сплитованием аудитории.
Помимо проведения A/B-тестов, мы нередко подключаем UX-исследователей, запускаем качественные и количественные вопросы.
Этап 5
Проверяем, как запущенные нововведения сказываются на важных для нас метриках, и если всё оправдалось — оставляем, если нет — возвращаем, как было. Ориентируемся на то, что нравится пользователям, а не нам.
А на деле что?
Чтобы не быть пустословными, делимся примерами из реальной жизни.
Идея «зашла» покупателям
Гипотеза: конверсия страницы с вакансиями повысится, если изменить дизайн всей страницы
Что изменили в дизайне
Перерисовали и сократили блок на первом экране главной страницы
Обновили форму для отправки отклика на вакансию: убрали поля с информацией о дате рождения, гражданстве, ближайшем метро/районе.
Сделали несколько вариантов баннера с ротацией для главной: для соискателей-курьеров, сотрудников магазинов и офиса.
Добавили на баннер информацию о ежедневном или ежемесячном доходе (от/до).
Запуск A/B-теста
Контрольный вариант — прежний дизайн страницы.
Экспериментальный вариант — новый дизайн страницы.
Размер выборки | 26 920 пользователей |
Длительность | Чтобы в тесте приняло участие 26 920 пользователей тест должен длиться 181 день. |
Основная метрика | Конверсия по пользователям в цель (Байес) «Вакансии_отклик по вакансии на первом экране» |
Дополнительные метрики | Аудитория (кол-во уникальных посетителей) Конверсия по пользователям в цель: Время на сайте Глубина просмотра |
Доля аудитории сайта | 100% |
Страница применения эксперимента | |
Регионы | Москва и МО область |
Платформы | Все платформы |
Итоги
Всего тест длился 13 дней
В тесте приняло участие 4 980 уникальных пользователей (18% от планируемой выборки): 2 540 пользователей — в контрольной группе (видели старый дизайн), 2 440 пользователя — в экспериментальной (видели новый вариант).
В контрольном варианте 79 пользователей откликнулись на вакансию в первом экране (форма).
В экспериментальном 166 пользователей откликнулись на вакансию в первом экране (форма).
Гипотеза подтвердилась. В рамках этого эксперимента зафиксировали отличие экспериментального варианта от контрольного — разница между значениями конверсионности в экспериментальном и контрольном варианте составила 3.7%.
Гипотеза: новый дизайн фуллскрин баннера на сайте увеличит переходы в мобильное приложение
Сделали три варианта баннера и отправили их на A/B-тест:
Основная метрика — конверсия по пользователям в цель «Закрыть фулскрин баннер по кнопке «Заказать в приложении».
Дополнительные метрики:
Доля визуальных отказов
Время на сайте
Аудитория (кол-во уникальных посетителей)
Конверсия по пользователям в цель «Закрыть фулскрин баннер по кнопке «Остаться»
Конверсия по пользователям в цель «Фулскрин. Закрытие любого фулскрина»
Средний GMV на визит с покупкой
Средний GMV на визит
Доля визитов с покупкой
Конверсия в цель «Фулскрин. Закрытие любого фулскрина»
Итоги
Всего тест длился 14 дней
— В тесте приняло участие 1 373 757 пользователей:
458 210 в контрольной группе со старым дизайном — 611 135 визитов
457 496 в экспериментальной с дизайном «Вариант 2» — 608 713 визитов
458 051 в экспериментальной с дизайном «Вариант 3» — 609 877 визитов
Гипотеза подтвердилась. В результате зафиксировали статистически значимое отличие экспериментальных вариантов от контрольного. Иными словами, пользователи, увидевшие новые варианты баннера, чаще нажимали на «Заказать в приложении», чем те, кто увидел старый (контрольный) вариант.
Идея НЕ «зашла» покупателям
Гипотеза: пользователи будут чаще доставлять в корзину товары из раздела «Избранное», если их дополнительно выделить в каталоге.
Мы добавили зелёную подложку для превью карточек товаров, которые добавлены в «Избранное».
Основная метрика — конверсия по пользователям в цель «Добавить в корзину избранный товар из листинга товаров».
Дополнительные метрики:
• Время на сайте
• Глубина просмотра
• Доля визитов с покупкой
• Средний GMV на визит с покупкой
• Конверсия по пользователям в цель «Каталог. Для A/B-теста. Нажатие на кнопку «В корзину» в категории»
• Конверсия по пользователям в цель «Быстрый просмотр товара. Добавление в корзину из поп-апа»
• Конверсия по пользователям в цель «Добавление товара в корзину из раздела «Избранное»
• Конверсия по пользователям в цель «Добавить в корзину избранный товар из превью карточки товара»
• Конверсия по пользователям в цель «Добавить в корзину избранный товар из детальной карточки товара»
Итоги
Тест длился 14 дней
— В эксперименте приняли участие 724 638 пользователей.
Гипотеза не подтвердилась: статистически значимых отличий от контрольного варианта по основной метрике не зафиксировали.
Гипотеза: при другом выведении категорий товаров пользователь будет чаще переходить => конверсия добавления товара из карточки в корзину увеличится.
Боль: пользователю приходится долго скролить до тизеров, возможно, он хочет сразу увидеть все товары, которые находятся внутри подкатегорий.
В ходе первого этапа теста проверяли:
• Переходы в подкатегорию
• Добавление товаров в корзину из категории
• Переходы в карточку товара
• Добавление товаров из блока 6 скидок
Заметили, что при таком варианте вывода категорий товаров пользователь чаще переходит в карточку товара, поэтому во второй итерации теста проверили также добавления товаров из карточки товара при переходе из выбранной категории.
Основная метрика — конверсия по пользователям в цель «Добавить товар из карточки товара, авторизован» (Байес).
Дополнительные метрики:
Конверсия по пользователям в цель «Переход в подкатегорию товаров» (Байес)
Конверсия по пользователям в цель «Переход в карточку товара/открытие карточки товара» (Байес)
Конверсия по пользователям в цель «Добавление товара в корзину из категории» (Байес)
Конверсия по пользователям в цель «Добавить товар из карточки товара, неавторизован» (Байес)
Аудитория (кол-во уникальных посетителей)
Доля визитов с покупкой
Средний GMV на визит с покупкой
Средний GMV на визит
Конверсия по пользователям в цель «Добавить в корзину_тизер товара» (Байес)
Конверсия по пользователям в цель «Быстрый просмотр товара. Добавление в корзину из поп-апа» (Байес)
В перезапуске проверяли конверсию в добавление товара из карточки, так как в предыдущем варианте теста зафиксировали статистически значимое отличие экспериментального варианта от контрольного по переходам/открытиям карточки товара.
Итоги
Тест длился 14 дней
— В тесте приняло участие 139 451 пользователей:
69 542 в контрольной группе — 91 942 визитов
69 909 в экспериментальной группе — 93 276 визитов
Гипотеза не подтвердилась. Несмотря на то, что нам удалось на 10% увеличить число добавлений товаров в корзину из тизеров товаров в категории, мы существенно (на 40%) уронили конверсию в переход в подкатегории товаров. По результатам теста оставили текущий вариант реализации списка подкатегории.
Заключение
Будем честны, это далеко не самая техничная статья — ни на какие лавры в этом плане мы не претендуем. Но нашей команде хотелось приоткрыть завесу, как в условиях технических ограничений находим способы снова и снова улучшать сайт ВкусВилла в отрыве от приложения. Почему через сайт? Тестировать гипотезы на нём гораздо дешевле и быстрее. Если идея срабатывает — делимся результатами с командой мобильного приложения. Вместе решаем: есть смысл внедрять или нет. Если да — переносим в общий план и реализуем уже для всего онлайна: и сайта, и приложения. И в заключении пару важных принципов, которые помогают нам быть гибкими и решительными:
Ошибаться — это нормально. Какие-то гипотезы выстреливают и вносят свой вклад в развитие сайта, какие-то с треском проваливаются. Но главное — не бояться ошибаться, именно страх ошибки и тормозит все процессы. Факапы – это благодатная почва для роста и понятный путь «как не надо».
Тестируем минимальными усилиями. Мы не начнем строить «космический корабль», вкладывая огромные деньги, не соорудив «маленькую лодочку» из уже доступных ресурсов. Все изменения проходят поступательно, через серию экспериментов и доработки на основе обратной связи от покупателей.
Я пока новичок на Хабре, но если хотите узнать что-то о работе с сайтом и в целом техстороне ВкусВилла — маякните в комментариях.