В этой статье, состоящей из трёх частей, мы рассказываем о нашем исследовании метрик, на которые стоит ориентироваться, чтобы увеличить долгосрочную выручку онлайн-магазина.
![](https://habrastorage.org/getpro/habr/upload_files/45f/bf2/b69/45fbf2b69e280480197853376172e36e.jpg)
В первой части обсудили проблемы, возникающие при оценке LTV пользователей онлайн-магазина, и как можно решить их с помощью прокси-метрик. Также мы рассказали, как ищут подобные метрики компании из разных областей и поделились собственным списком найденных метрик, применимых в e-commerce.
Во второй части мы описали техническую сторону отбора прокси-метрик: объяснили, как можно найти и выбрать наиболее полезные из множества вариантов, насколько хорошо они предсказывают LTV покупателей, смогут ли магазины с разными категориями товаров их использовать и т.д.
Третья, финальная часть, получилась более прикладной. В ней мы обсудим, как отбирать метрики с точки зрения смысла для бизнеса и на их основе принимать решения, повышающие LTV пользователей, а вместе с ним и долгосрочную выручку онлайн-магазина.
Интерпретация полученных прокси-метрик с точки зрения бизнеса
Напомним, что во второй части мы отобрали следующие прокси-метрики:
Количество заказов;
Посетитель оставил email;
Тип браузера;
Тип устройства;
Давность последнего посещения сайта;
Количество разных просмотренных товаров;
Длительность взаимодействия пользователя с сайтом в днях (разница в днях между первым и последним посещением);
Количество запросов в поисковой системе сайта;
Количество добавленных в корзину товаров.
Думаем, не нужно особо объяснять наличие в нашем списке связанных с заказами признаков – их влияние на LTV понятно: согласно RFM-анализу, чем больше заказов совершил пользователь, тем он лояльнее к компании и тем вероятнее продолжит покупать у вас в будущем.
Теперь постараемся объяснить, как остальные признаки способны предсказывать LTV:
Посетитель оставил email. То, что клиент передал свои контактные данные – явный признак лояльности к магазину. В некоторых магазинах нельзя сделать заказ, не оставляя email, и можно предположить, что оставленный email – это просто следствие заказа. Но мы проверили и выяснили, что сам по себе оставленный email без совершения заказа может положительно повлиять на будущий LTV. Вероятно, это связано с тем, что зная email пользователя, магазин может коммуницировать с ним, стимулируя к дальнейшим покупкам. Однако в этом случае многое зависит от эффективности рассылок.
Тип браузера. Эта метрика может влиять на LTV, причем для каждого магазина все будет индивидуально: в одном с наибольшей вероятностью в будущем совершат покупку пользователи Safari, в другом – пользователи Firefox. Это может зависеть от категории товаров в магазине. Например, если у магазина большой ассортимент техники Apple, скорее всего, пользователи Safari будут к нему более лояльны. Другая причина заключается в том, что сайт по-разному выглядит и функционирует в зависимости от браузера.
Тип устройства. По сути, здесь только две опции: компьютер и смартфон. На примере многих магазинов мы видим, что покупатели, использующие компьютер, в будущем более склонны к покупке. Возможно, это связано с тем, что с него удобнее заказывать и в целом пользоваться сайтом, чем с мобильного устройства.
Давность последнего посещения сайта. Метрика напрямую связана с лояльностью пользователя. Например, если человек не заходил на сайт более двух месяцев, возможно, он уже забыл о нем или не нашёл интересный ему товар, поэтому вряд ли вернется в будущем.
Количество просмотренных разных товаров. Чем больше пользователь посмотрел разных товаров, тем больше эффективный размер каталога и тем лучше человек знаком с магазином и выше вероятность, что он вспомнит про него, когда захочет что-то купить.
Длительность взаимодействия пользователя с сайтом в днях. Если человек продолжительное время посещает сайт в разные дни, это говорит о том, что интернет-магазин интересен пользователю и он знает, что может найти там нужные товары.
Количество запросов в поисковую систему сайта. Регулярное взаимодействие пользователя с поисковой системой интернет-магазина говорит о том, что она работает и хорошо помогает пользователю решать его задачи.
Количество добавленных в корзину товаров. Этот признак может коррелировать с связанными с заказами признаками, так как часть корзин трансформируется в заказы. Но его покрытие может быть в разы больше, если в магазине много «брошенных корзин», то есть незавершенных заказов. Далее мы покажем, почему добавление товара в корзину даже без последующего заказа – это положительное событие для магазина.
Подведем промежуточный итог: все эти признаки в той или иной степени говорят об активности пользователя на сайте и его лояльности к интернет-магазину. На их основе можно построить модель, которую будет легко интерпретировать и использовать в дальнейшем.
Модель предсказания LTV по прокси-метрикам и формирование общего критерия оценки (OEC)
Мы построили модель логистической регрессии. При этом, чтобы по коэффициентам модели можно было количественно оценивать силу каждого признака в предсказании LTV, мы их все нормализовали и таким образом привели к единому масштабу.
Чтобы узнать вероятность совершения покупки в будущем, нужно взять линейную комбинацию признаков и применить к ней сигмоидальную функцию. Данную линейную комбинацию можно использовать для составления OEC (этот термин мы ввели в первой части исследования. По сути это то, что нужно оптимизировать магазину для достижения своих долгосрочных целей).
Например, если магазин считает, что способен повлиять на все признаки, кроме типа устройства и браузера, то его OEC может быть представлен следующим образом:
В качестве примера мы используем сильно отличающиеся друг от друга «Магазин 1» и «Магазин 2», которые ввели в предыдущей части статьи
Из формул можно увидеть, что признаки работают в одном направлении (знаки перед переменными одинаковые) для обоих магазинов. Это также оказалось справедливо и для остальных 25 магазинов из нашего исследования. Поэтому можно сказать, что по изменению прокси-метрик в некотором направлении можно сделать оценку изменения LTV для самых разных типов магазинов.
А вот значения коэффициентов по величине могут существенно отличаться. Например, для двух приведенных выше магазинов коэффициент при «Количестве разных просмотренных товаров» отличается более, чем в два раза. Это говорит о том, что данная прокси-метрика имеет разный вес в предсказании LTV в этих магазинах.
Использовать модель OEC можно напрямую. Например, провести эксперимент, измерить разницу в показателях у двух сегментов, подставить эти разницы в линейную комбинацию и посмотреть, в какую сторону меняется OEC.
Можно упростить – посмотреть на изменения отдельных прокси-метрик, отобрать сильные изменения, проконтролировать неизменность оставшихся прокси-метрик и ждать соответствующее изменение в LTV. Например, часто в тестах среднее «количество заказов» на пользователя сильно не меняется, так как доля покупателей обычно мала, но в то же время среднее «количество добавленных в корзину товаров» или среднее «количество разных просмотренных товаров» на пользователя определены для большой части пользователей и они изменятся сильнее.
Качество работы модели
Мы построили линейные модели для всех 27 магазинов. Они довольно точно предсказывают факт покупки в течение следующих 6 месяцев. Их качество для разных магазинов варьируется от 0.8 AUC до 0.93 AUC.
По графику ниже можно оценить точность работы модели на «Магазине 1» и «Магазине 2».
![](https://habrastorage.org/getpro/habr/upload_files/07e/486/de6/07e486de6e979c1c119baa320b6a2c55.png)
На графике также видно, что модель хорошо разделяет пользователей по вероятности совершения покупки в будущем. С её помощью можно выделить сегменты с очень высокой вероятностью покупки (>80%) и практически нулевой (<1%).
Проверка стабильности работы модели по времени
Во второй части статьи мы проверяли стабильность работы прокси-метрик по времени. Аналогично убедимся, что и сама модель, созданная на основе этих признаков, работает стабильно.
![](https://habrastorage.org/getpro/habr/upload_files/32a/7c2/b83/32a7c2b8313d34dcb562d2567591fe4d.png)
Из графиков видно, что модели работают стабильно по времени.
Работа модели по разным сегментам пользователей
Модель включает признаки, которые имеют полезные для предсказания LTV значения почти для всех пользователей, а не только тех, кто совершал заказ. Посмотрим, как она способна разделять посетителей по будущему LTV в трёх сегментах:
Посетитель не добавлял товары в корзину и не совершал заказов;
У посетителя были добавления товаров в корзину, но не было заказов;
У посетителя были заказы.
На графике ниже мы разбили каждый сегмент пользователей на группы по вероятности покупки в соответствии с моделью. В каждой группе показано число и процент пользователей, которые совершили покупку в следующие полгода.
![](https://habrastorage.org/getpro/habr/upload_files/357/86b/f42/35786bf42da04d89e350f02965bcdb72.png)
![](https://habrastorage.org/getpro/habr/upload_files/23a/f52/f06/23af52f06aaf62b5c2f3a6286467011e.png)
Как мы видим, модель способна выделять более склонных к покупке (даже если она произойдет спустя длительный период времени) пользователей среди тех, кто ничего не покупал и не добавлял в корзину. То есть любая активность пользователя на сайте говорит о его потенциальной ценности для магазина. Отсюда напрашивается вывод, что повышая активность пользователя на сайте, магазин может рассчитывать на увеличение своей итоговой долгосрочной выручки.
Выводы
Мы провели масштабное исследование и нашли прокси-метрики, с помощью которых можно предсказывать будущую ценность пользователя интернет-магазина. Они будут также полезны для оценки ценности изменений в интернет-магазине.
Прокси-метрики характеризуют разнообразную активность пользователя на сайте. Например, «количество разных просмотренных товаров» говорит о вовлеченности пользователя, «длительность взаимодействия пользователя с сайтом в днях» и «давность последнего посещения сайта» – о возвращаемости на сайт, «посетитель оставил email» и «количество запросов в поисковой системе сайта» – об использовании функционала сайта, «количество добавленных в корзину товаров» и «количество заказов» – о решении своих текущих задач (поиск нужного товара).
Найденные нами прокси-метрики соответствуют рекомендации из обзорной статьи фокусироваться на HEART: Happiness – удовлетворенность, Engagement – вовлеченность, Adoption – использование функционала сайта, Retention – возвращаемость и Task success – решение задач.
Мы также показали, что, помимо метрик, связанных с заказами: «средний чек», «конверсия в покупателя», «выручка на посетителя» – которые мониторит и оптимизирует большинство онлайн-магазинов, есть и более полезные метрики. Большим плюсом предложенных нами метрик мы видим то, что они гораздо чувствительнее к изменениям, чем обычно используемые признаки о заказах, так как имеют полезные для предсказания LTV значения для большинства пользователей магазина.
Используя прокси-метрики, можно сформировать OEC. В статье мы предлагаем сделать это с помощью логистической регрессии, учитывая при построении формулы OEC экспертизу в конкретном бизнесе.
Для нахождения хороших прокси-метрик онлайн-магазин может провести такое же исследование или воспользоваться найденными нами прокси-метриками. Их актуальность была проверена на 27 магазинах разных типов, поэтому с высокой вероятностью они будут полезны и для многих других интернет-магазинов.
Авторы: Айбатов Серик, Носков Артем, аналитики RetailRocket