Выбрать лучшую рекомендацию для клиента в условиях ограничений коммуникационной нагрузки можно через оценку релевантности продукта, его влияния на ценность клиента для принятия взвешенного решения, а также отклика в каналах взаимодействия.
В Службе персонализации предложений билайн мы занимаемся персонификацией продуктовых предложений до абонента. В статье рассмотрим подход, который мы для этого используем: углубимся в создание единого репозитория предложений и описание логики категоризации и набора в кампании для коммуникации с нашими клиентами.
С чем мы работаем каждый день и что должны учесть
На полке рекомендаций доступно 40+ продуктов — персональный тариф, домашний интернет, оплата услуг со счета телефона, подписки на сервисы компании, и т.д.
Около 20 доступных каналов коммуникации.
Каждый отчетный месяц на полку выводится 1-2 новых продукта.
Таким образом, сложность задачи заключается в том, что мы имеем более 800 доступных комбинаций. Как предложить клиенту интересный для него продукт в нужном канале.
Обновление продуктового каталога
На входе — каталог существующих продуктов с числовыми идентификаторами и способами их определения. Раньше для формирования кампаний по продвижению менеджеры определяли критерии таргетинга для каждого продукта. Они опирались на доступные предложения, приоритет продукта и лимиты для каналов продвижения.
Приоритет предложения вычисляли по формуле:
где 
— средняя вероятность отклика на продукт, 
— эффект от продажи одной единицы продукта в рублях, 
— стоимость коммуникации в канале продвижения.
Так абонент попадал в неоптимальную для него кампанию для продвижения, а далее он блокировался от коммуникации сервисом контактной политики.
Постановка задачи: Набор в кампании должен происходить на основании отранжированного списка рекомендаций для абонента в условиях ограничений коммуникационной нагрузки и максимизации прибыли.
Оценку релевантности продукта для абонента можно получить через моделирование вероятности продажи продукта в каждом канале взаимодействия.
Формула для набора в кампании:
где 
— вероятность отклика на продукт для абонента 
.
Отдельно для решения этой задачи мы создали хранилище для рекомендаций — репозиторий предложений. Это витрина с модельными вероятностями склонностей абонентов к продуктам из каталога в соответствующих каналах. Репозиторий показывает актуальное состояние абонентской базы в каждом месяце: насколько абонент склонен к приобретению продукта в каждом из каналов.
Почему мы отказались от классического ML?
Задача оценки отклика и релевантности продукта сводится к бинарной классификации. Для обучения мы использовали отклики по коммуникациям за предыдущие периоды.
Стандартные этапы работы МL-модели выглядят так:
сборка фичей;
подготовка целевой переменной;
разработка модели;
проведение пилота в ручном режиме;
вывод модели в прод.
При таком подходе Т2М вывода в прод новой модели — около 1.5–2 месяцев. Построение моделей 40+ продуктов заняла бы годы. Так мы поняли, насколько важно сократить Т2М, но при этом важно не сильно уронить качество моделей. А еще данные в моделях нужно периодически переобучать из-за их устаревания и изменения методологии продаж. Для этого мы поменяли подход к построению моделей.
Наша цель — глобальная персонализация предложений в различных каналах. Для этого нам нужно было создать механизм автоматической разработки и обновления ML-моделей.
Даниил Ткач, директор департамента клиентских взаимоотношений
Что нужно, чтобы внедрить AutoML в CVM?
Для того, чтобы внедрить AutoML, нам потребовалось автоматизировать сбор откликов клиентов и фичей для ML-моделей (Feature Store). На схеме ниже представлен полный цикл подбора релевантных предложений клиентам.
Отклики клиентов на наши предложения позволяют быстро адаптироваться к изменениям поведения, обновлять модели и отправлять наиболее релевантные предложения в разных каналах коммуникации.
Определяем категории релевантности и набор в кампании
Раньше менеджеры экспертно определяли критерии таргетинга для каждого продукта. В новом подходе мы разделили абонентов на категории, опираясь на прогнозную вероятность отклика на продукт, которую получаем с использованием набора ML-моделей склонностей по продуктам. Экспертные критерии мы свели к минимуму.
Категоризация позволяет гибче настраивать маркетинговые кампании, потому что подсвечивает абонентам наиболее подходящие им продукты. Так мы избавляем клиентов от информационного шума и повышаем отклик на наши коммуникации. По каждому продукту мы стремимся смещать объемы коммуникации в сторону заинтересованных пользователей.
Таким образом, для категоризации нужно было выделить наиболее релевантных абонентов и тех, которым продукт в канале будет неинтересен. Помимо этого, нужно было определить еще две более массовые категории с абонентами немного более и менее склонными к продукту, чем большинство. Для этого мы рассмотрели два подхода к категоризации:
на основании модельных порогов отсечения склонностей (threshold);
на основании средних значений откликов (avg).
Первый подход: от продукта
Категоризации модельных скоров по склонности абонента к взятию продукта состоит из четырех категорий — A, B, C и D. В первую и вторую попадают абоненты с самым высоким откликом, в третью — абоненты с низкой склонностью. В четвертой — абоненты, которым продукт неинтересен, с ними коммуникация по продукту не состоится.
Обозначим через Pi вероятность отклика для клиента, тогда категория релевантности определяется по таким правилам:
Категория абонентов | Подход к определению |
|---|---|
A – самые склонные абоненты |
|
B – склонные абоненты | ( |
С – низкосклонные абоненты | threshold < |
D – абонентам не интересен продукт |
|
≥ (
+ 15%)В этом подходе порог для категорий C и D определяется по значению threshold. Клиенты, вероятность отклика которых, оказалась ниже порога отсечения, считаются нерелевантными и исключаются из коммуникаций по продукту.
Подход позволяет учитывать особенности откликов на каждый продукт и гибко подходить к определению склонных абонентов. Также благодаря исключению нерелевантных абонентов из расчета среднего (то есть, среднее не могло быть ниже порогового значения), по каждому продукту набирались все четыре категории.
Второй подход: сравнение продуктов
Первый подход позволяет хорошо таргетировать продажи, но у него есть ряд минусов:
В этом подходе невозможно сравнивать продукты между собой — разный ожидаемый отклик от продвижения продуктов на абонентов в категориях.
Подход усложнял переговоры с продуктовыми командами — требовал объяснения технических деталей и обоснования большой категории D.
Решением этих проблем стал второй подход к категоризации на основании средних значений и фиксированных порогов отсечения.
Категория абонентов | Подход к определению |
|---|---|
A – самые склонные абоненты |
|
B – склонные абоненты | avg ≤ |
С – низкосклонные абоненты | 0,01% < |
D – абонентам не интересен продукт |
|
В нем берется среднее значение среди всех абонентов для рассматриваемого продукта. То есть, допускается, что по продукту может отсутствовать любая категория. Например, по продукту может не найтись абонентов с прогнозным откликом более 2% (клиентов в категории А не будет) или же наоборот, средний отклик по продукту может превышать 2% (в таком случае категория B останется пустая).
Получается, что в категориях A, B, C находятся абоненты, склонные к продукту. Такой подход позволяет управлять ожиданиями менеджеров от запуска кампаний на каждую категорию благодаря сравнимому прогнозному отклику в категориях A, D.
Как работает репозиторий предложений
Мы создали хранилище для рекомендаций — репозиторий. После оценки релевантности продукта для клиента данные сохраняются в единую структуру с детализацией до клиента, продукта и канала. Это позволило использовать результаты оценки для передачи в системы принятия решений и каналы для приоритезации предложений.
В хранилище собраны данные по 30+ млн клиентов и оценка по всем продуктам и доступным каналам. Обновление происходит минимум один раз в месяц. Чтобы менеджерам продаж было удобнее использовать репозиторий, перевели все оценки в категории релевантности.
Категории релевантности продуктов для клиента позволяют выстроить приоритетность рекомендаций и использовать репозиторий для планирования коммуникаций.
Павел Чернышов, руководитель службы персонализации предложений
Теперь можно получить данные активной абонентской базы в разрезе категорий по продуктам, а также таблицу релевантных продуктов для каждого клиента (в разрезе каналов):
Здесь самый подходящий для клиента продукт — «Общий баланс»: мы видим, что этот продукт имеет категорию А в трех из четырех рассмотренных каналах продвижения. Остальные продукты менее релевантны: например, клиент с низкой вероятностью ответит на коммуникацию по продуктам «Домашний интернет», «Виртуальный помощник».
Для ранжирования продуктов и выбора оптимального предложения мы учитываем не только релевантность продукта, но и влияние на доходность с продажи. Это позволяет выбирать продукт с наибольшим ожидаемым эффектом.
Результаты внедрения подхода
Мы проводили пилотные кампании по продвижению продуктов в разных каналах коммуникации, чтобы понять, какой подход к продвижению продуктов эффективнее. Покажем результаты на примере для продукта X в канале sms.
На графиках ниже показаны распределение абонентов в категориях и средний отклик для регулярных кампаний и кампаний, на основании ML моделей (пилот).
Регулярные кампании запускаются менеджерами на основании атрибутов профиля (верхний график). Средний низкий отклик на них прежде всего связан с тем, что в такие кампании попадает много абонентов с низким интересом к продукту (категория D). Таким образом, можно увеличить отклик за счет исключения из кампаний абонентов с низкими категориями релевантности (С и D, или только D).
Хорошие результаты мы получили на пилотных кампаниях в разрезе категорий релевантности, при этом мы намеренно набирали в кампании разное число абонентов по категориям (нижний график).
Создание нового подхода позволило нам:
Сократить время оценки склонности клиентов к продуктам за счет автоматизации построения моделей.
Определить категории релевантности и сравнивать продукты между собой в рамках «полки» для каждого клиента.
Создать единый репозиторий с предложениями и единую точку входа для настройки кампаний по продвижению продуктов.
Повысить эффективность коммуникации — нарастить отклик, оптимизировать коммуникационную нагрузку.
В следующей статье расскажем про наш подход к автоматизации построения и вывода в прод набора моделей на основании работы с хранилищем данным (Feature Store) и AutoML.