Это вторая часть введения в медиа микс моделирование. В ней я расскажу подробнее про моделирование и оптимизацию: как выбрать подход и метрики, собрать и предварительно обработать данные и перейти к моделированию.

Какие бывают подходы к моделированию?

Существует два подхода к построению МММ: байесовский и частотный. Давайте разберемся, какая между ними принципиальная разница.

Частотный подход

Этот подход используется в пакете Robyn MMM. В чем он заключается? Robyn подходит к МММ как к задаче оптимизации по двум (иногда трем) метрикам:

Метрика точности, то есть, насколько хорошо ваша модель медиа микс описывает настоящее значение метрики и предсказывает будущее значение.
Метрика бизнес-фит, или насколько медиа эффект, получаемый моделью, совпадает с тратами на тот или иной канал.Для этой метрики важно хорошо представлять, как тратить маркетинговый бюджет, а также чтобы маркетинг и так неплохо работал. Почему это важно?

Несмотря на то, что идея метрики бизнес-фита проста и гениальна — в ней кроется одна проблема, которая может быть не видна с первого взгляда. Часто эта метрика пытается оправдать неэффективные траты бюджета. И это может стать проблемой когда вы совсем не знаете что делаете.

Третья, опциональная метрика — то, насколько результат лифт-теста далек от предсказанного моделью эффекта. Лифт-тест рассчитывается как процентное изменение показателей среди пользователей, получивших новую кампанию, по сравнению с контрольной группой. Эта метрика частотного подхода актуальна, если такие тесты проводились и по ним есть данные.

Вы задаете количество моделей как параметр моделирования — чем их больше, тем больше времени будет потрачено на вычисления, и тем точнее будет результат. Исходя из этих вводных, Robyn строит множество моделей и в результате выдает Фронт Парето — список лучших моделей с точки зрения первой и второй метрики. Задача дата-сайентиста — в кооперации с бизнесом выбрать ту или иную модель, которая лучше всего отображает реальность.

Подробнее о построении медиа микс моделей через Robyn я расскажу в следующей, третьей по счету статье цикла.

Байесовский подход

Байесовский подход отличается от частотного тем, что использует байесовскую регрессию. Для оптимизации он использует только апостериорное ожидание потерь, аналогичное первой метрике в Robyn. Иначе говоря, мы можем судить о степени уверенности нашей модели в предсказаниях.

Почему для первого подхода мы используем две функции потерь, а для этого — только одну? Можно предположить, что одна — лучше, чем две, и тогда возникает вопрос, зачем выбирать подход, если можно просто использовать только байесовский?

Дело в том, что в байесовской регрессии мы должны задать априорное знание о наших параметрах, это априорное распределение в данном случае играет роль метрики бизнес-фита. В этом смысле у вас есть чуть больше свободы в настройке параметров модели и задания эффективности того или иного канала.

Основное достоинство байесовского метода — это то, что он дает не точечную оценку, а распределение. Таким образом, вы можете оценить, насколько при заданных параметрах модель уверена в том или ином результате. Это позволяет экспериментировать с априорным знанием и, не выбирая из сотни моделей, которые не имеют отношения к реальности, задать модели три-пять альтернативных версий реальности, в которые верит ваш бизнес. В результате при сравнительном анализе вы получите наименее рискованное действие из возможных.

Выбор метрики

Начинать работу над моделированием нужно с выбора метрики, которую вы будете моделировать. В зависимости от потребностей бизнеса и поставленных для модели задач выбор может пасть на совершенно разные метрики. Определившись с метрикой, вам нужно будет выбрать уровень гранулярности. Вот несколько советов.

Какую метрику выбрать?

Не ограничивайте свой выбор только монетарными метриками, например, выручкой или прибылью. Метрикой может быть также число новых пользователей или количество покупок через N дней после траты на маркетинг.

Проблема монетарных метрик в том, что в них иногда очень большая дисперсия. Например, если в вашем бизнесе один человек может принести вам месячную выручку одной покупкой, то, возможно, хорошей стратегией будет выбирать в качестве метрики именно количество заказов. В то же время, если дисперсия не такая значительная, то вы рискуете упустить тот факт, что один из каналов приносит вам менее ценных пользователей.

Какой уровень гранулярности выбирать?

Ответ тут на самом деле точно такой же как и в прошлом вопросе — зависит от вашего бизнеса и имеющихся данных. Если у вас прослеживаются регулярные изменения в течение дня, тогда,возможно, стоит брать дневную гранулярность. Данных для такой операции вам понадобится меньше — около года наблюдений и до 10 каналов. Если у вас четкая недельная сезонность — берите неделю. В этом случае вам понадобится объем данных как минимум за два-три года наблюдений. Если у вас не прослеживается четкой сезонности, пробуйте разные варианты в разных постановках и выбирайте то, что дает большую метрику точности.

Сбор и предобработка данных

Разбиение каналов

Разбиение каналов — это, возможно, самая важная часть построения МММ. На этом этапе вам понадобится информация о распределении трат по маркетинговым компаниям.

Итак, у вас достаточно данных для построения модели медиа микс. Это важный этап, Начинайте с визуализации временных рядов трат по вашим кампаниям. Уже на этом этапе результаты могут вас сильно удивить, и вы сможете начать исключать выбросы — то есть, экстремальные значания трат, произошедшие случайно или по ошибке.

Следующим действием я рекомендую взглянуть на коллинеарность компаний внутри разных медиа каналов. Если вы найдете две кампании, временные ряды которых ведут себя одинаково, то, возможно, их стоит объединить в один медиа канал.

Этот эффект в статистике называется мультиколлинеарностью. Из-за их совпадения во времени разделить эффект от этих двух кампаний будет невозможно, если сравнивать их по отдельности. Именно поэтому имеет смысл их объединить и оценивать вместе.

Анализ пропусков и выбросов

Это важный этап, на котором вам нужно будет скооперироваться с маркетологами, ответственными за тот или иной канал. Расспросите их как, по их мнению, работала та или иная компания. Не бойтесь удалять те компании, которые по мнению маркетинга не повлияли на продажи.

То же самое стоит проделать с выбросами, или аномалиями. Я использовал сервис ETNA от Tinkoff для замены выбросов средними значениями.

Также, возможно, имеет смысл исключить из анализа траты на бренд — независимо от того это траты на защиту бренда и узнаваемость бренда.

Защита бренда (brand protection) — это траты в самом низу воронки, и их нельзя никак избежать: если по ключевому слову вашего бренда встанет ваш конкурент, то он уведет у вас покупателя. В то же время, эти траты — самые эффективные. В каком-то смысле, это функция от органики и маркетинговых затрат по другим каналам. В модели это и так учитывается, поэтому имеет смысл их исключить.
Узнаваемость бренда (brand awareness) наоборот находится в самом верху воронки и обычно не дает сколь либо значимого бизнес-эффекта в краткосрочной перспективе. В то же время, расходы на него могут быть одними из самых больших. В таком случае, при неверном выставлении априорного распределения в байесовском подходе, а также при моделировании с помощью Robyn, модель будет “пытаться найти оправдание” для таких больших трат и обнаружит эффект там, где в действительности его нет.

Приступаем к моделированию

Выбор окна моделирования

Когда вы готовы перейти непосредственно к моделированию, определитесь с окном моделирования. Минимальный набор данных мы разобрали выше — это примерно год наблюдений в разбиении по дням. Что насчет верхней планки? Работает ли здесь правило, как и во всем машинном обучении — “Больше значит лучше”?

Не совсем. Оптимальное окно моделирования зависит от вашего бизнеса и постановки задачи. В предыдущей статье уже описывал два главных эффекта в анализе МММ — это адсток и насыщение. Дело в том, что параметры этих эффектов в реальном мире не фиксированы во времени.

Проиллюстрировать это можно примером про Covid-19 и авиакомпании. Очевидно, что глубина поисковых каналов во времена локдаунов заметно уменьшилась. Это связано с тем, что число людей, которые искали авиабилеты с целью покупки, резко сократилось в связи с ограничениями. Похожие эффекты, но в меньшей степени, фиксируются и без таких драматичных изменений.

Как это учесть? На момент написания статьи все опенсорсные решения фиксируют такого рода параметры на всем периоде обучения моделей. Это значит, что вам нужно выбрать период обучения, для которого верно, что все эффекты насыщения и адстока лежат в одном диапазоне и не имеют резких изменений.

Таким образом, если у вас стабильный бизнес, на который не сильно влияют внешние факторы, то вы можете выбирать длительные временные периоды. Если же ваш бизнес сильно зависит от факторов, меняющихся во времени, то старайтесь брать данные за те периоды, в которых параметры вашего бизнеса были наиболее стабильны.

Моделирование

Итак, все готово, мы выбрали все нужные метрики и параметры. Теперь нам остается только запустить модель и проверить значение точности на отложенной выборке.

А что потом? Потом вы начинаете процесс сначала. Точнее, исправляете сетап эксперимента, добавляете или убираете данные, настраиваете параметры и затем повторяете все сначала до тех пор, пока не получите результат, удовлетворяющий вас и вашего заказчика.

Об этом мало говорят, но МММ не в 100% случаев приводит к однозначному результату. Поставьте себе временные рамки, чтобы можно было остановится в какой-то момент, оценить успешность эксперимента и, при необходимости, прекратить эксперимент.

Введение в МММ. Часть 2