Маркетинг репортит высокую выручку и ROI, но почему-то чувствуется не эффект роста, а эффект потраченных денег? Тогда эта статья для вас. В ней я рассажу на примере OLX, крупнейшего классифайда в Европе, как измерять эффективность маркетинговых усилий максимально точно и это совсем не те цифры, которые вы видите в Google Analytics. К моему удивлению, мало компаний использует этот способ, поэтому я решила, что статья на эту тему будет полезна.
Мы в OLX тратим очень много денег на рекламу и повидали баги и проблемы разных подходов. Я как growth‑продакт, помогала команде Performance‑маркетинга строить аналитику их кампаний и расскажу тут о нашем опыте, чтобы сэкономить ваше время и кучу денег на не повторении наших ошибках.
Обо мне
Меня зовут Яна Доценко — я эксперт по росту и монетизации tech‑продуктов с 10 летним опытом, ex. Group PM в VK, ex. Head of Growth в Voicemod, сейчас управляю ростом крупнейшего европейского классифайда OLX. Консультирую бизнесы на тему роста и пишу про рост и монетизацию продуктов здесь и в канал: t.me/o_product.
Зачем вам маркетинг и какая у него цель?
Задача маркетинга состоит в том, чтобы привлечь в продукт аудиторию, которая принесет максимум ценности для продукта на каждый потраченный доллар (рубль). Ценностью может считаться выручка или конверсии.
И делает маркетинг это путем запуска маркетинговых кампаний, то есть вмешательства в привычный опыт пользователя. Создавая это «вмешательство» через рекламные баннеры, контекстную рекламу, наружку, мы ожидаем, что поведение пользователя изменится и он прийдет в наш продукт и принесет нам деньги.
Маркетинг старается оптимизировать свои усилия и либо привлекать более дешевых пользователей, либо более активных, которые потратят больше денег в продукте. Короче говоря, маркетинг целится в оптимизацию ROI.
Как измеряется эффективность?
Атрибуция — это то, что помогает назначать влияние источнику. Условно, вы привели в продукт 100 пользователей из разных каналов и 10 из них совершили покупку. Атрибуция ответит на вопрос какие каналы привели этих 10 человек. И на основе этих данных вы вложите деньги в тот канал, который принес больше человек по более низкой цене.
Атрибуция один из самых важных компонентов оценки эффективности маркетинга. Потому что на основе результатов данных атрибуции вы принимаете решения о том, куда инвестировать деньги. Но если атрибуция поверхностная или еще хуже не корректная, то вы можете принимать решения, которые тратят деньги, но не приносят результата. И таких примеров полно. Расскажу про наш.
Сегодняшние стандарты и их проблемы
Одним из самых популярных инструментов измерения эффективности маркетинговых усилий является Google Analytics, который использует свою атрибуцию построенную на куче данных и ML‑моделей, и сводит для вас источник пользователя с конверсиями, даже если вы не расставили utm‑метки.
Другие инструменты имеют похожую логику (Amplitude, Adjust, Mixpanel) назначают пользователям источник трафика на основе имеющихся данных и внутренней логики инструмента.
Но чтобы убедиться, что данные в этих трекерах точные, нам надо понимать как атрибуция устроена. И вот основные проблемы, которые мы обнаружили в Google Analytics:
Все данные примерны. В разных отчетах и срезах цифры могут не сходиться. Даже в платном доступе GA4 360 за миллионы денег.
Для анализа источников трафика используется атрибуция last‑non‑direct click (контекст будет чаще забирать вклад на себя). Либо Data‑driven model, где модели распределят вклад в пользу каналов, которые чаще всего приводят к конверсии (ретаргетинг будет всегда в выигрыше). В любой из моделей платные performance каналы, к которым относится Google Ads, всегда будут в преимуществе.
Окно атрибуции 30 дней. И это очень много! Окно атрибуции должно быть равно времени принятия решения о покупке и у большинства продуктов это день, максимум неделя. Дальше продукт должен вовлекать и удерживать аудиторию. В GA окно атрибуции нельзя сократить, но можно увеличить до 60 или 90 дней (haha classic). В итоге чем длиннее у вас окно атрибуции — тем больше конверсий, транзакций и выручки атрибуцируется к источнику.
В итоге, отчеты будут выглядеть сильно лучше, чем на самом деле, а за точность данных ответственность ни кто не несет. Вы продолжите вкладывать деньги в каналы, которые будут показывать хорошие цифры, в том числе в Google рекламу, что звучит как выгодное решение для Google, но не обязательно для бизнеса.
Как же измерять?
В OLX мы измеряем инкрементальность маркетинговых усилий. Это коэфициент, отделяющий органический рост от роста, являющегося прямым результатом вмешательства или простыми словами настоящий эффект рекламной кампании. На ее основе мы можем оптимизировать наши усилия и ресурсы для достижения максимального эффекта.
Наглядный пример почему инкрементальность имеет значение: ваши бренд‑кампании всегда будут иметь высокий ROI. Но не потому что вы делаете классный маркетинг, а потому что гугля ваш бренд, люди, которые итак искали вас и намеревались совершить конверсию, вместо органики, кликнут на рекламу. Ваши деньги потратятся, клиент принесет деньги. Но если бы такая кампания не работала, вы бы все равно получили этого клиента через органику. т. е. инкрементальность таких кампаний очень мала и в них мало смысла. И такие кампании обычно размывают ваши отчеты, показывая красивые цифры по ROI, но не принося реального роста.
На картинке ниже показано 2 состояния. Первый столбец — показывает объем конверсий, когда рекламная кампания идет и желтый столбик — это конверсии, которые GA атрибуцирует как эффект от рекламы. Второй столбик — это когда мы отключили рекламу. Как видите, просадка конверсий случилась не на желтый столбик. Пользователи хоть не видят рекламу, но все равно выбирают нас, а не конкурента. И голубой блок — это те конверсии, которые мы недополучили, потому что рекламы не было. Это и есть инкрементальные конверсии.
Как измерять инкрементальность?
1. AB‑тестирование. Вернемся к началу, где мы говорим о том, что маркетинговые усилия — это по сути вмешательство в опыт пользователя, которое должно принести вклад. И это самая релевантная задача для AB‑тестирования.
В эксперименте у вас есть:
контрольная группа Y0 — без вмешательства, не видят рекламу
экспериментальная группа Y1 — группа с вмешательством, видят рекламу
Соответственно реальный вклад будет измеряться как разница между контрольной экспериментальной и контрольной группами: Δ=Y1 − Y0
2. Анализ причинно-следственных связей или uplift-тесты
В этом случае мы измеряем, что произойдет, если маркетинговой кампании не будет. Или на сколько больше конверсий (или другого отслеживаемого результата) мы получим, если бюджет увеличится вдвое.
На графике толстой линией показан уровень конверсий. Зеленая стрелка указывает момент, когда отключилась маркетинговая активность, дальше мы видим фактический результат и контерфактуальный — тот, который не случился, но мог бы быть, если бы маркетинговая активность продолжилась бы.
Такие тесты полностью подконтрольны вам. Вы можете делать их на разных рынках и сегментах, анализировать не только digital, но и offline кампании. И здесь важно чтобы период теста был не подвержен каким-то дополнительных влияниям типа праздников, распродаж, изменений в продукте. Точность данных ниже, чем из AB-теста. Но это все еще очень эффективный способ оценки вклада.
Вот пример анализа одной из кампаний — мы снижаем до минимума бюджет и юзеры с рекламы падаю (картинка 1) и смотрим сколько конверсий недополучили в этот период с помощью.
Делим сэкономленный бюджет на количество недополученных лидов и получаем реальную CPA. Для интереса сравниваем ее с Google Analytics и видим, что в GA CPA примерно в 2 раза ниже.
Такие эксперименты я советовала бы делать всем командам, которые тратят на онлайн и оффлайн рекламу крупные бюджеты. На нашем опыте инкрементальный вклад маркетинговых усилий в GA всегда завышен в разы!
Level 80 или опыт OLX
Так как мы тратим на привлечение крупные бюджеты, то точность данных для нас очень важна. Каждый процент конверсии, каждый процент ROI рекламной кампании для нас — это десятки и иногда сотни тысяч долларов, поэтому мы не можем полагаться на неточный GA4. Мы пересели с GA на свою аналитику, считаем юзеров, строим свою атрибуцию.
Наше окно атрибуции всего 7 дней. Хотя и его мы считаем слишком длинным и думаем урезать до 1–2 дней.
Мы также построили пайплайн подсчета инкрементальности — количество инкрементальных конверсий и коэффициент инкрементальности. Если очень упрощенно, то считаем примерно так:
Δ = (конверсии после рекламы за 7 дней) — (конверсии до рекламы за 7 дней)
Coef = Инкрементальные конверсии / Все атрибуцированные конверсии
Это дает нам верхнюю границу значения инкрементальности, так как часть влияния маркетинга происходит до попадания пользователя в продукт.
Помимо этого мы регулярно просим Google запускать для нас AB‑тесты для важных и крупных рекламных кампаний, а также регулярно проводим эксперименты отключения и повышения бюджета, чтобы получать более точный коэффициент инкрементальности.
Такой подход не для всех и у него есть свои сложности. Например:
разрабатывать свою аналитику дорого. Вам понадобится несколько дата‑инжинеров, аналитиков и ML‑щик.
у нас нет ML‑моделей которые с высокой точностью определяют каналы трафика, поэтому все приходится размечать. Часто неразмеченный трафик может вносить погрешности в атрибуцию.
Зато это дает свой эффект:
мы хорошо мониторим инкрементальность, точно репортим и используем эти данные для эффективной оптимизации маркетинговых усилий. Для примера, данные GA4 в 2, а иногда в 4 раза завышены. Своя аналитика экономит нам миллионы долларов в год.
Вывод и рекомендации
Даже если вы не готовы строить свою аналитику, есть пара универсальных рекомендаций, которые я бы адресовала всем бизнесам, тратящим большие бюджеты на рекламу:
относитесь скептично к отчетам GA4, скорее всего данные по эффективности там преувеличены в разы,
вам стоит проводить uplift‑тесты с повышением бюджета или отключением кампаний. Это быстро, дешево и даст вам цифры по реальной эффективности. Особенно если вы работаете с агентствами или подрядчиками.
ну и если уж весь ваш рост строится на платном привлечении, то вам точно стоит погрузиться в вопросы атрибуции и подсчета инкрементальности и возможно начать разрабатывать свою аналитику. Напишите мне, я вам помогу:)
Если вам понравился материал — поставьте реакцию, это важно для меня. Также я пишу про рост продуктов в своем канале.
