Всем привет, меня зовут Андрон, я CEO платформы для подготовки к собеседованиям IT Resume и образовательных симуляторов Simulative. Мы стараемся строить data-driven бизнес, т.е. принимать решения не «на ощупь», а на основании цифр. Однако я постоянно встречаюсь с ошибкой «поверхностных выводов».
Ее допускают и члены моей команды, и я сам, и другие опытные предприниматели, и наши студенты, и вообще все. Это особенность работы мозга: он пытается минимизировать трудозатраты и побыстрей решить сложную задачку. Но такая ошибка может привести к сливу миллионов рублей, поэтому очень важно ее фиксировать и гнать в шею.
![](https://habrastorage.org/getpro/habr/upload_files/f82/cc5/7af/f82cc57af425753d6d87bed2eefda97a.png)
Алексанян Андрон
Кстати, я веду канал в телеграме, где рассказываю про аналитику в бизнесе, маркетинге и вообще везде. Только мясной контент, никакой воды и продаж - подписывайся, будет интересно ?
Ошибка поверхностных выводов - это когда мы принимаем решение, т.к. оно кажется нам «очевидным». Но при дальнейшем исследовании выясняется, что мы совершили серьезную ошибку.
Давайте приведу несколько показательных примеров. Все цифры и метрики изменены из соображений конфиденциальности, но отображают общую картину.
Пример 1
Ситуация: Мы используем несколько маркетинговых воронок. Например, вебинарную и бесплатный курс. Вебинарную воронку мы продвигаем через посевы в Телеграме, и воронку бесплатного курса - через таргетированную рекламу. Начинается новый месяц и мы хотим вырасти х2 по выручке. Воронка бесплатного курса идет вяло (CR2 - 0.8%), а вот вебинары дают крутую конверсию (CR2 - 3.5%) - стоимость клиента составляет 10% от среднего чека.
Поверхностный вывод: Увеличиваем рекламный бюджет на посевы в телеграме в 2 раза и за счет этого наша выручка вырастет вдвое.
Реальность: Если разложить вебинарную воронку на холодных лидов (кто пришел с посевов) и теплых (наши подписчики), то мы увидим совсем другую картинку. CR2 с посевов всего 0.5%, это даже меньше бесплатного курса! То есть с первого касания люди покупают плохо - основная масса продаж происходить за счет наших подписчиков и людей, которые уже были на наших вебинарах.
Последствия: При увеличении бюджета мы уйдем в убыток почти на всю сумму рекламного бюджета.
Пример 2
Ситуация: У нас есть 3 вебинара, которые больше всего зашли аудитории. Мы хотим сделать автовебинарную воронку и запустить ее в таргетированную рекламу на холодный трафик. Давайте выберем, какой вебинар запускать:
Расчет продуктовых метрик с помощью SQL (CR2 - 2.9%)
Анализ рекламы в Pandas (CR2 - 3.6%)
Разбор тестового задания в банк Открытие (CR2 - 4.5%)
Поверхностный вывод: Конечно, разбор тестового в Открытие, т.к. у него самый высокий CR2.
Реальность: Как и в предыдущем пункте, если разбить лидов на две группы, станет видно, что продаж с холодного трафика почти не было - все продажи были с теплой базы. В то же время первые два вебинара проводили только на холодную аудиторию и показали супер крутой результат по CR2.
Последствия: Запуск воронки потребует неделю и около 20 000 рублей, бюджет на тест - несколько сотен тысяч, длительность теста - 3 недели. Итого мы бы потеряли около 400 000 рублей и месяц времени.
Кстати, здесь интересно упомянуть еще об одной распространенной ошибке - ложной корреляции. Подробно рассказал про это здесь.
Пример 3
Ситуация: В феврале мы запустили рекламную кампанию. В марте - другую. В апреле - опять поменяли. Основная цель была - привлекать более вовлеченную аудиторию и увеличивать количество денег. Сервис развивается по модели подписки. Замерили n-day retention 90 дня и получили такие показатели:
когорта февраля - 38%
когорта марта - 31%
когорта апреля - 43%
Поверхностный вывод: Самое большое удержание у апрельской когорты, значит эта рекламная кампания самая эффективная и нужно ее масштабировать.
Реальность: Когорта апреля показывает самый высокий retention, но и самый низкий LTV. То есть пользователи активные, но подписку не покупают.
Последствия: Влили деньги в неэффективную с точки зрения ROI кампанию, слили рекламный бюджет, ушли в минус.
Пример 4
Ситуация: Мы проводим опрос пользователей о том, насколько они довольны нашим продуктом (производим замер метрики NPS). Просим всех пользователей заполнить анкетку.
Поверхностный вывод: Заполнено 350 анкет, средний NPS составил 89%. Получается, мы красавчики.
Реальность: У нас еще 2000 пользователей, которые плюются от качества наших продуктов - они поставили бы не больше 10%, но настолько раздражены, что даже не стали заполнять анкету.
Последствия: Мы продолжаем делать плохой продукт, тратим деньги на разработку и маркетинг, но на масштабе наша финансовая модель становится все более убыточной.
Пример 5
Ситуация: При регистрации в нашем сервисе пользователь получает письмо на почту и должен подтвердить свой email-адрес. На данный момент у нас % активации составляет всего 40% - это очень низкий показатель. Мы работаем над его увеличением.
Поверхностный вывод: Пользователям не нравится, как мы шлем им письма. Мы экспериментируем с дизайном, с формулировками, с почтовыми сервисами.
Реальность: У нас не настроены DNS-записи на корпоративной почте и большинство писем просто не доходят до своих адресатов (как раз примерно 60%).
Последствия: Мы теряем 60% базы клиентов и тратим кучу времени на улучшение того, что и так работает.
Заключение
Таких примеров я могу привести еще очень много и с разными метриками - они встречаются каждый день в большом количестве. Но теперь вы знаете, в каких ситуациях таится засада поверхностных выводов и как с ней бороться - просто ковыряться глубже ?
Кстати, недавно я проводил челлендж в своем канале на примере реального маркетингового кейса. На нем хорошо можно проверить - усвоили ли вы ошибку поверхностных выводов или продолжаете ее делать. Проверьте себя ?