Представим ситуацию.

Маркетолог работает в крупной компании с собственной A/B-платформой. Каждый квартал он должен запускать несколько новых маркетинговых кампаний, и подтверждать их эффективность с помощью экспериментов. Ресурса аналитика всегда не хватает на подобные задачи. А A/B-платформа позиционируются как инструмент, доступный в том числе маркетологам и проектным менеджерам. В итоге, наш герой решает запустить эксперимент самостоятельно.

Гипотеза. «Новый лендинг увеличивает среднюю выручку на пользователя (ARPU) в выбранном сегменте».

Спустя несколько недель маркетолог открывает AB-платформу, чтобы подвести итоги эксперимента. Видит, что пользователи распределены по группам примерно равное: 9 936 в тесте и 10 068 в контроле. Результат радует глаз: effect = 18.28%. "Какой эффект! Вот только чувствительности для "прокраса" немного не хватило", - думает он, - "глядя на p-value = 0.1179".

Но можно ли принимать решения на основе этих данных? Давайте разберемся, проведя анализ вероятных искажений.

Одна из самых частых и болезненных проблем в IT-командах — коммуникация с внутренними заказчиками. Со стороны разработки заказчики выглядят как генераторы сырых ТЗ, вечных правок и нереалистичных сроков. Со стороны бизнеса IT-специалисты кажутся «черным ящиком», который работает медленно, негибко и допускает ошибки.

До аналитики я три года руководил клиентским сервисом, где сформировал методологию работы с клиентами. Этот опыт помог мне найти ключ к гармонии: работать с заказчиками как с клиентами. Разница в том, что клиента мы стремимся не потерять, а значит, ведем себя более ответственно и проактивно.

В этой статье я собрал 11 принципов, которые помогут выстроить такую коммуникацию.

Привет, Хабр!

Меня зовут Евгений Пантелеев. Я занимаюсь аналитикой в Авито Авто в сегменте Resellers.

Каждый день мы с командой сталкиваемся с необходимостью измерения небольшого инкремента (в районе 1%) от CRM-коммуникаций на изменчивой выборке пользователей в условиях долгосрочного эксперимента (до 6 месяцев). При этом нам важно минимизировать размер контрольной группы, не жертвуя статистической значимостью результата.

В этой статье я покажу, как нам удалось усилить классический метод CUPED за счет эмпирического подбора оптимального предпериода и применить пост-стратификацию на основе бизнес-логики. Этот подход позволил нам получить статистически значимый результат и запланировать дальнейшее сокращение контрольной группы.