Комментарии 9
👍🏻
Спасибо за статью, подскажите как в Авито оценивается долгосрочный эффект от изменений в CRM-рассылках, учитывая потенциальное влияние на пользовательское поведение (например, снижение лояльности из-за частых контактов)?
Привет, спасибо за вопрос!
Смотря, что вы имеете в виду под изменением в CRM-рассылках и что подразумеваете под лояльностью.
В глобальном смысле, эксперимент с Глобальной Контрольной Группой (ГКГ) позволяет детектировать ухудшение инкрементальности рассылок по факту для разных вертикалей Авито, например, если каждая следующая отправка коммуникации начинает приносить меньше инкрементальных полезных действий юзеров или какой-то другой продуктовой метрики.
В локальном смысле (для какой-то кампании Х) - маркетологи и аналитики следят за эффективностью кампаний - за воронкой, конверсиями, проводят периодически обратные А/Б-тесты своих кампаний с целью проверить, приносит ли кампания Х тот же инкрементальный эффект, который показывала во время первого А/Б-теста. Если кампания уже не приносит инкрементального эффекта - ее отключают, улучшают и перезапускают. Искать такие кампании нам помогает CRM Score, про который рассказывал мой коллега в другой статье. В нем мы учитываем долгосрочное влияние в отписках от коммуникаций. Здесь можно посмотреть, как именно мы это делаем.
любые рассылки которые я не заказывал как их не назови мягко говоря раздражают. чем меньше подобного спама тем лучше.
Спасибо за статью!
Интересный блок про Глобальную контрольную группу и про обновление 2% контроля.
Вот по этому блоку больше всего вопросов)
1. Гкг это ведь вечный контроль или есть какая-то разница между этими понятиями?
2. Почему бы просто не фиксировать одних и тех же пользователей и не смотреть эффект в долгосроке? Ведь тогда вы и оцените эффект от всех crm-коммуникаций. Непонятно почему обновлять контроль корректно
3. Ещё интересно насколько математически корректно так делать. Мб тут есть какие-то статьи на этот счёт?
Привет, спасибо за вопрос!
"Гкг это ведь вечный контроль или есть какая-то разница между этими понятиями?"
Отчасти да, только в случае с ГКГ контроль не совсем "вечный", поскольку мы его перемешиваем. В разных компаниях называют по-разному.
Почему бы просто не фиксировать одних и тех же пользователей и не смотреть эффект в долгосроке? Ведь тогда вы и оцените эффект от всех crm-коммуникаций. Непонятно почему обновлять контроль корректно
Так можно делать, но зависит от того, сколько вы хотите такой эксперимент держать. Одно из условий хорошего дизайна продуктового АБ-теста - это то, что пользователи до эксперимента в тесте и в контроле ведут себя одинаково и если вы отключите свою фичу в тесте - группы станут примерно одинаковыми.
В случае если вы долго не перемешиваете пользователей в глобальном эксперименте, пользователи начинают себя вести совершенно по-разному и вы будете мерить не эффект от рассылок, а разницу между поведением пользователей, которые научились пользоваться продуктом без рассылок и с рассылками.
Вы можете проверить это математически - если вы продержите эксперимент с "вечным" контролем больше года (условно) без перемешивания и отключите рассылки на тестовую группу, то эффект не снизится до нуля, поскольку группы будут сильно отличаться. А значит, вы будете переоценивать свой эффект на данный момент от наличия коммуникаций.
По поводу статей
Статья от Disney https://medium.com/disney-streaming/universal-holdout-groups-at-disney-streaming-2043360def4f
Статья от Spotify https://engineering.atspotify.com/2020/11/spotifys-new-experimentation-platform-part-2/
Дизайны у них отличаются, но стоит выбирать ваш дизайн под реалии вашего продукта и задачи.
Можно ли подробнее узнать про механизм работы балансировщика? Он как-то персонализирует приоритеты рассылок с учетом профиля пользователя и его поведения?
armenyes, Привет. Подскажи, а как вы выделяете 10% ГКГ - просто рандом или как-то подбираете схожесть с ГС(стратификация, схожесть по ключевым метрикам и т.п.)? Если выделяете схожую группу, то как ее сохраняете схожесть при ежемесячном обновлении ГКГ?
Как мы в Авито проводим A/B-тесты CRM-рассылок