Спасибо за вопрос! Мы не использовали FAISS напрямую — matching выполнялся с помощью фреймворка Hypex, который применяет расстояние Махаланобиса вместо простой L2-нормы. Это позволяет учитывать корреляции между признаками и различия в масштабе данных, делая сопоставление более точным и устойчивым.
1. Про силуэт и HDBSCAN — абсолютно согласен, метод неприменим в полной мере из-за произвольной формы кластеров. Использовали его скорее в качестве общей метрики для визуальной первичной диагностики. Про взаимную информацию — хорошая идея, спасибо!
2. С TF-IDF ранее не сталкивался, поисследуем, спасибо!
3. В смежных направлениях использовали N-граммы, возможно, в некоторых кластерах триграммы дали бы больше смысла, особенно для доменных словосочетаний, но в данном случае не смотрели на практике.
💬 По поводу UMAP: Снижали размерность до 5 измерений для последующей кластеризации. Использовали метрику cosine, поскольку работали с эмбеддингами (sbert). В некоторых экспериментах сравнивали с euclidean, но cosine давала более читаемое разделение.
Основная цель статьи — поделиться знаниями в области кластеризации и анализа текстовых данных. Это исследовательская и техническая работа, и она никак не связана с попыткой оправдать маркетинговые стратегии.
Неужели вы правда думаете, что каждый сотрудник, работающий в RnD направлении, несёт ответственность за то, как устроена система рассылок? Зачем обобщать?
После того как методом кластеризации были выделены группы схожих тем обращений, нам нужно было понять, о чём каждая группа в целом — в 1-2 предложениях. То есть, получить тематическое тезисное описание каждого кластера.
Для этого мы использовали t-tech/t-pro-mistral, до обученную на данных пользовательских обращений, которая и обобщала суть текстов.
Да, действительно, в мобильных банках иногда можно столкнуться с подобными вещами. Мы понимаем такие ситуации и активно работаем над улучшением пользовательского опыта.
Например, наши команды применяют алгоритмы машинного обучения, чтобы предсказать такой возможный негативный опыт и избежать его в дальнейшем. Если вам интересно, как это работает, мы подробно описали подход в статье: ML в маркетинге: как модели делают банк более чутким к негативу. Будем рады вашим предложениям!
"Нужно удостовериться, что тестовая и контрольная группа получились похожими, для этого на пре-периоде оцениваем доверительные интервалы этих групп по основным метрикам" - а что, если нет? PSM ведь строго не гарантирует отсутствие статистически значимых различий в отдельных признаках (метриках).
На каком пре-периоде также рассматриваете возможные отличия? Такой же, как тестовый? Делаете ли требование "похожести" признаков во времени (по месяцам, по дням) ДО изменений?
Как выглядит принятие решения, с точки зрения подбора контрольной группы: отобрали пары, провели ретроспективный АБ и условный АА (п.2, что метрики похожи), если есть стат.значимые отличия за время наблюдений - принимаем альтернативную гипотезу? То есть 1 ретро теста достаточно? Не проводите ли серию таких тестов с рандомизацией отбора контроля?
Всё верно: «низкий аплифт не связан с негативом». Именно поэтому использование только uplift моделей не обеспечивает существенного сокращения контактов с теми, кто этого не желает, как вы писали выше. В приведенном вами мысленном эксперименте технически такое не исключено: всё зависит от абсолютной величины точности uplift‑ и response‑моделей.
Да, мы используем и uplift‑модели. Однако исследование показало, что скоры uplift‑модели и негатива некоррелированы: низкий uplift‑скор (то есть условно низкая вероятность целевого действия) не равен высокому скору негатива. Это разные реакции и разные таргеты: отказ от рекламы и просто игнорирование коммуникации. Наш целевой подход заключается в совместном применении этих правил: модель негатива запрещает отправлять коммуникации определённой части пользователей, а среди оставшейся аудитории uplift‑модели приоритезируют доступные релевантные промо в соответствующих маркетинговых каналах.
Верно, именно так и применяем: ежедневно происходит пересчёт скоров всей базы пользователей для удержания наиболее чувствительной группы от рекламы. Со временем скор негатива снижается (в отсутствии рекламы), и, достигнув определённого порога, алгоритм позволяет отправить актуальное маркетинговое предложение. Скоро выйдет вторая часть статьи, где мы сосредоточимся на описании проведенного А/Б‑теста и подробно осветим его теорию, а также статистически значимые результаты.
По нашим контактным политикам такого быть не должно, но, к сожалению, ошибки иногда случаются. Наши коллеги активно работают над улучшением систем отправки, чтобы максимально снизить число таких инцидентов. Если проблема происходит регулярно, пожалуйста, обратитесь в чат поддержки банка — это поможет аналитическим командам акцентировать внимание на проблеме.
Полностью согласен! Цель нашей команды как раз в том, чтобы доказать, что негатив от рекламы существенен и его необходимо учитывать. Однако количественно измерить такие долгосрочные эффекты (как в данном примере) — сложная задача для ретроспективного теста, которым мы сейчас занимаемся. Как только мы получим статистически значимые результаты, обязательно поделимся ими в новой статье. Наши исследования помогают влиять на рекламные стратегии и подчеркивают необходимость их персонализации.
Спасибо за вопрос! Мы не использовали FAISS напрямую — matching выполнялся с помощью фреймворка Hypex, который применяет расстояние Махаланобиса вместо простой L2-нормы. Это позволяет учитывать корреляции между признаками и различия в масштабе данных, делая сопоставление более точным и устойчивым.
Спасибо большое за содержательный фидбек!
1. Про силуэт и HDBSCAN — абсолютно согласен, метод неприменим в полной мере из-за произвольной формы кластеров. Использовали его скорее в качестве общей метрики для визуальной первичной диагностики. Про взаимную информацию — хорошая идея, спасибо!
2. С TF-IDF ранее не сталкивался, поисследуем, спасибо!
3. В смежных направлениях использовали N-граммы, возможно, в некоторых кластерах триграммы дали бы больше смысла, особенно для доменных словосочетаний, но в данном случае не смотрели на практике.
💬 По поводу UMAP: Снижали размерность до 5 измерений для последующей кластеризации. Использовали метрику
cosine, поскольку работали с эмбеддингами (sbert). В некоторых экспериментах сравнивали сeuclidean, ноcosineдавала более читаемое разделение.Основная цель статьи — поделиться знаниями в области кластеризации и анализа текстовых данных. Это исследовательская и техническая работа, и она никак не связана с попыткой оправдать маркетинговые стратегии.
Неужели вы правда думаете, что каждый сотрудник, работающий в RnD направлении, несёт ответственность за то, как устроена система рассылок? Зачем обобщать?
Привет! Спасибо за интерес к статье 🙌
После того как методом кластеризации были выделены группы схожих тем обращений, нам нужно было понять, о чём каждая группа в целом — в 1-2 предложениях. То есть, получить тематическое тезисное описание каждого кластера.
Для этого мы использовали t-tech/t-pro-mistral, до обученную на данных пользовательских обращений, которая и обобщала суть текстов.
Да, действительно, в мобильных банках иногда можно столкнуться с подобными вещами. Мы понимаем такие ситуации и активно работаем над улучшением пользовательского опыта.
Например, наши команды применяют алгоритмы машинного обучения, чтобы предсказать такой возможный негативный опыт и избежать его в дальнейшем. Если вам интересно, как это работает, мы подробно описали подход в статье: ML в маркетинге: как модели делают банк более чутким к негативу. Будем рады вашим предложениям!
"Нужно удостовериться, что тестовая и контрольная группа получились похожими, для этого на пре-периоде оцениваем доверительные интервалы этих групп по основным метрикам" - а что, если нет? PSM ведь строго не гарантирует отсутствие статистически значимых различий в отдельных признаках (метриках).
На каком пре-периоде также рассматриваете возможные отличия? Такой же, как тестовый? Делаете ли требование "похожести" признаков во времени (по месяцам, по дням) ДО изменений?
Как выглядит принятие решения, с точки зрения подбора контрольной группы: отобрали пары, провели ретроспективный АБ и условный АА (п.2, что метрики похожи), если есть стат.значимые отличия за время наблюдений - принимаем альтернативную гипотезу? То есть 1 ретро теста достаточно? Не проводите ли серию таких тестов с рандомизацией отбора контроля?
Всё верно: «низкий аплифт не связан с негативом». Именно поэтому использование только uplift моделей не обеспечивает существенного сокращения контактов с теми, кто этого не желает, как вы писали выше.
В приведенном вами мысленном эксперименте технически такое не исключено: всё зависит от абсолютной величины точности uplift‑ и response‑моделей.
Да, мы используем и uplift‑модели. Однако исследование показало, что скоры uplift‑модели и негатива некоррелированы: низкий uplift‑скор (то есть условно низкая вероятность целевого действия) не равен высокому скору негатива. Это разные реакции и разные таргеты: отказ от рекламы и просто игнорирование коммуникации. Наш целевой подход заключается в совместном применении этих правил: модель негатива запрещает отправлять коммуникации определённой части пользователей, а среди оставшейся аудитории uplift‑модели приоритезируют доступные релевантные промо в соответствующих маркетинговых каналах.
Верно, именно так и применяем: ежедневно происходит пересчёт скоров всей базы пользователей для удержания наиболее чувствительной группы от рекламы. Со временем скор негатива снижается (в отсутствии рекламы), и, достигнув определённого порога, алгоритм позволяет отправить актуальное маркетинговое предложение. Скоро выйдет вторая часть статьи, где мы сосредоточимся на описании проведенного А/Б‑теста и подробно осветим его теорию, а также статистически значимые результаты.
По нашим контактным политикам такого быть не должно, но, к сожалению, ошибки иногда случаются. Наши коллеги активно работают над улучшением систем отправки, чтобы максимально снизить число таких инцидентов. Если проблема происходит регулярно, пожалуйста, обратитесь в чат поддержки банка — это поможет аналитическим командам акцентировать внимание на проблеме.
Полностью согласен! Цель нашей команды как раз в том, чтобы доказать, что негатив от рекламы существенен и его необходимо учитывать. Однако количественно измерить такие долгосрочные эффекты (как в данном примере) — сложная задача для ретроспективного теста, которым мы сейчас занимаемся. Как только мы получим статистически значимые результаты, обязательно поделимся ими в новой статье. Наши исследования помогают влиять на рекламные стратегии и подчеркивают необходимость их персонализации.