В прошлой статье я рассказывал, как устроена рекомендательная система в нашем Telegram‑боте @noiseoffbot. Особенно внимательный читатель заметил «маленькую» несостоятельность одного из рекомендательных сигналов, а конкретно, вектора интересов пользователя. Именно о нем мы сегодня и поговорим.
Раньше пользователь мог написать в боте что‑то вроде:
спорт, финансы
или:
IT
или:
квантовая физика, рецепты
Мы превращали весь этот текст в один эмбеддинг и использовали его как сигнал для рекомендаций. На уровне интуиции ясно, что такой подход неидеален.
Если интерес один — например, «IT», — вектор получается довольно общим. В нём просто мало информации.
А если интересов несколько и они сильно отличаются друг от друга, ситуация ещё интереснее. Что общего у «спорта», «машинного обучения» и «рецептов борща»? Для человека ответ очевиден: это просто три разных интереса.
Но для эмбеддера мы склеиваем их в один текст и получаем одну точку в пространстве.
Получается что‑то вроде среднего между всеми темами. И вполне может оказаться, что эта средняя точка не соответствует ни одной из них.
На этом месте можно было бы сказать: «Ну да, вектор плохой, давайте несколько векторов».
Но как же без Data Driven. А насколько хорошо текущий вектор вообще работает? С этого момента и родился материал для новой статьи.
Сначала линейка
Понять, стал ли какой‑то вариант лучше, без baseline довольно сложно.
У нас уже была история оценок пользователей: какие посты они лайкали 👍, а какие дизлайкали 👎.
Если вектор интересов действительно работает, то понравившиеся посты должны в среднем находиться к нему ближе, чем те, которые пользователь не оценил.
Тогда возьмем ROC‑AUC. AUC отвечает на вопрос: как часто вектор интересов поставит лайкнутому посту более высокий балл, чем дизлайкнутому?
0.5 — примерно случайное угадывание.
1.0 — идеальный порядок.
Однако у AUC есть особенность. Она перебирает все пары постов и считает все ошибки одинаково. Перепутать посты на третьем и четвёртом месте — то же самое, что перепутать на трёхсотом и четырёхсотом.
А человек открывает ленту и видит первые несколько постов. Всё, что ниже, он просто не долистает.
Поэтому рядом с AUC считаем ещё две метрики, обе только по первой десятке:
P@10 — сколько постов из первых десяти оказались лайкнутыми. Просто доля попаданий.
NDCG@10 — то же самое, но с учётом позиции. Попадание на первом месте весит больше, чем на десятом.
Получается два разных взгляда. AUC говорит, насколько вектор в принципе отличает интересное от неинтересного. NDCG и P@10 — что человек увидит на самом деле.
Про данные
На момент эксперимента в боте было 69 пользователей.
Из них 14 человек указали свои интересы текстом.
Важно, что для оценки вектора интересов нам нужны сразу две вещи:
пользователь должен указать интересы;
у пользователя должна быть история оценок постов.
В итоге для эксперимента использовали 13 пользователей.
На них пришлось 2213 пар оценок — лайкнутый пост против дизлайкнутого.
Почти для всех этих постов уже были рассчитаны эмбеддинги: 2207 из 2213.
Получается такая воронка:
все пользователи 69 │ └── указали интересы 14 │ └── есть история для оценки 13 │ └── оценённых пар лайк/дизлайк 2213
Первый прогон
per-user AUC: 0.5174 NDCG@10: 0.5896 P@10: 0.5867
Почти монетка.
Но среднее тут мало что говорит. Интереснее по сегментам.
У тех, кто написал интересы коротко — «IT», “спорт” — AUC вышел 0.41.
Это ниже 0.5. Хуже случайного угадывания.
То есть вектор не просто бесполезен. Он ставит неинтересные посты выше интересных.
Объяснение простое: одно слово даёт слишком общую точку. Написал «IT» — получил акции IT‑компаний и корпоративные слияния. Тема совпала, интерес нет.
Вот как это выглядело в ленте у человека, который написал одно слово «IT»:
Интерес: «IT» Что показывал baseline: • Акции Nvidia выросли на 4% после отчёта • Microsoft закрывает сделку по покупке студии • IT-компании просят продлить налоговые льготы • Рынок труда в IT: зарплаты замедлили рост
Формально всё про IT. По факту человек хотел читать не про это.
У тех, кто написал много разных тем, чуть лучше. Но тоже ничего хорошего.
Итого линейка: 0.5174 в среднем, 0.41 на коротких интересах. С этим и сравниваем дальше.
Гипотезы
Каждая гипотеза далее — отдельный способ построить вектор или использовать его.
А — мульти‑вектор
Самое очевидное. Не склеивать интересы в один текст, а резать на части.
Было так: "спорт, ML, борщ" → эмбеддер → один вектор на 1024 измерения.
Стало так: три отдельных текста → три вектора. Хранятся набором.
Скор поста считаем не по среднему, а по максимуму:
score(post) = max( cos(post, v_спорт), cos(post, v_ML), cos(post, v_борщ) )
Смысл в том, что пост про футбол не должен получать штраф за то, что человек ещё и борщ любит. Достаточно совпасть с одним интересом из набора.
Побочный эффект — вектор больше не живёт в семантической пустоте между темами. Каждая точка стоит там, где реально что‑то есть.
Цена: вместо одного скалярного произведения на пост теперь N. Для наших объёмов это ничего, но мы растем)
Режем по запятым и переносам строк. Никакой магии: люди и так пишут интересы списком. Если человек написал одну длинную фразу без разделителей — набор из одного вектора, то есть ровно baseline.
J — обогащение похожими постами
Лечит, когда человек написал интерес в одно слово.
Решение подсмотрено у поисковиков, называется pseudo‑relevance feedback. Логика такая: раз мы не знаем, что человек имел в виду, посмотрим, что в нашей базе вообще похоже на «IT».
По шагам:
Считаем обычный вектор от текста интереса.
Ищем в базе K ближайших постов. У нас K=10.
Берём их эмбеддинги и подмешиваем к исходному вектору.
Нормализуем.
v_final = normalize( α·v_текст + (1−α)·centroid(top-K постов) )
Таким образом, вектор перестаёт быть абстрактной точкой «про IT вообще» и переезжает туда, где живёт реальный контент нашей ленты.
Про параметры. K=10 и α=0.7 взяли не из воздуха, но и не подбирали по сетке.
Логика была такая: при малом K обогащение упирается в один‑два случайных поста, при большом — вектор уползает к среднему по ленте. Десять постов дают устойчивый центроид и при этом остаются в теме. α держит основной вес на том, что человек написал сам. Обогащение — добавка, а не замена. ЭТО ручной выбор, подбирать гиперпараметры на 13 пользователях смысла нет — просто запомним шум.
Важный момент — обогащаем постами из своей же базы. Не внешними знаниями, не выдуманными темами. Поэтому вектор физически не может уехать в тему, которой у нас нет.
Отдельно мерили дрейф — насколько далеко вектор уехал от исходного текста. Считаем как косинусное расстояние между вектором «до» и «после»: 1 − cos(v_текст, v_final).
Ноль — вектор не сдвинулся. Единица — уехал совсем в другое место.
У J дрейф вышел 0.10. Точка сдвинулась, но осталась в окрестности исходного смысла.
И тут главный вопрос к методу: Мы обогащаем вектор постами из базы. А потом на постах из этой же базы меряем AUC.
Если в top‑K для обогащения попадёт пост, который пользователь лайкнул и который лежит в тестовой выборке — метрика взлетит по построению. Вектор буквально подтянут к правильному ответу. Поэтому при обогащении мы исключаем из кандидатов все посты, которые этот пользователь когда‑либо оценивал. Обогащение идёт только по постам, которых не было в его истории. Без этого фильтра цифры получались заметно выше, и это была бы не метрика))
Минус метода в другом: обогащение надо пересчитывать. База растёт, ближайшие посты меняются, вектор месячной давности подтянут к старому контенту.
I — привязка к тегам
У нас все посты уже размечены тегами. Логично попробовать использовать эту разметку.
Идея: не работать с векторами вообще, а сопоставить текст интересов с нашей таксономией. «Спорт» → тег sport, “крипта” → тег crypto. Дальше пост получает прибавку, если его теги пересеклись с тегами пользователя.
Плюс в том, что сигнал становится понятным. Можно посмотреть глазами и объяснить, почему пост попал в выдачу.
Минус вылез сразу. Теги у нас широкие, их немного. Интересы человека схлопываются в две‑три категории, которые есть у половины ленты.
Вектор хотя бы отличает пост про марафон от поста про трансферы в футболе. Тег sport — нет.
B — обогащение через LLM
Раз человек написал мало, попросим модель дописать за него.
На вход подаём текст интересов, на выход просим список смежных тем и ключевых слов. «IT» превращается в «программирование, разработка, гаджеты, технологии, стартапы».
Дальше всё как раньше: склеиваем расширенный текст и считаем один вектор.
Работает это потому, что модель знает про мир больше, чем наша база постов. Она подтягивает те формулировки, которые человек имел в виду, но не стал писать.
«Но», постоянное «но» при работе с LLM. Модель может дописать то, чего человек не заявлял. Написал «финансы» — получил «криптовалюты, трейдинг, NFT». Вроде рядом, а вроде и нет. Мы мерили дрейф вектора, и у B он вышел 0.28. Для сравнения, у J — 0.10. То есть вектор уезжает от исходного текста втрое дальше.
Поэтому к B пришлось делать отдельную проверку верности. Без неё LLM легко выигрывает метрику, просто подмешав популярные темы.
Ещё одна цена — это вызов модели в момент сохранения интересов. Таймауты, ретраи, деньги за токены.
B+A — LLM плюс мульти‑вектор
А что если LLM не расширяет текст в одну кучу, а разбивает интересы на под‑темы? И к каждой под‑теме генерит свои ключевые слова.
Дальше на каждую под‑тему делаем отдельный вектор. То есть B, а поверх него A.
Получается вот что. Из «IT» модель делает три под‑темы: разработка, железо, индустрия. Каждая становится своей точкой в пространстве.
Разница с обычным B принципиальная. В B все дописанные слова снова усредняются в один вектор, и мы возвращаемся к той же проблеме, с которой начинали. В B+A они остаются раздельными.
Важно, что минусы тут такие же, что и для B.
Результаты
Вариант | Что делает | AUC | Δ | NDCG@10 | P@10 |
baseline | один вектор на всё | 0.5174 | — | 0.5896 | 0.5867 |
I | привязка к тегам | 0.5102 | −0.0072 | 0.5612 | 0.5603 |
A | мульти‑вектор | 0.6213 | +0.1039 | 0.6823 | 0.6701 |
B | LLM в один вектор | 0.6815 | +0.1641 | 0.7910 | 0.7824 |
J | обогащение постами | 0.7018 | +0.1844 | 0.7734 | 0.7650 |
B+A | LLM → под‑темы → мульти | 0.7526 | +0.2352 | 0.8245 | 0.8137 |
A+J | A + J вместе | 0.8025 | +0.2851 | 0.7546 | 0.7238 |
Теги не сработали. I остался на уровне baseline: −0.0072 при выборке в 13 человек — отсутствие эффекта. Причина понятна. Интересы схлопываются в две‑три широкие категории, которые есть у половины ленты. Сигнал есть, различающей силы нет.
A и J по отдельности работают, а вместе работают лучше. +0.1039 и +0.1844, в сумме +0.2883, а совместный прирост даёт +0.2851 — почти идеальное сложение, значит болячки они лечат разные, и это подтверждает исходную гипотезу про два независимых провала.
Разбивка на под‑темы работает. B+A обходит обычный B на +0.0711 по AUC. Значит дело не в том, что LLM дописала больше слов, а именно в раздельности.
Но посмотрим на A+J по верху ленты: NDCG 0.7546 и P@10 0.7238. Это хуже, чем у одного J (0.7734 и 0.7650).
То есть добавление мульти‑вектора улучшило общий порядок, но ухудшило первую десятку. Ту самую, которую человек видит, открыв ленту.
Мы думаем, дело в максимуме. A берёт лучшее совпадение по набору, и наверх легко пролезает пост, который очень сильно попал в один узкий интерес.
Для AUC это хорошо — порядок в целом правильный. А верхушка ленты получается перекошенной в одну тему из трёх.
Проверять эту версию отдельно мы пока не стали. Но факт: лидер по AUC и лидер по топ-10 — разные варианты, и это не случайность.
Итого лидеров два. По общему порядку — A+J (0.8025). По верху ленты — B+A (0.8245 и 0.8137).
И то же самое словами. Вот лента того же человека с интересом «IT» после A+J:
Интерес: «IT» Было (baseline): Стало (A+J): Акции Nvidia +4% Вышел Postgres 18 Сделка Microsoft Разбор утечки в npm-пакете Налоговые льготы Бенчмарк новых ARM-серверов Зарплаты в IT Как устроен новый планировщик Go
Ограничения
Для оценки и использования результата статьи важно понимать:
Выборка маленькая.
Меряем на том, что сами показали. Оценки есть только у постов, которые ранкер уже вывел в ленту. Абсолютные числа завышены, но порядок вариантов честный — все считались на одной выборке.
Офлайн не равно онлайн. Эксперимент выбирает кандидата. Доказать может только живая лента.
Продакшен
Чтобы не рисковать, выбрали A+J, так как он не может выдумать интерес. Он двигает вектор только к тем постам, которые реально лежат у нас в базе. Дрейф 0.10.
B+A выигрывает верх ленты, но каждое сохранение интересов превращается в вызов LLM. Плюс дрейф 0.28 и постоянная проверка, не дописала ли модель лишнего. Мы разменяли чуть более красивый топ-10 на «нечему ломаться и нечего галлюцинировать». Плюс между ними маленький разрыв.
Для максимальной простоты можно было вообще взять только J, он вверху ленты лучше, но он никак не решает проблемы смешивания различных интересов в одну точку.
Итоги
Интуиция про два провала подтвердилась цифрами. Короткий интерес даёт вектор хуже монетки (0.41), разнотемный — размазанную точку.
Обе болячки лечатся отдельно, и лечатся независимо: A даёт +0.10, J даёт +0.18, вместе +0.29.
Теги не заменяют вектор, вообще не влияют.
LLM помогает, но не бесплатно. И работает заметно лучше, когда результат режется на под‑темы, а не сваливается в один текст.
Если убрать наши конкретные буквы, остаётся две вещи, которые переносятся на любой похожий проект.
Не усредняйте разнородное. Один вектор на несколько тем — это точка там, где ничего нет. Держите набор и берите максимум.
Короткий запрос лечится своим же контентом. PRF не требует ни LLM, ни внешних данных. Считаете ближайшие документы, подмешиваете, нормализуете.
Всё это уже в последнем релизе в @noiseoffbot.
Заходите, напишите свои интересы и посмотрите, что получится. Заодно попадёте в выборку для следующего эксперимента.
Если напишете одним словом — теперь это не так безнадёжно:‑)
