Благодаря Алисе в Поиске теперь можно получить ответ на вопрос в новом формате. Он представляет собой хорошо структурированный текст с подзаголовками, видео и изображениями, напоминающий небольшую статью. Например, по запросу [как вязать морские узлы] в результатах поиска появится описание их видов со схемами-инструкциями и ссылками на источники.
Новая технология сначала планирует структуру ответа, а затем ищет и собирает в единый материал текст, картинки и ролики из разных источников. Под катом коротко расскажем, как устроена архитектура новых ответов и чем она отличается от прежнего подхода.
Особенности новой архитектуры
Год назад мы представили Нейро. Если очень упростить, то его архитектуру можно представить как последовательную работу двух моделей. Нейросетевая модель-рефразер отправляла в Поиск несколько запросов с учётом диалога с пользователем и его вопроса. Затем модель-генератор получала на вход все найденные тексты и писала на их основе ответ. Это решение оказалось востребованным, тем не менее для некоторых сложных запросов качество ответов не соответствовало нашим ожиданиям.
В нашем новом решении мы в первую очередь переработали модель-рефразер. Она превратилась в модель-планер, которая теперь полагается не только на свою память, но и использует документы из поиска, чтобы обогащать свои знания. Кроме того, мы научили эту модель по найденным веб-документам строить структуру будущего ответа, а также делать не только поисковые запросы, но и ходить за полезными данными в поиски по картинкам и видео.
Ещё мы существенно улучшили модель-генератор. Она основана на модели из семейства YandexGPT 5, которую мы дообучили под задачи анализа и суммаризации информации. Новая нейросеть умеет воспринимать более длинный контекст и объединяет информацию не только из разных источников, но и разной модальности (текст, картинки, видео). Она формирует связный и подробный ответ со структурой, иллюстрациями, ссылками и рекомендациями ресурсов для дополнительного изучения темы.
Коротко про обучение новых моделей
Модель-планер обучалась определять, как должен выглядеть полный ответ на разные типы вопросов — от инструкций и обзоров до научных тем. Для этого мы использовали набор внутренних датасетов, собранных со смещением в более сложные запросы, то есть в такие, где нужно правильно структурировать информацию и извлекать только полезные данные, отсекая нерелевантные. На полученных датасетах мы сначала собрали эталонные ответы при помощи AI-тренеров, а затем поверх обученной SFT-модели запустили RL, состоящий из нескольких стадий CE RL (его еще иногда называют Rejection Sampling), нескольких стадий DPO и GRPO.
При создании генератора мы стали эффективнее оптимизировать нашу комбинацию ревордов (reward-моделей), которые оценивают качество обучаемой модели. Кстати, число ревордов у нас дошло аж до 16! Поддерживать такую комбинацию довольно сложно, так как она легко может «свалиться» в оптимум одного из ревордов, а не расти постепенно на всех. Избежать этого нам помогли динамические веса, основанные на знаниях про запросы, источники и план ответа, а также множество стадий RL.
Мы планируем выпустить более подробную техническую статью об обучении моделей в ближайшее время.
Наши замеры говорят, что новая версия ответов в Поиске выигрывает у старой в 79% случаев за счёт наглядной структуры, наличия картинок, видео и более глубоких текстов с бо́льшим числом деталей. Надеемся, что и вам эти ответы понравятся. Будем благодарны за отзывы.
