Языковая модель в поиске магазина: как подключить её так, чтобы её падение никто не заметил

[mckeenly15]

В прошлой статье я рассказывал

При этом статья у автора первая, из песочницы. Выглядит так, что существует конвейер постоянно создаваемых новых аккаунтов, публикующих ИИ-сгенерированные статьи про ИИ)

[Haimi]

Да, статья первая, аккаунт новый. «В прошлой статье» потому, что первую мою статью модерация песочницы не пропустила, а эта писалась как её продолжение, отсюда и начало. Продукт настоящий: AISSE и всё, что описано в статье (откат на обычный поиск, сброс ответа модели при ошибке, замеры), взято из его кода. Если какое-то место выглядит неправдоподобно или общими словами, напишите какое, отвечу подробно.

[innokentyBo]

Интересно было бы отдельно измерить не только доступность fallback, но и сохранение пользовательского результата. Система может корректно переключиться на обычный поиск и формально не упасть, но пользователь при этом перестанет находить подходящий товар. Я бы фиксировал причины деградации, долю успешно завершённых поисковых сессий и случаи, когда после fallback человеку пришлось заметно менять запрос.

[Haimi]

Согласен, это главный вопрос: «не упало» и «человек нашёл» — разные вещи.

Часть этого мы уже проверяем. Есть эталонный набор запросов, и мы гоняем его без модели, только на fallback. Нужный товар должен оказаться в топе и без LLM. Сейчас проходят 16 из 16, и этот прогон обязателен после любой правки ранжирования.

Чего пока нет, так это того, что вы описали: метрик по живым сессиям, где сработал fallback, то есть доли успешных сессий, причин деградации и переформулировок после отката. Сейчас ошибка провайдера пишется в лог, но в аналитику не попадает. Хорошая идея, сделаем: будем отмечать такие сессии и сравнивать их с обычными. Когда наберутся данные, напишу, что вышло.