Согласен, это главный вопрос: «не упало» и «человек нашёл» — разные вещи.
Часть этого мы уже проверяем. Есть эталонный набор запросов, и мы гоняем его без модели, только на fallback. Нужный товар должен оказаться в топе и без LLM. Сейчас проходят 16 из 16, и этот прогон обязателен после любой правки ранжирования.
Чего пока нет, так это того, что вы описали: метрик по живым сессиям, где сработал fallback, то есть доли успешных сессий, причин деградации и переформулировок после отката. Сейчас ошибка провайдера пишется в лог, но в аналитику не попадает. Хорошая идея, сделаем: будем отмечать такие сессии и сравнивать их с обычными. Когда наберутся данные, напишу, что вышло.
Да, статья первая, аккаунт новый. «В прошлой статье» потому, что первую мою статью модерация песочницы не пропустила, а эта писалась как её продолжение, отсюда и начало. Продукт настоящий: AISSE и всё, что описано в статье (откат на обычный поиск, сброс ответа модели при ошибке, замеры), взято из его кода. Если какое-то место выглядит неправдоподобно или общими словами, напишите какое, отвечу подробно.
Согласен, это главный вопрос: «не упало» и «человек нашёл» — разные вещи.
Часть этого мы уже проверяем. Есть эталонный набор запросов, и мы гоняем его без модели, только на fallback. Нужный товар должен оказаться в топе и без LLM. Сейчас проходят 16 из 16, и этот прогон обязателен после любой правки ранжирования.
Чего пока нет, так это того, что вы описали: метрик по живым сессиям, где сработал fallback, то есть доли успешных сессий, причин деградации и переформулировок после отката. Сейчас ошибка провайдера пишется в лог, но в аналитику не попадает. Хорошая идея, сделаем: будем отмечать такие сессии и сравнивать их с обычными. Когда наберутся данные, напишу, что вышло.
Да, статья первая, аккаунт новый. «В прошлой статье» потому, что первую мою статью модерация песочницы не пропустила, а эта писалась как её продолжение, отсюда и начало. Продукт настоящий: AISSE и всё, что описано в статье (откат на обычный поиск, сброс ответа модели при ошибке, замеры), взято из его кода. Если какое-то место выглядит неправдоподобно или общими словами, напишите какое, отвечу подробно.