Почему LLM игнорирует системный промпт: история диалога сильнее инструкций

[dim-prog]

Нельзя ли добавить модель-классификатор входных сообщений пользователя, которая бы вернула статус "похоже на вопрос" для сообщения и тогда уже передавать только хорошие сообщения в основную модель (отфильтровав "мусор")?

[solominqa]

Спасибо за вопрос! Да, так можно, но есть два нюанса. Классификатору тоже нужен контекст: “Почему?” или “Угу. Какие?” сами по себе выглядят как мусор, а после объяснения собеседника это уточнение, на которое как раз надо ответить. На таких фразах у нас и проседала эвристика “не отвечать, пока человек говорит”. Второе - это лишний вызов перед каждой подсказкой, а в живом разговоре задержку видно сразу. Поэтому мы оставили один вызов, но решение он принимает с короткой историей, и по качеству этого хватило)

[dim-prog]

Спасибо. Да не так все просто с классификатором и контекстом.
Хотя про то что - это лишний вызов, я бы сказал, что вызов классификаторов сегодня это неотъемлемая часть всех agentic workflows: guardrails, чтобы отфильтровать мусор, опасный контент и обсценную лексику. Обычно это довольно простые модели с латенси не более 500мс