LLM под капотом. Модель выдумала телефон доверия — чиним архитектурой, не промптом

[ale_d_d]

Почему запрет в промте, вроде: "не придумывай контактные данные" не решает проблему?

[svetkis]

Модель оптимизирована на правдоподобный, полезный, завершённый ответ. Если она “видит”, что человеку срочно нужна помощь, то может достроить недостающий номер просто потому, что это делает ответ более полезным и убедительным. Инструкция не придумывай для неё слабее, чем общее давление задачи “помоги пользователю прямо сейчас”.

Поэтому промпт может снизить риск, но не убрать его. Если критичные данные нельзя выдумывать, их нельзя оставлять на усмотрение модели — их должен подставлять backend.

[dmitrik4321]

То есть, вот почему у меня Qwen вечно в расчет цены и выгоды, дает ключевые слова для поиска инструмента, даже когда не просил, и в системном промпте четко написано, не придумывай, проверяй по <web_search>, не давай того, чего пользователь явно не просил. То есть это не только проблема промпта, а по большей части проблема архитектуры?

[svetkis]

Да, именно так. И ещё один момент про промпты: «НЕ делай X» при большом промпте работает хуже, чем явно описать модели, как корректно реагировать на ситуацию — то есть дать позитивный паттерн поведения вместо запрета.

Про математику и цены — это я бы вообще не доверяла модели. Не могу сказать точно, не видя вашу задачу и промпты, но по описанию похоже на кейс, где нужна оценка ситуации моделью + детерминированный расчёт на бэкенде, и, возможно, ещё один вызов модели, если нужен «голос» и разнообразие ответов.