Обновить
4K+
1
Вячеслав Соломин@solominqa

Senior QA Engineer. Тестирую всякие ИИ-штуки =)

Отправить сообщение

Почему LLM игнорирует системный промпт: история диалога сильнее инструкций

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели5.7K

Знакомая ситуация: в системном промпте четко написано, что модель делать не должна ни в коем случае, а она все равно это делает. Вы переписываете правило, добавляете «ВАЖНО», капслок и примеры, становится чуть лучше, а потом снова за старое. В какой‑то момент начинаешь подозревать модель, ее настройки (например, температуру) или провайдера.

Мы наступили на это в голосовом ассистенте и разобрали случай до конца: переиграли боевые запросы и меняли по одному фактору за раз. Промпт оказался ни при чем. Модель слушалась собственной истории диалога, и ниже я покажу, как мы это нашли, какие получились цифры и что с этим делать, если вы строите на LLM чат‑бота, агента или ассистента.

Читать далее

Информация

В рейтинге
5 570-й
Зарегистрирован
Активность

Специализация

Инженер по ручному тестированию