Самоописание нейросети: условие сложного мышления

[SOLOM8]

Классный разбор! Про галлюцинации прям очень наглядно

[Kamil_GR]

Стоит добавить о галлюцинациях. В октябре 2025 года я написал статью о триггерах галлюцинаций: жёсткий формат, требование DOI и точных чисел, запрет говорить «не знаю», ложные якоря, роль эксперта...

Тогда я назвал это слот-филлингом, то есть модель заполняет пустые поля идеально оформленными, но вымышленными данными.

Теперь я могу попробовать объяснить причины и попробовать их классифицировать.

Слот это и есть ожидание. Промпт нарезает форму, которая должна быть заполнена, и заполнение проверяется только по форме.

Три класса триггеров:

Формат создаёт слот, требование формулы, DOI, диапазона, таблицы. Строгая форма не оставляет места для уклончивого ответа: у поля DOI нет расплывчатого значения, оно либо заполнено, либо нет. И она же подсказывает, чем заполниться: у ссылки, у номера, у отклонения есть узнаваемая структура, знакомая по тысячам примеров. Чем точнее требуемая форма, тем правдоподобнее выглядит ответ, независимо от того, соответствует ли она чему-либо. Строгий формат облегчает галлюцинацию.

Запрет на незнание отнимает возможность оставить слот пустым. В норме модель может не заполнять, запрет делает незаполнение недоступным, и форма обязана закрыться.

Ложные якоря и роль эксперта сдвигают то, что считается предъявимым. Достройка вокруг вымышленного термина предъявима, потому что термин уже задал форму.

И тогда объясняется парадокс "не выдумывай, но обязательно дай источники" усиливает галлюцинацию, а не гасит. Это два требования на разных осях. Слот не различает верно и неверно, только заполнена форма или нет. Требование истинности не конкурирует с требованием формы, потому что адресуется не к тому.

в итоге, галлюцинации неотъемлемая на сегодня часть нейросети.