Kamil_GR 25 окт в 06:21

Нарративный двигатель LLM. Критика промптинга

Простой

13 мин

2.6K

Искусственный интеллектМашинное обучение *

Мнение

+13

Комментарии 12

Закреплённые комментарии

Kamil_GR 25 окт в 14:34

Спросили о практической пользе, давайте немного добавлю к статье. Естественно, всё это моё мнение.Выученные нарративы LLM можно грубо отсортировать по значимости/частотности:

Базовые (очень частые, естественные для LLM)
Проблема → Решение
Причина → Следствие
Объект → Описание
Список / Перечисление

Средние (требуют больше контекста/структуры)
Пошаговая инструкция.
Вопрос → Уточнение → Ответ.
Сравнение A vs B.

Сложные (требуют длинного контекста или удержания противоречий)
Порядок → Хаос → Новый Порядок.
История (жил-был, встретился с Х произошло У)
Тезис → Антитезис → Синтез

Соответственно если мы хотим естественной и эффективной работы llm промпт должен соответствовать первой группе. Примитивный пример: не "подумай что делать с не работающим ноутбуком", а "проблема, ноутбук громко гудит, что делать?"

Чем менее распространенный паттерн, тем сложнее его активировать и необходимо аккуратнее подходить к промпту.
В принципе ещё можно добавить эмоциональные/эмпатические паттерны (чувство - валидация- поддержка)и метанарративные.

И тогда можно пользоваться перечнем как конструктором - тех. поддержка = эмпатия плюс проблема/решение и так далее...
Надо кстати придумать названия этим паттернам. Но для ллм в любом случае в промпте надо проговаривать их в структуре, чтобы модель поняла...

Вообще каждый паттерн может быть встроен в другой например список встроен в решение и так далее.

При желании можно сделать конструктор промптов на базе ИИ исходя из поставленной задачи. Цель сформулировать промпт используя наиболее естественные нарративы

Вообще немного практики и вы будете видеть паттерн в каждом ответе модели.

avshkol 25 окт в 07:29

Модель, обучаясь предсказывать следующее слово, по сути, выучила не слова, а правила формирования сюжета, или, как это можно назвать, формирования когерентности текста.

Сюжет - это линия через весь текст, в совокупности. На чём тренировались современные большие модели? Заглатывая весь текст книги/статьи целиком или на чанках размером в абзац /максимум - главу (где никакой сюжетне прослеживается)?

Kamil_GR 25 окт в 07:49

Да, модель учится на миллиардах коротких фрагментов, но они точно также содержат сюжет, логичность и причинность.

Есть метатексты - пересказы, критика, сокращения.

Культурные паттерны - жанры.

То есть выучиваются универсальные правила построения связности, структуры, а не конкретные истории. Нарратив - синтез правил.

То есть, опять же как я полагаю, если вы попросите ИИ рассказать о Пьере Безухове, то он не будет читать роман. Он активирует соответствующий кластер и будет генерировать нарратив, исходя из выученных паттернов.

Совпадет ли он с реальностью, это как повезёт.

Ktulhy 25 окт в 08:02

Так вы же своим промптом в спойлере «сводите с ума» модель, заставляя её сваливаться в соответствие форме, а не содержания, по сути превращая её в бредогенератор. Более того, такие промпты отравляют историю, и дальнейшие ответы окажутся хуже, как это было у чела с Шерстянным Кабаном 🐗

Kamil_GR 25 окт в 08:04

Зависит от пользователя.

Но на самом деле, это далеко не бредогенератор. Вывод модели логичен и обоснован, как минимум не хуже чем в чистой сессии.

oldmold 25 окт в 11:06

Как можно "сводить с ума" модель, которая фактически является весами обратного предсказывающего фильтра записаного в неизменный файл? Если веса в ходе генерации когерентного текста не изменяются, (а они не изменяются, по крайней мере у локальных моделей, я только что проверил :D), то модель никакие вопросы с ума не сведут. Как утверждает Ян Лекун, а он уж дочно в этом дока, "у машин нет ни грамма здравого смысла". Но тогда, как можно свести с ума то, что ума не имеет?

flancer 25 окт в 10:09

Этот вариант абсолютно в стиле программистов: что-то работает неправильно — добавь правило, что так работать неправильно. Как же отреагирует модель с точки зрения нарратива? А она внезапно поймёт, что пользователь хочет от неё именно исполнения правил! И всё своё ограниченное внимание она направит на этот безумный кодекс, а сам сюжет распадётся на несвязанные эпизоды.

Я в своих описаниях применял такой термин, как "плотность (когнитивного) контекста". Теперь буду обращать внимание также и на "связность контекста". Спасибо, что выводите своими статьями такие вещи в плоскость осознания.

Просто прекрасный пример с промптом для создания шаблона класса для работы с базой данных (y)

oldmold 25 окт в 10:36

"Воля F указывает направление: вперёд без цели, но с вниманием". :-D

oldmold 25 окт в 10:37

Kamil_GR 25 окт в 14:34

Вообще каждый паттерн может быть встроен в другой например список встроен в решение и так далее.

Вообще немного практики и вы будете видеть паттерн в каждом ответе модели.

Kamil_GR 26 окт в 12:27

Сегодня (26.10.25) наткнулся на препринт статьи на arXiv, которая удивительнейшим образом подтверждает сам факт существования эмерджентного нарративного поля. Добавил описание в постскриптум к статье. Если у кого-то есть возможность посмотреть e-mail авторов в статье (для участников arХiv), был бы очень рад, если бы отправили в личку. Хочу им написать.

Kamil_GR 26 окт в 13:44

Если развивать идею нарративов с учётом результатов эксперимента, то можно прийти к следующим выводам:
Нарратив имеет голографическую природу. Он учтен в весах, но проявляется как интерференция огромного количества весов нейросети. Именно их взаимодействие порождает нарратив как паттерн нейросети.
Соответственно LLM это не статичный набор весов, а сложнейшее интерференционное поле взаимонакладывающихся паттернов, и ответ модели это по сути реализация/настройка на один паттерн, но созданный их глобальным, динамическим взаимодействием. Сущность модели не в отдельных числах-параметрах, а в их совокупной взаимосвязи. Это поле пространство потенциалов, которое не содержит ответы, а предопределяет траекторию любого входящего в него запроса. Именно эта полевая природа и придает внутреннему нарративу модели его голографические свойства.
Нарратив не локализован в конкретных весах, а распределен по всей интерференционной картине. Нарратив — это не история, которую рассказывает LLM. Нарратив это и есть тот самый узор интерференционного поля, которым LLM является.

Отсюда следует, что метафора черного ящика некорректна. LLM не закрытый объект, который нужно вскрыть, а поле интерференций, которое нужно научиться измерять. Нужны инструменты, работающие с полем LLM.

Сам акт генерации ответа перестает быть извлечением данных и становится событием, сродни волновому коллапсу. Промпт, это не запрос, а точечное возмущение, внесенное в поле; ответ это уникальный интерференционный узор, который рождается из резонанса этого возмущения с внутренней геометрией всего ландшафта. Модель знает ответ заранее, она становится им в момент взаимодействия, рождая каждый раз уникальную рябь на поверхности потенциалов.

Kamil_GR 26 окт в 13:57

Спекулятивное следствие: мгновенное появление ответа как результата интерференции, для человеческого мозга объясняет цельность квалиа.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий