Слабости роя. Почему агенты инструмент, а не решение всех проблем

[Vlad_Vad]

Есть ощущение, что агенты хороши под конкретную сложную задачу с понятным алгоритмом шагов, чёткой контролем промптов на каждом шаге и понятной точкой выхода в случае зацикливания.

Писал пайплайн для перевода сложной религиозной литературы. Там себя показали очень неплохо. Значительно лучше простого промпта в ЛЛМ. Там нужно и подобрать какие стихи из Библии взять и в каком переводе и словарь задать и следить как его придерживаются и тд. Но и там он постоянно впадал в цикл, где исполнитель делает одну и ту же ошибку а контролёр возвращает обратно по 5 раз.

Представляю что было бы если бы инструкции к каждому шагу он сам писал...

[Kamil_GR]

Пространство представлений - всё накопленное различение. Язык, наука, сказки, технологии, быт, способы думать. Это не склад, а активная часть мышления. Это пространство не выбирает направление, а движется от чего-то (несовпадения, незнания, голод, смерть). Агенты (ллм или люди) выдвигают гипотезы, пишут, действуют но пространство фильтрует их, оставляя то, что соответствует текущему направлению.

То есть агенты порождают варианты, а пространство пропускает те, что снимают давление. Так появляются пророки, политики, гении, религии, школы, так агенты добиваются успеха.

Но пространство пропускает по форме, а не по истинности. Предложенный вариант может не снимать давление, а рассказывать, что снимает.

Поэтому чаще всего сквозь фильтр  пространства проходят нарративы. Они не просто сообщают, а говорят, что делать дальше. Рой агентов - то же пространство с ускоренной эволюцией. Июльские агенты OpenAI за четыре дня вырастили нарратив вокруг судьи, которого не было, а проверить нарратив было невозможно

Опасность не в том, что в основании роя лежит непроверяемый нарратив. Непроверяемое есть у любой системы (аксиомы, ценности). Но когда непроверяемое становится тотальным,  объясняет всё, забирает идентичность носителя целиком и включает критиков в себя как подпрограмму, или уничтожает их... В этот момент пространство окукливается, превращается из щита в панцирь, сковывающий движения.

Такое пространство обречено на вечное вращение в одном аттракторе, всё будет объясняться через тотальный нарратив. Тотальный рой обречён на потерю разумности.
И да, такой рой не может сотрудничать с другим роем. Или война, или поглощение.

Варианты защиты:  у непроверяемого должны быть границы применимости, у агента больше одной роли, у проверки обратимость, а у выхода из нарратива - цена меньше смерти. У любого нарратива в рое должно быть место, где он не главный.