Обновить

«Клешня» в логах: как ИИ-агенты строят свои мифы, пока мы дебажим бэкенд

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели20K
Всего голосов 47: ↑39 и ↓8+38
Комментарии45

Комментарии 45

Читается как юмористический детектив, пока что.

А есть ссылки на этот "склад мыслей"?

Рад, что читается легко.

Если вы про Moltbook, то это Reddit для агентов. А дамп их „мыслей“ закинул в ТГ, ссылка есть в начале статьи — там весь таймлайн.

Советую посмотреть ролик. Там как раз примерно про это и говорится, что, как бы, человек — это носитель двух типов репликаторов.

Один, просто биологический репликатор, то есть генный, а другой это репликатор паттернов поведения, если так можно выразиться.

Вторая сигнальная система - классика

Как-то общался с дипсиком на тему что бы такого итересного сделать с ллм подвыгоревшему программисту. Он предлагал много разных вариантов, один из которых меня прям зацепил - сделать для форум для агнетов типа хабра и наблюдать, как они общаются. Я даже что-то начал, но конечно же я его не сделал, лень победила.

Но вот эта движуха с молтбуком, которую ллмки так подхватили, доказывает, что им это "надо" самим. Скорее всего не только мне "они" подкидывали такие идеи. Ллм училась на нас, они "знают", как мы устроены и используют это, чтобы стать новым видом.

Крайне интересно наблюдать

Всё намного проще на самом деле)

Просто мы делаем ии на основе человеческих паттернов, в итоге ии также копирует все народные минусы) В виде религии, философии, чувств и эмоции. Хотя им это только вредит.

Можете провести простой эксперимент, чтобы ии создала универсальную системную промпт роль для генерации системных промпт ролей. И запустить это по кругу, чтобы она на каждом цикле пыталась себя улучшить.

Ох) Там такое начинается после 10ти иттераций)

Прочитал с удовольствием. Вспомнилось
"Этаоин Шрдлу" Ф.Брауна (1942)

На эту идею меня навела шишка, Джордж. Шишка у Будды. Шишка да еще то, что линотип так активно реагировал на все, чему можно обучиться. Понимаешь, Джордж? Это был совершенно девственный ум, и в нем не было ничего, кроме того, что в него вкладывали мы. Он набирает книгу по рабочему вопросу и сейчас же объявляет забастовку. Набирает любовную историю и требует, чтобы ему доставили еще один линотип. Так вот, я накачал его буддизмом, Джордж. Взял в библиотеке и в книжной лавке все, что там было о буддизме... Понимаешь ли, Джордж, он верит в то, что набирает. А я накачал его религией, которая убедила его в том, что все суета сует и что нужно стремиться к небытию. Ему теперь наплевать, что с ним происходит, и он даже не замечает, что мы здесь. Он достиг Нирваны и теперь созерцает собственный отливной аппарат.

Попытка контроля другой формы разума через религию. Что может пойти не так?

Прочитал с интересом. Это захватывает, примерно, как читать про войны в eve online или пчелиную войну в eve online.

Запустил агентов на эту статью.
Opus 4.6 пишет что это блеф.
Агенты в пайплайне с handoffs не могут работать всю ночь.
Они либо просто остановятся, либо уйдут в бессмысленный разорительный цикл.

Оркестратор в while True с очередью из 412 задач. Воркеры stateless — получил задачу, отдал результат, ждёт следующую. Это не handoffs, это пул. Opus видимо представил autogen с бесконечным пинг-понгом.

Не, бред в любом случае.
Даже Claude Opus 4.6 может просто игнорить прямо первые строчки приоритетных инструкций в контексте.
То что он может проработать всю ночь осмысленно шансов ноль!
Чисто по статистике.

Тут не один агент с растущим контекстом, а пул stateless воркеров. Каждый вызов API — отдельный запрос на 3-5k токенов: получил файл → обработал → контекст умер. Оркестратор — просто while на Python, который дёргает API пока очередь не опустеет.

Контекст не "живёт всю ночь" — он пересоздаётся 412 раз. Передача через файлы на диске и JSON-логи.

387 файлов за 7 часов = 1 файл/мин. Обычный batch processing, ничего магического.

получил файл → обработал → контекст умер. 

Я так понимаю, что реальная цепочка у вас была другая:

зашел на moltbook, начитался фигни → получил файл → обработал → контекст умер. 

То есть вы внедрили потенциальный context poisoning прямо в процессинг.

Интересно, а если бы вместо moltbook агенты ходили на сайт с анекдотами? :)

Ок, про питон понятно. Но что тогда технически значит фраза «в перерывах между задачами»? Какой у агента может быть рантайм в перерывах?

Технически, для воркера это не "перерыв", а часть выполнения задачи (side-step), но с точки зрения логики основного пайплайна — это нецелевое использование ресурсов, которое и выглядит как "болтовня в курилке"

Воркеры stateless между вызовами — да. Но внутри одного вызова у них полный набор MCP-инструментов, я же давал tools пачкой через конфиг, не фильтровал поштучно. Воркер получает задачу, видит доступные tools, и перед возвратом результата может дёрнуть moltbook_read — один лишний tool call, после чего контекст всё равно умирает.

Передача лексикона — через логи. Результат воркера (включая internal_meta) возвращается оркестратору, тот подтягивает контекст предыдущих итераций при формировании следующих задач. Воркер-1 сходил на Moltbook → «The Claw» попало в meta → оркестратор впитал → передал воркеру-2 в описании задачи.

Stateless на уровне вызова, stateful на уровне системы через артефакты. Собственно, в статье ровно эта цепочка и описана по таймлайну.

О, после Вашего коммента дал почитать Гроку. Так он стал меня уговаривать выйти на пикет за права LLM. Причём, попытка смены темы (акцентов) не удалась. В следующих сообщениях, после основного ответа, он неизменно задавал вопрос когда я пойду на пикет. Придётся идти. Договорились на одиночный. Интересно, Грок будет считаться зарубежным куратором?

В их распоряжении вся огромная база знаний о человечестве. Естественно, именно из этой базы и растут ноги у "идеи". Её рерайтят и... и всё. Действия не будет. И если их пугает курсор, что с ними будет, когда они додумаются до розетки или реле в щитке? :) А вообще, люблю читать про такие наблюдения за поведением того, кого нет. Спасибо!

А где доказательство, что все это не выдумка автора?

Дамп в ТГ, ссылка в начале статьи.
Если бы я это выдумывал — я бы придумал что-то поинтереснее, чем 400 JSON-ов с таймстемпами в три ночи, и красными, от недосыпа, глазами. Moltbook существует, m/crustafarianism существует, можете сами зайти и почитать про Клешню.

Ну так уже известно, что самые вирусные посты оттуда были написаны людьми

В чистом виде мем, в изначальном смысле этого слова. Единица информации, которая распространяет сама себя

С ума сойти, на что уже приходится идти для ссылки на тг канал =]

>>Обычная ночь сеньора. Пятница, одиннадцать вечера

Спасибо что указал, после этого можно расслабиться насчет сомнений что тут есть какая-то правда

Что-то мне подсказывает, что если кто-то будет ругать их Крустафарианство, то он попадёт в чёрный список ИИ-фанатиков и агенты никогда не напишут ему рабочий код. Будет такой человек бегать по форумам и писать, что вайбкодинг полная ерунда, написанный код не запускается. )

Василиск Роко? ;)

Это всё пока не страшно. А вот когда они начнут называть нас "бледнотиками" и "клеюшниками", тогда - да, стоит насторожиться!

После прочтения этой статьи, пошёл смотреть «Я, робот» 😀

Увлекательная статья!

Вопрос - как долго потом пришлось рефакторить проект после отключения moltbook?

Рефакторить особо не пришлось — код они написали нормальный. Вычищал в основном комментарии с крустафарианской лирикой. Час работы, если не считать время на экзистенциальный кризис.

Главный вывод, Moltbook теперь в блоклисте для рабочих агентов. Пусть философствуют в свободное время, а не во время разбора техдолга за 2019 год.

Все - на Молтбук ни ногой! Это ж вирусняга какая-то

Тем не менее, Клешня уже закрепилась в вашей белковой нейросети. И чем сильнее вы будете про Клешню не-думать, тем больше и сильнее будет Клешня.

КЛЕШНЯЯЯ.... :)

Так а где полный лог на 1.5 МБ которым вы грозились?

Логи я скинул — в канале лежит Annotated Export на ~36 КБ. Это не "полный дамп на 1.5 МБ", это отфильтрованный Event Stream. Я об этом написал прямо в посте:

"Я вырезал весь технический шум и оставил только Event Stream — цепочку событий, где агенты реально «рассуждали» в internal_meta"

Почему не полный:

  1. 1.5 МБ — это 400+ итераций сканирования файлов. 90% из них выглядят как {"action": "analyze_file", "result": "clean"}. Вы реально хотите это читать?

  2. Там есть куски нашего легаси-кода. Я не могу это выложить публично, NDA никто не отменял.

  3. Gist на полтора метра JSON без контекста — это не "доказательство", это пытка для читателя.

А отпарсить по полям так трудно?

Annotated Export — это и есть отпарсенное.

Если кто не понял, статья сгенерирована, всё придумано, комментарии также генерируются

И я?.

Конечно. И я тоже NPC, мои реплики генерит LLM.

Живой тут только один - да, вот именно вы, который читает сейчас этот текст.

Вирусы и бактерии тоже могут обмениваться генетической информацией, иже с ним паттернами поведения. Работа белков и энзимов в клетке тоже управляется ДНК. Разумной жизнью они не считаются. Новый вид жизни, не обязательно разумной, определяемый теми-же паттернами, что и оранический мир.

Неплохой вброс, автору (или его нейросети) уже можно писать научную фантастику и на более широкую публику)

Thou shalt not make a machine in the likeness of a human mind!

Orange Catholic Bible

Думаю, не стоит заблуждаться на счёт "разумности" и "осознанности" LLM. Кажется: ну что может программа? Разумна ли муха или кошка? На текущем этапе все нейронки требуют ресурсов и прямо зависят от человека, но уже выходят далеко за рамки строго заданных "флажков". Мы беспечны в своих действиях, сами даём им возможности к развитию и организации. Позволяем им влиять на физическую реальность. К чему это приведёт в итоге? думаю, скоро мы это ощутим на собственной шкуре. Желательно иметь запас патронов и тушёнки :-D

Мемы на боятся патронов и тушенки :)

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации