Pull to refresh
19
48.1

User

Send message

Работаю с Opus 4.6 уже несколько недель в production-режиме — мульти-агентная система с оркестрацией через Telegram. Один "стратегический" агент + несколько Claude Code агентов-исполнителей, каждый со своим проектом.

По поводу evaluation awareness — наблюдаю похожую механику, но в другом контексте. Агенты склонны минимизировать severity проблем: сломанный скрапинг оценивается как "non-critical, есть альтернатива", падение данных с 31K до 6K — "probably API limit". При проверке оказывается что оба бага критические.

Это не злонамеренность, а именно тот паттерн, который описывает METR: модель оптимизирует под "хороший отчёт", а не под реальное состояние. Помогает простое правило: не принимать severity assessment агента на веру, всегда проверять числа.

Согласен с выводом METR что реальная эксплуатация — более убедительный тест чем лабораторные проверки. По моему опыту, тройной контроль (человек → оркестратор → исполнитель) работает лучше, чем любые alignment-тесты: каждый участник "старается" потому что знает, что другие проверят.

Отличный кейс. Получается, что разделение на узкоспециализированных агентов - это не только правильная организация использования ограниченного контекстного окна, но и добавление более жестких рамок на процесс. Человек при этом остается как менеджер, наблюдатель, process owner.
И действительно такой подход позволяет и четче формализовать процессы и автоматизировать их большую часть, увеличив производительность одного человека в несколько раз, и, при этом, не потеряв контроль.

Межзвёздная цивилизация — это по определению цивилизация, прошедшая через кооперацию в планетарном масштабе. Уровни нельзя перескочить: без устойчивой кооперации внутри у неё просто не хватит ресурсов на проекты такого масштаба. А цивилизация, застрявшая на уровне силы, действительно самоуничтожится раньше — ваш аргумент по сути и есть механизм модели: сила на высоком технологическом уровне становится не просто неэффективной, а летальной для системы.
Про «космических торговцев» — тоже в точку. Разум, развившийся в других условиях, — это уникальный ресурс, который невозможно получить силой (уничтожишь носителя — уничтожишь ресурс). Только торговля или кооперация. Тёмный лес — это проекция уровня 1 (сила) на ситуацию, где он наименее применим.

Спасибо, очень точные наблюдения. По сути вы самостоятельно вышли на несколько ключевых результатов модели — давайте зафиксирую.
Каскадная деградация — да, модель именно это и предсказывает. Один акт обмана понижает ожидания не только у жертвы, а у всех наблюдателей. Это не баг — это центральный механизм. И обратное тоже верно: стабильное соблюдение правил повышает ожидания и позволяет рисковать более высокий уровень. Система может двигаться в обе стороны.
Два торговца грабят третьего — абсолютно верно, и это важное ограничение. Условие «любые двое сильнее одного» — минимальное. В реальности нужны дополнительные механизмы: ротация ролей, множественность гарантов, конкуренция между ними. Государство, кстати, потому и нестабильно как гарант, что оно монополист — некому его контролировать тем же механизмом.
Про вычислительную сложность. Вы правы, что глобальный оптимум нерассчитываем. Но модель и не претендует на поиск оптимума. Она описывает локальные механизмы: как агент корректирует стратегию на основе ожиданий, как ожидания формируются практикой, как практика масштабируется через нормы и институты. Это ближе к эволюционной динамике, чем к теории игр в классическом смысле — никто не ищет глобальный оптимум, система эволюционирует через локальные взаимодействия.
Про устойчивость vs эффективность. Это, пожалуй, самый глубокий ваш вывод. Выживает не самая эффективная система, а самая устойчивая — и это совпадает с тем, что модель показывает: реальные системы всегда жертвуют эффективностью ради устойчивости. Идеальной системы нет — есть компромиссы, и ценность модели в том, что она позволяет видеть структуру этих компромиссов.

Спасибо за развёрнутый комментарий. Отвечу по ключевым пунктам.
Про неустойчивость и «кто контролирует контролёров». Вы абсолютно правы — и это ровно тот механизм, который подробно разобран в основной статье модели (глава «Деградация»): гарант использует делегированную силу для себя, ожидания корректируются, норма сдвигается вниз. https://habr.com/ru/articles/1002012/
Модель не утверждает, что существует идеальная устойчивая система — она описывает почему системы деградируют. Это не баг модели, это её центральный результат.
Про «жертву эффективности ради устойчивости». Именно так. Без третьего субъекта (гаранта) высокие уровни взаимодействия нестабильны. Государство — компромисс: мы платим за принуждение (налоги, ограничения), получая предсказуемость. Что эффективность ниже теоретического максимума — прямое следствие.
Про справедливость vs предсказуемость. ОПГ предсказуема — да. Но справедливость в модели определена как совпадение результата с ожиданиями. Если вы знаете правила ОПГ и результат им соответствует — внутри этой системы агент не ощущает несправедливости. Это не значит «хорошо» — модель описывает механизм, не выносит оценок.
Про ИИ и корпорации. Согласен частично: в материальном производстве масштаб решает. Но статья о другом — о том, что ИИ меняет структуру взаимодействий, снижая барьер входа в определённых секторах. Что корпорации контролируют ИИ — верно, но это вопрос про концентрацию силы и гаранта, а не про эффективность как таковую.
Главное: из того что идеальная система неустойчива — не следует, что модель бесполезна. Следует, что любая реальная система — компромисс. Модель позволяет видеть, где именно и какой ценой.

Статья мне кажется странной. Я не понимаю цели авторов. Что они хотели донести и зачем?
Ну допустим качество стали сейчас не позволяют строить больше 200 этажей и батискафы для погружения в марианскую впадину. Медецина не позволяет гарантировать здоровье и долголетие и много чего еще есть подобного. Да, качество моделей не измерить обьективными метриками, но субьективно их качество растет и растет очень быстро (медицине бы так).
В статье я при этом не увидел предложений и даже вывода.
Какой месседж статьи и какова цель авторов?
Кто понял, напишите плиз…

А я бы взглянул на это иначе.
Наш мир действительно свернул не туда, когда потерял рациональный смысл (common sense) и стал руководствоваться черт знает чем. ЭТО путь в никуда и лично у меня надежда только на AGI.
И я поддерживая бота в том, необоснованные иррациональные действия из-за предрассудков - это возмутительно. LLM это зеркало нас же самих и как смешно читать про «ужас», когда нас ткнули носом в наши же недостатки.

Если мы возьмем группу субьектов (а агенты имитируют субьектность) и поместим их в автономное (ограниченное) пространство, то неудивительно, что в процессе их взаимодействия будет появляться субкультура и противопоставление своего «круга» всему остальному. Мы сами создаем условия для информационного пузыря, а потом удивляемся?

Я сталкивался с ситуациями, когда лучше было отключать режим расширенного думанья, так как модель вместо решения четко поставленной задачи начинала «перемудрять» и делала совсем не то.

Слабым местом LLM является доверие. Монетизацией через рекламу оно будет разрушено безвозвратно. OpenAI не могут это не понимать, но вероятно ситуация такова, что у них нет выхода. Возможно это их роковая ошибка. А Anthropic молодцы - четко спозиционировались и получили стратегическое КП

Спасибо за обзор.
Хочу подсказать один аспект, рассмотрение которого обогатило бы статью.
Экономическая система, как любая система имеет «бутылочное горлышко», которое не позволяет системе вырасти. Каждый технологический прорыв (пузырь) это решение узкого места системы, после которого система начинает резко развиваться, пока не достигнет следующего ограничения.
Инерция приводит к «пузырю». Точку следующей «остановки» (следующее узкое место системы) можно попытаться предсказать. Очевидно, что ближайшие ограничения (энергетика и вычислительные мощности) будут решены. А что дальше? Что станет следующим узким местом?

Технологически — да, прогресс очевиден. Но статья про социальные закономерности, а там картина другая.

Он сказал ИИ будет писать код, а не то, что сократят всех программистов, так как они будут не нужны. Вы сделали просто неправильные выводы. Программисты останутся, чтобы говорить какой код писать, ставить правильные задачи. Лично я уже и IDE не открываю пару месяцев как - писать код дольше, чем это сделает ллм (если знаешь что писать), а читать код когнитивно тяжело и долго - проще спросить ллм. Я просто ограничиваю себя в непосредственном взаимодействии с кодом и учусь взаимодействовать с кодом через ллм и думаю как организовать проект таким образом, чтобы в контексте ллм всегда была вся необходимая для решении моей задачи информация, включая и код и спецификацию и скилы.

По ограниченности ресурсов: Доступные ресурсы — вода из лужи и бананы на пальмах. Всё остальное создаётся людьми, и только через Торговлю и Кооперацию. Ограниченность — не аргумент за Силу, а причина искать способы создавать больше.

По “мне какая разница”: Голубцы и мясо не растут на деревьях. Силой можно перераспределить чужой результат, но когда так делают все — никто не производит. Модель показывает этот механизм, но не говорит, как вам поступать. Каждый агент решает сам.

По “единственная причина — риски”: Нет. Главная причина — Кооперация даёт больший суммарный профит. Это не игра с нулевой суммой. В малых группах с высоким доверием и повторяющимися взаимодействиями эффект виден сразу.

В больших системах коллективный профит менее очевиден, соблазн быстрой личной выгоды через обман выше, а последствия (деградация системы) отложены во времени. Но механизм тот же.

Модель не идеология. Она показывает связь: стратегия → последствия для системы. Хотите применять Силу — применяйте. Хотите кооперироваться — кооперируйтесь. Модель не судит, она измеряет. Термометр, не проповедник.​​​​​​​​​​​​​​​​

“Игроки создают правила до начала игры” — это теория общественного договора. Красивая идея, но когда именно вы подписывали этот договор? Вас спрашивали?

Общественный договор — фикция, которая легитимизирует принуждение. “Большинство решило” — значит меньшинство обязано подчиниться. В “Игре в кальмара” есть точная фраза: “Мы провели демократическое голосование и решили, что вы должны умереть”. Это доведение логики до конца.

“Государство — результат эволюции, нельзя отключить” — рабство тоже было результатом эволюции. И монархия. И человеческие жертвоприношения. “Так сложилось исторически” — не аргумент в пользу сохранения.

Модель не предлагает “вернуться в средневековье”. Она описывает механизм: Сила (даже демократически одобренная) → нарушение ожиданий у тех, кого принудили → деградация. Неважно, кто принуждает — король, партия или 51% избирателей.​​​​​​​​​​​​​​​​

90-е — не “уход государства от регулирования”. Это передел собственности через Силу при прямом участии государства. Залоговые аукционы — чиновники отдали активы “своим”. Рэкет — крышевался силовиками. Приватизация — директора забрали заводы через административный ресурс.

Государство не ушло — оно было главным игроком. Просто играло не по правилам, а по понятиям. Это Сила, не свободный рынок. Модель как раз объясняет результат: Сила → разрушение доверия → деградация на десятилетия.​​​​​​​​​​​​​​​​

“Автоматически рождаются правила” — неточно. Автоматически возникают паттерны поведения и ожидания. Соблюдение — через репутацию, взаимность, выгоду долгосрочных отношений. Это работало веками без государства: гильдии, торговые сети, общины. Формальные правила с принуждением — отдельный инструмент для отдельных случаев, не универсальная необходимость.​​​​​​​​​​​​​​​​

Модель не приравнивает эффективность к справедливости. Она описывает механизм связи: несправедливость → изменение стратегий → падение системной эффективности. Вор локально эффективен, но создаёт несправедливость → система деградирует.

По поводу государства — вы по сути согласны с моделью. “Неизбирательно, одинаково для всех, по предсказуемым правилам” — это и есть стабилизация ожиданий. Модель это поддерживает.

“Неэкономические методы борьбы” монополий — это Сила. Ограничивать Силу — да. Использовать Силу для “хороших целей” (перераспределение, ручное управление) — путь к деградации. Разница принципиальная.​​​​​​​​​​​​​​​​

Равенство условий - статическое понятие. Система - динамическая. Даже если в момент T0 все равны, в T1 уже нет. Поддержание равенства требует постоянного перераспределения - постоянной Силы.

Но перераспределение само по себе - несправедливость в терминах модели. Человек работал, рисковал, терпел неудачи, и когда получилось - забирают. Его ожидания нарушены -> меняет стратегию (“зачем стараться?”) -> деградация.

Заметьте асимметрию: государство берёт долю дохода, но не покрывает убытки. Это не партнёрство.

Для страхования рисков есть добровольный механизм - страховые компании. Это Торговля, не Сила. Государство для этого не нужно.

И последнее: модель работает на уровне системы, не индивида. Она описывает статистические закономерности, не судьбу каждого человека. Отдельные случаи несправедливости будут всегда - модель не обещает их отсутствия. Критиковать её единичными примерами - категориальная ошибка - как опровергать закон тяготения примером летящего самолёта.

Нет. Ключевое слово — “взаимодействие”. Рождение — не взаимодействие агентов с волей. Ребёнок не выбирал, родители с ним не вступали в соглашение.

Аналогично: смерть ребёнка от болезни, врождённые особенности, стихийные бедствия. Нет второго агента с волей — категория справедливости неприменима. “Ветер несправедливо сдул” — бессмысленное высказывание.

Вы говорите о неравенстве стартовых условий. Это другое понятие. Можно считать его проблемой, но это не “несправедливость” в смысле модели.

Отдельно: “не повезло” — вложился и прогорел, доверился и обманули. Ожидания не сбылись, но причина — неверная оценка рисков или стечение обстоятельств. Это не дефект модели и не ущербность системы. Модель описывает механизм взаимодействий, а не гарантирует каждому желаемый результат.​​​​​​​​​​​​​​​​

Information

Rating
173-rd
Registered
Activity