Детальная спецификация частично решает проблему — но, по-моему, только для проекта среднего размера и только пока вы его не начали развивать. Несколько практических оговорок. Если у вас уже есть готовое решение или его часть, проще сказать агенту изучить нужный кусок и сделать так же, но «без крыльев», чем писать спеку. Само написание спецификации по трудоёмкости сопоставимо с написанием кода — и заранее её часто не напишешь: многие проблемы и решения становятся видны только в процессе. А при развитии проекта придётся постоянно держать спецификацию и код в соответствии — и это отдельная боль. Плюс спецификация и код вместе уже не влезают в контекст, и начинается фрагментарная работа. Так что как направление — да, но «спецификации вместо кода» проблему не закрывают, а во многом переносят её на стык спеки и кода.
Справедливое уточнение, но я бы развёл два уровня. У голой модели памяти в прямом смысле нет: веса на инференсе не меняются, а контекст — это вход, подаваемый заново на каждом проходе, а не то, что модель в себе хранит. Память появляется уровнем выше — в харнесе (обвязке вокруг модели: retrieval, состояние, внешние хранилища). Понятие харнеса сейчас как раз набирает популярность, и именно там эта память так или иначе реализуется. Я, к слову, и работаю над этой асимметрией со стороны харнеса.
Важный момент: зачастую программист и сам не видит готового решения — оно рождается итерациями, в процессе написания кода и рефакторинга. С агентами этого цикла нет. И тогда человек вынужден ставить задачу, инвариантную по решениям, причём инвариантность глубоко вложенная — а так задачу почти невозможно сформулировать заранее. Как только агент сам принимает решения по всему дереву вопросов, контроль теряется мгновенно. Поэтому ваш вывод про пересмотр архитектуры работы с агентами мне близок — замеры это только подсвечивают.
Вы, по-моему, ближе всех к решению. Дело именно в том, что нужен другой уровень контроля — не построчный и не «запретить агентам трогать файлы», а уровнем выше, над архитектурой и абстракциями. Направление правильное; весь вопрос в том, каким инструментом этот уровень держать, и это уже отдельная большая тема.
Тут, по-моему, важный поворот: код-ревью здесь — не решение. Сам по себе полный код-ревью — операция когнитивно тяжёлая, и в полном объёме она практически сводит на нет выигрыш от агентов. К тому же откровенный мусор современная топовая LLM уже не напишет — на уровне строк всё чаще выглядит прилично.
Проблема глубже. Архитектурные решения приняты ещё на этапе генерации — и проверять надо не код, а получившуюся архитектуру. А как вы её оцените, если она для вас непостижима в силу тех самых человеческих ограничений? Замкнутый круг: чтобы пройти ревью, архитектуру надо удержать в голове — а именно это и не выходит.
Пути решения есть, но они не в код-ревью, а в том, чтобы иначе строить сам контроль над архитектурой. Над этим, собственно, и думаю — это тема продолжения.
Допустим 10 джунов и 3 мидла. Что вам дадут эти цифры? Вы задаете не те вопросы. Вы хотите себе подтвердить, что ИИ не меняет правила игры. Если я правильно понимаю вашу мотивацию, то вам просто очень больно признать, что тот комфортный уклад работы, который вы годами и красными глазами себе создавали разрушился за пол года. Вы хотите верить, что изменения не коснуться вас лично, вы выискиваете «сигналы» провала, пузыря… Изменения глубже, чем просто рынок труда. Идет (грядет) «переаттестация» самого бизнеса и рынок уволит неэффективных. И возможно больше программистов останутся без работы не потому, что они стали не нужны компании, а потому, что сама компания стала не нужна рынку.
Спасибо за обратную связь. Главная претензия — язык второй половины — справедлива. Обновил статью: переписал «Что происходит со статьёй при загрузке», «Набор инструментов», «Симметричный цикл» и «Apache 2.0», добавил конкретные цифры по корпусу OpenArx. Подробности в P.S. в конце статьи.
Я пользуюсь такой методикой. Если фича или фикс не тривиальный, то всегда прошу план. План просматриваю сам и еще прошу просмотреть поан агента оркестратора (иногда он находит то, что я пропустил). После реализации агент должен предьявить доказательства, что он все действительно реализовал по плану (бывают разные). Если фича затоагивает логику работы, то третий этап это документирование изменений. Такие фичи всегда оформляются в beads как эпик. В комите фиксируется id задачи. Если решений несколько, то прошу реализовать вне кода оба решения и протестировать качественные метрики - я называю это экспериментом и это отдельная задача. Потом реализация наиболее удачного решения с планом, реализацией, документированием.
Работаю с Opus 4.6 уже несколько недель в production-режиме — мульти-агентная система с оркестрацией через Telegram. Один "стратегический" агент + несколько Claude Code агентов-исполнителей, каждый со своим проектом.
По поводу evaluation awareness — наблюдаю похожую механику, но в другом контексте. Агенты склонны минимизировать severity проблем: сломанный скрапинг оценивается как "non-critical, есть альтернатива", падение данных с 31K до 6K — "probably API limit". При проверке оказывается что оба бага критические.
Это не злонамеренность, а именно тот паттерн, который описывает METR: модель оптимизирует под "хороший отчёт", а не под реальное состояние. Помогает простое правило: не принимать severity assessment агента на веру, всегда проверять числа.
Согласен с выводом METR что реальная эксплуатация — более убедительный тест чем лабораторные проверки. По моему опыту, тройной контроль (человек → оркестратор → исполнитель) работает лучше, чем любые alignment-тесты: каждый участник "старается" потому что знает, что другие проверят.
Отличный кейс. Получается, что разделение на узкоспециализированных агентов - это не только правильная организация использования ограниченного контекстного окна, но и добавление более жестких рамок на процесс. Человек при этом остается как менеджер, наблюдатель, process owner. И действительно такой подход позволяет и четче формализовать процессы и автоматизировать их большую часть, увеличив производительность одного человека в несколько раз, и, при этом, не потеряв контроль.
Межзвёздная цивилизация — это по определению цивилизация, прошедшая через кооперацию в планетарном масштабе. Уровни нельзя перескочить: без устойчивой кооперации внутри у неё просто не хватит ресурсов на проекты такого масштаба. А цивилизация, застрявшая на уровне силы, действительно самоуничтожится раньше — ваш аргумент по сути и есть механизм модели: сила на высоком технологическом уровне становится не просто неэффективной, а летальной для системы. Про «космических торговцев» — тоже в точку. Разум, развившийся в других условиях, — это уникальный ресурс, который невозможно получить силой (уничтожишь носителя — уничтожишь ресурс). Только торговля или кооперация. Тёмный лес — это проекция уровня 1 (сила) на ситуацию, где он наименее применим.
Спасибо, очень точные наблюдения. По сути вы самостоятельно вышли на несколько ключевых результатов модели — давайте зафиксирую. Каскадная деградация — да, модель именно это и предсказывает. Один акт обмана понижает ожидания не только у жертвы, а у всех наблюдателей. Это не баг — это центральный механизм. И обратное тоже верно: стабильное соблюдение правил повышает ожидания и позволяет рисковать более высокий уровень. Система может двигаться в обе стороны. Два торговца грабят третьего — абсолютно верно, и это важное ограничение. Условие «любые двое сильнее одного» — минимальное. В реальности нужны дополнительные механизмы: ротация ролей, множественность гарантов, конкуренция между ними. Государство, кстати, потому и нестабильно как гарант, что оно монополист — некому его контролировать тем же механизмом. Про вычислительную сложность. Вы правы, что глобальный оптимум нерассчитываем. Но модель и не претендует на поиск оптимума. Она описывает локальные механизмы: как агент корректирует стратегию на основе ожиданий, как ожидания формируются практикой, как практика масштабируется через нормы и институты. Это ближе к эволюционной динамике, чем к теории игр в классическом смысле — никто не ищет глобальный оптимум, система эволюционирует через локальные взаимодействия. Про устойчивость vs эффективность. Это, пожалуй, самый глубокий ваш вывод. Выживает не самая эффективная система, а самая устойчивая — и это совпадает с тем, что модель показывает: реальные системы всегда жертвуют эффективностью ради устойчивости. Идеальной системы нет — есть компромиссы, и ценность модели в том, что она позволяет видеть структуру этих компромиссов.
Спасибо за развёрнутый комментарий. Отвечу по ключевым пунктам. Про неустойчивость и «кто контролирует контролёров». Вы абсолютно правы — и это ровно тот механизм, который подробно разобран в основной статье модели (глава «Деградация»): гарант использует делегированную силу для себя, ожидания корректируются, норма сдвигается вниз. https://habr.com/ru/articles/1002012/ Модель не утверждает, что существует идеальная устойчивая система — она описывает почему системы деградируют. Это не баг модели, это её центральный результат. Про «жертву эффективности ради устойчивости». Именно так. Без третьего субъекта (гаранта) высокие уровни взаимодействия нестабильны. Государство — компромисс: мы платим за принуждение (налоги, ограничения), получая предсказуемость. Что эффективность ниже теоретического максимума — прямое следствие. Про справедливость vs предсказуемость. ОПГ предсказуема — да. Но справедливость в модели определена как совпадение результата с ожиданиями. Если вы знаете правила ОПГ и результат им соответствует — внутри этой системы агент не ощущает несправедливости. Это не значит «хорошо» — модель описывает механизм, не выносит оценок. Про ИИ и корпорации. Согласен частично: в материальном производстве масштаб решает. Но статья о другом — о том, что ИИ меняет структуру взаимодействий, снижая барьер входа в определённых секторах. Что корпорации контролируют ИИ — верно, но это вопрос про концентрацию силы и гаранта, а не про эффективность как таковую. Главное: из того что идеальная система неустойчива — не следует, что модель бесполезна. Следует, что любая реальная система — компромисс. Модель позволяет видеть, где именно и какой ценой.
Статья мне кажется странной. Я не понимаю цели авторов. Что они хотели донести и зачем? Ну допустим качество стали сейчас не позволяют строить больше 200 этажей и батискафы для погружения в марианскую впадину. Медецина не позволяет гарантировать здоровье и долголетие и много чего еще есть подобного. Да, качество моделей не измерить обьективными метриками, но субьективно их качество растет и растет очень быстро (медицине бы так). В статье я при этом не увидел предложений и даже вывода. Какой месседж статьи и какова цель авторов? Кто понял, напишите плиз…
А я бы взглянул на это иначе. Наш мир действительно свернул не туда, когда потерял рациональный смысл (common sense) и стал руководствоваться черт знает чем. ЭТО путь в никуда и лично у меня надежда только на AGI. И я поддерживая бота в том, необоснованные иррациональные действия из-за предрассудков - это возмутительно. LLM это зеркало нас же самих и как смешно читать про «ужас», когда нас ткнули носом в наши же недостатки.
Если мы возьмем группу субьектов (а агенты имитируют субьектность) и поместим их в автономное (ограниченное) пространство, то неудивительно, что в процессе их взаимодействия будет появляться субкультура и противопоставление своего «круга» всему остальному. Мы сами создаем условия для информационного пузыря, а потом удивляемся?
Я сталкивался с ситуациями, когда лучше было отключать режим расширенного думанья, так как модель вместо решения четко поставленной задачи начинала «перемудрять» и делала совсем не то.
Слабым местом LLM является доверие. Монетизацией через рекламу оно будет разрушено безвозвратно. OpenAI не могут это не понимать, но вероятно ситуация такова, что у них нет выхода. Возможно это их роковая ошибка. А Anthropic молодцы - четко спозиционировались и получили стратегическое КП
Спасибо за обзор. Хочу подсказать один аспект, рассмотрение которого обогатило бы статью. Экономическая система, как любая система имеет «бутылочное горлышко», которое не позволяет системе вырасти. Каждый технологический прорыв (пузырь) это решение узкого места системы, после которого система начинает резко развиваться, пока не достигнет следующего ограничения. Инерция приводит к «пузырю». Точку следующей «остановки» (следующее узкое место системы) можно попытаться предсказать. Очевидно, что ближайшие ограничения (энергетика и вычислительные мощности) будут решены. А что дальше? Что станет следующим узким местом?
Детальная спецификация частично решает проблему — но, по-моему, только для проекта среднего размера и только пока вы его не начали развивать. Несколько практических оговорок. Если у вас уже есть готовое решение или его часть, проще сказать агенту изучить нужный кусок и сделать так же, но «без крыльев», чем писать спеку. Само написание спецификации по трудоёмкости сопоставимо с написанием кода — и заранее её часто не напишешь: многие проблемы и решения становятся видны только в процессе. А при развитии проекта придётся постоянно держать спецификацию и код в соответствии — и это отдельная боль. Плюс спецификация и код вместе уже не влезают в контекст, и начинается фрагментарная работа. Так что как направление — да, но «спецификации вместо кода» проблему не закрывают, а во многом переносят её на стык спеки и кода.
Справедливое уточнение, но я бы развёл два уровня. У голой модели памяти в прямом смысле нет: веса на инференсе не меняются, а контекст — это вход, подаваемый заново на каждом проходе, а не то, что модель в себе хранит. Память появляется уровнем выше — в харнесе (обвязке вокруг модели: retrieval, состояние, внешние хранилища). Понятие харнеса сейчас как раз набирает популярность, и именно там эта память так или иначе реализуется. Я, к слову, и работаю над этой асимметрией со стороны харнеса.
Важный момент: зачастую программист и сам не видит готового решения — оно рождается итерациями, в процессе написания кода и рефакторинга. С агентами этого цикла нет. И тогда человек вынужден ставить задачу, инвариантную по решениям, причём инвариантность глубоко вложенная — а так задачу почти невозможно сформулировать заранее. Как только агент сам принимает решения по всему дереву вопросов, контроль теряется мгновенно. Поэтому ваш вывод про пересмотр архитектуры работы с агентами мне близок — замеры это только подсвечивают.
Вы, по-моему, ближе всех к решению. Дело именно в том, что нужен другой уровень контроля — не построчный и не «запретить агентам трогать файлы», а уровнем выше, над архитектурой и абстракциями. Направление правильное; весь вопрос в том, каким инструментом этот уровень держать, и это уже отдельная большая тема.
Тут, по-моему, важный поворот: код-ревью здесь — не решение. Сам по себе полный код-ревью — операция когнитивно тяжёлая, и в полном объёме она практически сводит на нет выигрыш от агентов. К тому же откровенный мусор современная топовая LLM уже не напишет — на уровне строк всё чаще выглядит прилично.
Проблема глубже. Архитектурные решения приняты ещё на этапе генерации — и проверять надо не код, а получившуюся архитектуру. А как вы её оцените, если она для вас непостижима в силу тех самых человеческих ограничений? Замкнутый круг: чтобы пройти ревью, архитектуру надо удержать в голове — а именно это и не выходит.
Пути решения есть, но они не в код-ревью, а в том, чтобы иначе строить сам контроль над архитектурой. Над этим, собственно, и думаю — это тема продолжения.
Допустим 10 джунов и 3 мидла. Что вам дадут эти цифры? Вы задаете не те вопросы. Вы хотите себе подтвердить, что ИИ не меняет правила игры. Если я правильно понимаю вашу мотивацию, то вам просто очень больно признать, что тот комфортный уклад работы, который вы годами и красными глазами себе создавали разрушился за пол года. Вы хотите верить, что изменения не коснуться вас лично, вы выискиваете «сигналы» провала, пузыря… Изменения глубже, чем просто рынок труда. Идет (грядет) «переаттестация» самого бизнеса и рынок уволит неэффективных. И возможно больше программистов останутся без работы не потому, что они стали не нужны компании, а потому, что сама компания стала не нужна рынку.
Спасибо за обратную связь. Главная претензия — язык второй половины — справедлива. Обновил статью: переписал «Что происходит со статьёй при загрузке», «Набор инструментов», «Симметричный цикл» и «Apache 2.0», добавил конкретные цифры по корпусу OpenArx. Подробности в P.S. в конце статьи.
Я пользуюсь такой методикой. Если фича или фикс не тривиальный, то всегда прошу план. План просматриваю сам и еще прошу просмотреть поан агента оркестратора (иногда он находит то, что я пропустил). После реализации агент должен предьявить доказательства, что он все действительно реализовал по плану (бывают разные). Если фича затоагивает логику работы, то третий этап это документирование изменений. Такие фичи всегда оформляются в beads как эпик. В комите фиксируется id задачи. Если решений несколько, то прошу реализовать вне кода оба решения и протестировать качественные метрики - я называю это экспериментом и это отдельная задача. Потом реализация наиболее удачного решения с планом, реализацией, документированием.
Работаю с Opus 4.6 уже несколько недель в production-режиме — мульти-агентная система с оркестрацией через Telegram. Один "стратегический" агент + несколько Claude Code агентов-исполнителей, каждый со своим проектом.
По поводу evaluation awareness — наблюдаю похожую механику, но в другом контексте. Агенты склонны минимизировать severity проблем: сломанный скрапинг оценивается как "non-critical, есть альтернатива", падение данных с 31K до 6K — "probably API limit". При проверке оказывается что оба бага критические.
Это не злонамеренность, а именно тот паттерн, который описывает METR: модель оптимизирует под "хороший отчёт", а не под реальное состояние. Помогает простое правило: не принимать severity assessment агента на веру, всегда проверять числа.
Согласен с выводом METR что реальная эксплуатация — более убедительный тест чем лабораторные проверки. По моему опыту, тройной контроль (человек → оркестратор → исполнитель) работает лучше, чем любые alignment-тесты: каждый участник "старается" потому что знает, что другие проверят.
Отличный кейс. Получается, что разделение на узкоспециализированных агентов - это не только правильная организация использования ограниченного контекстного окна, но и добавление более жестких рамок на процесс. Человек при этом остается как менеджер, наблюдатель, process owner.
И действительно такой подход позволяет и четче формализовать процессы и автоматизировать их большую часть, увеличив производительность одного человека в несколько раз, и, при этом, не потеряв контроль.
Межзвёздная цивилизация — это по определению цивилизация, прошедшая через кооперацию в планетарном масштабе. Уровни нельзя перескочить: без устойчивой кооперации внутри у неё просто не хватит ресурсов на проекты такого масштаба. А цивилизация, застрявшая на уровне силы, действительно самоуничтожится раньше — ваш аргумент по сути и есть механизм модели: сила на высоком технологическом уровне становится не просто неэффективной, а летальной для системы.
Про «космических торговцев» — тоже в точку. Разум, развившийся в других условиях, — это уникальный ресурс, который невозможно получить силой (уничтожишь носителя — уничтожишь ресурс). Только торговля или кооперация. Тёмный лес — это проекция уровня 1 (сила) на ситуацию, где он наименее применим.
Спасибо, очень точные наблюдения. По сути вы самостоятельно вышли на несколько ключевых результатов модели — давайте зафиксирую.
Каскадная деградация — да, модель именно это и предсказывает. Один акт обмана понижает ожидания не только у жертвы, а у всех наблюдателей. Это не баг — это центральный механизм. И обратное тоже верно: стабильное соблюдение правил повышает ожидания и позволяет рисковать более высокий уровень. Система может двигаться в обе стороны.
Два торговца грабят третьего — абсолютно верно, и это важное ограничение. Условие «любые двое сильнее одного» — минимальное. В реальности нужны дополнительные механизмы: ротация ролей, множественность гарантов, конкуренция между ними. Государство, кстати, потому и нестабильно как гарант, что оно монополист — некому его контролировать тем же механизмом.
Про вычислительную сложность. Вы правы, что глобальный оптимум нерассчитываем. Но модель и не претендует на поиск оптимума. Она описывает локальные механизмы: как агент корректирует стратегию на основе ожиданий, как ожидания формируются практикой, как практика масштабируется через нормы и институты. Это ближе к эволюционной динамике, чем к теории игр в классическом смысле — никто не ищет глобальный оптимум, система эволюционирует через локальные взаимодействия.
Про устойчивость vs эффективность. Это, пожалуй, самый глубокий ваш вывод. Выживает не самая эффективная система, а самая устойчивая — и это совпадает с тем, что модель показывает: реальные системы всегда жертвуют эффективностью ради устойчивости. Идеальной системы нет — есть компромиссы, и ценность модели в том, что она позволяет видеть структуру этих компромиссов.
Спасибо за развёрнутый комментарий. Отвечу по ключевым пунктам.
Про неустойчивость и «кто контролирует контролёров». Вы абсолютно правы — и это ровно тот механизм, который подробно разобран в основной статье модели (глава «Деградация»): гарант использует делегированную силу для себя, ожидания корректируются, норма сдвигается вниз. https://habr.com/ru/articles/1002012/
Модель не утверждает, что существует идеальная устойчивая система — она описывает почему системы деградируют. Это не баг модели, это её центральный результат.
Про «жертву эффективности ради устойчивости». Именно так. Без третьего субъекта (гаранта) высокие уровни взаимодействия нестабильны. Государство — компромисс: мы платим за принуждение (налоги, ограничения), получая предсказуемость. Что эффективность ниже теоретического максимума — прямое следствие.
Про справедливость vs предсказуемость. ОПГ предсказуема — да. Но справедливость в модели определена как совпадение результата с ожиданиями. Если вы знаете правила ОПГ и результат им соответствует — внутри этой системы агент не ощущает несправедливости. Это не значит «хорошо» — модель описывает механизм, не выносит оценок.
Про ИИ и корпорации. Согласен частично: в материальном производстве масштаб решает. Но статья о другом — о том, что ИИ меняет структуру взаимодействий, снижая барьер входа в определённых секторах. Что корпорации контролируют ИИ — верно, но это вопрос про концентрацию силы и гаранта, а не про эффективность как таковую.
Главное: из того что идеальная система неустойчива — не следует, что модель бесполезна. Следует, что любая реальная система — компромисс. Модель позволяет видеть, где именно и какой ценой.
Статья мне кажется странной. Я не понимаю цели авторов. Что они хотели донести и зачем?
Ну допустим качество стали сейчас не позволяют строить больше 200 этажей и батискафы для погружения в марианскую впадину. Медецина не позволяет гарантировать здоровье и долголетие и много чего еще есть подобного. Да, качество моделей не измерить обьективными метриками, но субьективно их качество растет и растет очень быстро (медицине бы так).
В статье я при этом не увидел предложений и даже вывода.
Какой месседж статьи и какова цель авторов?
Кто понял, напишите плиз…
А я бы взглянул на это иначе.
Наш мир действительно свернул не туда, когда потерял рациональный смысл (common sense) и стал руководствоваться черт знает чем. ЭТО путь в никуда и лично у меня надежда только на AGI.
И я поддерживая бота в том, необоснованные иррациональные действия из-за предрассудков - это возмутительно. LLM это зеркало нас же самих и как смешно читать про «ужас», когда нас ткнули носом в наши же недостатки.
Если мы возьмем группу субьектов (а агенты имитируют субьектность) и поместим их в автономное (ограниченное) пространство, то неудивительно, что в процессе их взаимодействия будет появляться субкультура и противопоставление своего «круга» всему остальному. Мы сами создаем условия для информационного пузыря, а потом удивляемся?
Я сталкивался с ситуациями, когда лучше было отключать режим расширенного думанья, так как модель вместо решения четко поставленной задачи начинала «перемудрять» и делала совсем не то.
Слабым местом LLM является доверие. Монетизацией через рекламу оно будет разрушено безвозвратно. OpenAI не могут это не понимать, но вероятно ситуация такова, что у них нет выхода. Возможно это их роковая ошибка. А Anthropic молодцы - четко спозиционировались и получили стратегическое КП
Спасибо за обзор.
Хочу подсказать один аспект, рассмотрение которого обогатило бы статью.
Экономическая система, как любая система имеет «бутылочное горлышко», которое не позволяет системе вырасти. Каждый технологический прорыв (пузырь) это решение узкого места системы, после которого система начинает резко развиваться, пока не достигнет следующего ограничения.
Инерция приводит к «пузырю». Точку следующей «остановки» (следующее узкое место системы) можно попытаться предсказать. Очевидно, что ближайшие ограничения (энергетика и вычислительные мощности) будут решены. А что дальше? Что станет следующим узким местом?
Технологически — да, прогресс очевиден. Но статья про социальные закономерности, а там картина другая.