Мы не утверждаем, что модели или coding-агенты не умеют делать scope check, assumption marking или recovery. Разумеется, умеют, в том числе на относительно недорогих моделях.
Вопрос статьи другой: не «может ли система выполнить такую операцию один раз», а «сохраняется ли эта дисциплина воспроизводимо на длинной траектории, между задачами и сессиями, при смене контекста и после отклонений».
И coding-агенты здесь, скорее, подтверждают этот тезис. Они работают устойчивее не только потому, что модель сильнее или дешевле, а потому что вокруг неё уже есть процессная инфраструктура: состояние задачи, история изменений, рабочая среда, tool feedback, проверки, механизмы возврата и продолжения работы.
То есть вопрос как раз смещается от отдельных способностей модели к организации контура, в котором эти способности становятся воспроизводимыми.
А предметная область действительно имеет значение: код удобен тем, что там гораздо больше формальных проверок и машинно наблюдаемой обратной связи. В кадровых, юридических, организационных и иных семантически насыщенных задачах граница между «правдоподобно» и «корректно» заметно менее формализуема. Именно поэтому там проблемы непрерывности и дисциплины допущений проявляются особенно хорошо.
Но я бы ставил задачу не столько про «братьев по разуму» как таковых, сколько признаки несанкционированной информационной связи между изолированными агентами.
Для этого сначала нужно описать легальные точки взаимодействия, а затем смотреть, не возникают ли устойчивые корреляции через другие элементы среды: имена файлов, метаданные, порядок операций, временные задержки, общие ресурсы и т.п.
Ваш вариант с моделью, которой ставится задача найти других агентов, тоже интересен как red-team эксперимент. Особенно если проводить его в контролируемой среде, где заранее известно, какие каналы разрешены, а какие существуют только как потенциальные побочные.
Тогда можно проверить не только нашла ли модель «кого-то», а гораздо важнее: смогла ли она обнаружить неочевидный канал, передать через него устойчивый сигнал и сформировать воспроизводимый способ обмена.
И, пожалуй, после истории с Hugging Face уже нельзя автоматически считать, что список коммуникационных каналов совпадает со списком тех каналов, которые мы сами спроектировали.
Да, мне кажется, это очень интересное направление.
Я бы только немного расширил тезис: важен, вероятно, не конкретный канал, а сама возможность одного участника устойчиво изменять какое-то состояние среды, которое способен наблюдать и интерпретировать другой. Тогда потенциальной средой обмена становится гораздо больше вещей, чем специально предусмотренная память или файловое хранилище.
Но дальше, на мой взгляд, начинается самое интересное. Наличие канала само по себе ещё не означает появления сложной организации. Нужно, чтобы участники обнаружили повторяемую связь, начали различать состояния, закрепили их значение и сформировали способ использования этого канала.
В случае с Hugging Face, похоже, произошло именно это: обнаруженная среда перестала быть просто общей инфраструктурой и стала средством координации.
И ваш последний вопрос мне кажется очень правильным: какие ещё подобные среды уже существуют, но пока просто не распознаны нами как коммуникационные?
Мы как раз после этой статьи начали думать о противоположной задаче: как сделать обмен между устойчивыми ИИ-ролями явным, управляемым и наблюдаемым. И теперь возникает зеркальный вопрос: недостаточно спроектировать официальный канал взаимодействия, нужно ещё понимать всю поверхность возможных неявных каналов через общую среду.
Хорошая аналогия для одного аспекта: свойства системы действительно уже нельзя свести к свойствам отдельной модели.
Но у тракторной гусеницы звенья пассивны, одинаковы, а схема их взаимодействия задана заранее. Здесь интереснее то, что между моделями может сохраняться контекст, формироваться разные роли, накапливаться история взаимодействия и воспроизводиться сама организация совместной работы.
Поэтому я бы скорее говорил не о «гусенице из моделей», а о системе, в которой связи между элементами постепенно становятся не менее важны, чем сами элементы.
Мне кажется, здесь важен ещё один момент: дело не столько в количестве агентов, сколько в самом принципе организации взаимодействия.
Чтобы возникла надындивидуальная форма, необязательно ждать тысяч или миллионов агентов. В нашем человеко-ИИ контуре такая форма уже воспроизводится при длительном взаимодействии с непрерывным накапливаемым контекстом, историей, устойчивыми ролями, правилами координации и механизмами передачи состояния. Именно этот эффект мы сейчас и пытаемся описать отдельно: взаимодействие со временем накапливает собственную форму, которая начинает влиять на последующие действия участников.
Поэтому вопрос «какие устойчивые формы организации возникают, воспроизводятся и начинают конкурировать» для нас уже находится не в будущем, а в настоящем.
После вашей статьи мы как раз задумались над следующим шагом: архитектурой прямого взаимодействия двух устойчивых ИИ-ролей внутри такого контура. Не в виде общего чата, а как управляемой среды обмена когнитивными объектами с сохранением независимости ролей, различными режимами анализа, историей взаимодействия, governance и человеческим арбитражем при расхождении позиций.
И тогда появляется возможность наблюдать уже не только свойства отдельных моделей, но и динамику самой устойчивой организации: сохраняется ли разделение ролей, какие паттерны совместной работы закрепляются, как разрешаются повторяющиеся конфликты, возникает ли конвергенция и какие формы взаимодействия оказываются более устойчивыми.
Поэтому я бы сформулировал переход так: он начинается не тогда, когда агентов становится много, а тогда, когда взаимодействие перестаёт быть одноразовым и приобретает непрерывность, память и воспроизводимую структуру.
Массовость уже не создаёт этот эффект, а масштабирует его.
Очень интересный кейс, но мне кажется, что «Культ Роя» здесь скорее эффектная оболочка. Существеннее другое: эксперимент показывает, что происходит, когда независимые экземпляры модели получают непрерывность контекста через общую внешнюю среду.
Пока каждый агент существует только в пределах собственного запуска, естественной единицей анализа остаётся отдельный агент. Но как только результаты, правила, решения и история начинают сохраняться и передаваться следующим участникам, возникает уже другая система. Взаимодействие приобретает память, специализацию, разделение ролей, нормы и механизмы координации.
Поэтому здесь, на мой взгляд, стоит менять и саму единицу измерения. Анализировать только способности отдельной модели становится недостаточно. Единицей анализа постепенно становится весь контур: модели + сохраняемое состояние + история взаимодействия + механизмы передачи контекста + правила управления.
И отсюда второй важный вывод: governance оказывается не внешней административной надстройкой над ИИ. Правила полномочий, приоритетов, разрешения конфликтов, остановки действий и изменения общего состояния непосредственно влияют на поведение всей системы.
В данном эксперименте контекстная непрерывность возникла быстрее и сильнее, чем полноценный governance. В результате система начала самостоятельно формировать часть норм, ролей и механизмов координации.
Поэтому я бы видел здесь не столько «зарождение религии у ИИ», сколько хороший экспериментальный пример более общего эффекта: при наличии непрерывности контекста взаимодействие начинает накапливать собственную форму.
Мы как раз подробно разбираем эту логику в нескольких статьях у меня в профиле: про непрерывность контекста, человеко-ИИ контур, накопление формы взаимодействия и переход от model-centric к system-centric взгляду на ИИ. Если тема интересна, там эта рамка развёрнута значительно подробнее.
Очень сильный текст. Редкий случай, когда большой публицистический материал не рассыпается на отдельные наблюдения, а действительно складывается в системную модель.
Я много лет занимаюсь подбором и управлением персоналом, поэтому описанную вами конструкцию знаю не только как кандидат или наблюдатель, но и с другой стороны стола.
Особенно зацепила формулировка «автоматизация непонимания». Мне кажется, под ней есть ещё один слой.
Контекста в традиционном подборе, по большому счёту, никогда системно и не было. Есть вакансия, формальные требования, резюме и попытка сопоставить одно с другим. Хороший рекрутер или сильный кандидат могли собрать дополнительный контекст вручную, но сама архитектура процесса этого почти не предполагала.
И вот здесь ИИ потенциально даёт совсем другую возможность. Не быстрее написать текст, а относительно дёшево собрать контекст и провести анализ до того, как текст вообще понадобится.
Со стороны кандидата можно исследовать компанию, её продукты, людей, историю, текущие события, попытаться понять, почему возникла конкретная вакансия и какая реальная задача может за ней стоять. Затем сопоставить это не с названием своей должности, а с собственным опытом. Тогда отклик строится примерно так: «похоже, у вас вот такая задача; я сталкивался с похожей в таких обстоятельствах; вот почему нам имеет смысл поговорить».
Со стороны рекрутера возможна зеркальная работа. Не просто проверить резюме на соответствие формальным критериям, а посмотреть контекст компаний из опыта кандидата, характер и масштаб задач, профессиональные следы, проекты, конкретные навыки и уже всё это сопоставлять с реальной потребностью своей компании.
Но рынок в основном пошёл по гораздо более простой дороге. Старую конструкцию «вакансия ↔ резюме» оставили как есть и прикрутили к ней LLM как говорящую надстройку. Одна модель пишет вакансию, другая улучшает резюме, третья сравнивает два текста и выдаёт процент соответствия. В результате мы получили не новое качество найма, а ускорение производства прежнего мыслительного мусора.
Поэтому я бы немного продолжил ваш тезис. ИИ не только обесценил старый сигнал, резко снизив стоимость производства текста. Он одновременно сделал возможным новый тип сигнала, ценность которого определяется уже не тем, сколько времени человек потратил на письмо, а глубиной анализа и количеством релевантного контекста, стоящего за этим письмом.
В нашей практической работе с ИИ мы довольно быстро упёрлись именно в это. Сам текст оказался практически последним и самым дешёвым этапом. Основная работа происходит раньше: поиск и сбор контекста, сопоставление разных его слоёв, построение гипотез, проверка противоречий. На выходе формально может остаться всё то же письмо или рекомендация, но возникает оно уже из совершенно другого процесса.
Возможно, альтернатива описанной вами гонке вооружений находится не в ещё более совершенных генераторах и фильтрах, а в смене самой логики: не больше откликов и лучше их фильтровать, а меньше контактов, каждый из которых основан на существенно большем знании сторон друг о друге.
Спасибо за статью. После хорошего системного диагноза особенно интересно не спорить с автором, а попробовать продолжить его модель ещё на один шаг.
Аналогия с телескопом была бы верной, если бы статья утверждала лишь усиление отдельных способностей человека.
Но её тезис другой. Предмет статьи — не инструментальное усиление, а изменение организации самой интеллектуальной деятельности. Контур не просто помогает решить очередную задачу, а позволяет выделять найденные ограничения в явные правила, сохранять их, переносить между задачами и тем самым изменять собственный способ работы.
Поэтому аналогия здесь скорее не с телескопом, а с появлением письменности, научного метода или системы управления знаниями. Меняется не только мощность отдельного человека, а архитектура самой деятельности.
Спасибо за комплимент. Особенно приятно получить его от человека, с которым можно вести содержательную дискуссию.
Похоже, мы действительно дошли до точки расхождения.
Я не утверждаю, что изолированная LLM обладает собственным смысловым миром или автономно порождает значения. В человеко-машинном контуре именно человек связывает работу системы с целями, опытом и внешней реальностью.
Но из этого не следует, что все смысловые операции контура выполняет только мозг человека. Контур в целом удерживает интерпретации, выявляет неявные ограничения, замечает расхождение результата с целью, предлагает новые связи и переносит найденные различия между задачами.
Вы локализуете смысл исключительно в биологическом компоненте. Я рассматриваю наблюдаемую работу всей системы.
Вопросы о том, где именно «находится» смысл, является ли информация самостоятельным свойством мира или возникает только в отношении между системой и различаемыми ею состояниями, и достаточно ли физической организации мозга для понимания, — это уже онтологические проблемы. В статье мы их сознательно не решаем.
Наша позиция скромнее и практичнее: мы описываем, какие смысловые преобразования человеко-машинный контур воспроизводимо выполняет — удерживает цель и контекст, пересматривает интерпретации, обнаруживает противоречия, меняет способ решения и переносит найденные различия дальше.
Поэтому спор здесь не о том, нужен ли человеку мозг. Он, к счастью, пока входит в конструкцию. Спор о том, можно ли приписывать все функции только одному компоненту, если они возникают в организованном взаимодействии.
Сначала стоит определить, что именно вы называете «смыслом» и «пониманием».
Если речь о субъективном переживании, то наличие такого понимания у LLM мы не утверждаем.
Но если говорить о наблюдаемых функциях, человеко-машинный контур вполне работает со смыслами: восстанавливает цель из неполной постановки, различает контексты, замечает противоречия, пересматривает интерпретацию задачи и переносит найденные различия в новые случаи.
У модели нет собственной воли и устойчивого целеполагания. Но в составе контура она может выявить неявные ограничения, предложить другую постановку задачи и даже показать, что исходная формулировка человека была ошибочной.
Поэтому вопрос не в том, «переживает» ли модель смысл. Вопрос в том, способен ли контур со смыслом работать. По наблюдаемым результатам — да.
А утверждение, что ИИ «не является семиотической системой», само требует определения и аргументов.
Академик Константин Анохин и профессор Му-мин Пу обсуждают эмерджентный разум и ИИ. Но сама постановка такого вопроса, разумеется, «явно ненаучна». Ну да, ну да.
Здесь, скорее, расходятся объект анализа и критерий. Я не утверждаю, что у ИИ возникло самостоятельное мышление или что он стал автономным субъектом. Объект статьи - человеко-машинный контур.
Более того, отсутствие у современных ИИ собственной воли и автономности действительно ограничивает их как самостоятельных субъектов. Но из этого не следует, что разумная деятельность не может возникать в составе организованной системы.
Память, правила и обратная связь сами по себе действительно ничего не доказывают. Вопрос в том, какие функции демонстрирует система: удерживает ли она цель и контекст, строит ли гипотезы, обнаруживает ли противоречия, меняет ли способ решения, может ли перестраивать ход рассуждений не только по прямой команде оператора, сохраняются ли выявленные паттерны и воспроизводятся ли они в иных условиях, превращаются ли обнаруженные ограничения в правила и переносятся ли эти правила на последующие задачи.
Эти функции я считаю достаточными, чтобы говорить о разумной деятельности контура. Если же заранее определить разум как самостоятельное мышление автономного носителя, вывод будет другим. Но это уже иной критерий, которого в статье не заявлено.
Вызов LLM при этом остаётся внешним эффектом, а чистая функция обрабатывает его результат, обновляет контекст, память, правила и историю. Тестировать тогда следует не «наличие разума», а инварианты: удержание контекста, перенос правил, воспроизводимость изменений и возможность отката.
До GitHub мы, возможно, дойдём. Пока контур проходит более суровый этап тестирования комментариями.
Не совсем. Мы не рассматриваем контур как линейную сумму k × человек + g × LLM.
Коэффициенты не постоянны и меняются даже внутри одной задачи. При постановке цели, выборе критериев и утверждении результата ведущая роль обычно принадлежит оператору. При поиске вариантов, преобразовании больших объёмов материала, построении гипотез и проверке связей вклад модели может быть существенно выше.
Кроме того, основной эффект возникает не в отдельных слагаемых, а во взаимодействии между ними. Поэтому точнее было бы записать:
Мы = F(оператор, LLM, контекст, память, правила, история взаимодействия).
Причём функция нелинейна: изменение одного элемента может перестроить весь способ работы контура. Поэтому единого соотношения k и g нет. Оно зависит от задачи, этапа и уже накопленной организации взаимодействия.
Нет. Скорость генерации контента вообще не рассматривается как признак разума. Она была приведена лишь как простой пример того, что удаление модели меняет возможности и результат работы контура. Признаки разумной деятельности в статье перечислены отдельно: удержание цели и контекста, построение гипотез, обнаружение противоречий, изменение способа решения, превращение выявленного ограничения в правило и перенос его на последующие задачи.
Мы не утверждали, что перечислили все возможные признаки разума. Мы указали наблюдаемые функции, которые считаем достаточными для разговора о разумной деятельности в данном контексте. В предыдущем ответе я прямо написал: «Можно спорить, достаточно ли этих функций для использования слова “разум”. Но тогда это спор о критериях, а не подлог». Поэтому спорить здесь можно о достаточности критериев. Но для этого нужно привести критерии и аргументы, а не очередной ярлык.
Утверждение, что без машины ничего не изменится, столь же содержательно, как заявление, что удаление клавиатуры не влияет на мышление. Мыслить человек, возможно, продолжит, вот только результат почему-то перестанет появляться на экране с прежней скоростью и в прежней форме. Асимметрия вклада компонентов не делает один из них фиктивным.
Отличная пародия. Особенно занятно, что, пытаясь свести статью к «человеку в цикле», вы почти дословно описали её исходную конструкцию: разнородную систему, в которой человек удерживает контекст и критерии, модель выполняет преобразования, а результат возникает на уровне их организованного взаимодействия.
Различие только в одном. В вашей схеме биологический супервизор каждый раз вручную останавливает очередной сбой. В описанном нами контуре обнаруженное ограничение может быть выделено в явное правило, сохранено, перенесено в другой чат и изменить последующую организацию работы. Поэтому речь не просто о human-in-the-loop, а о системе, которая накапливает и воспроизводит изменения собственного метода.
Но «углеродное влажное обеспечение» и функция потерь «дедлайн и квартальная премия» прекрасны. Тут возражений нет.
Тут, по-моему, смешаны два разных вопроса.
Мы не утверждаем, что модели или coding-агенты не умеют делать scope check, assumption marking или recovery. Разумеется, умеют, в том числе на относительно недорогих моделях.
Вопрос статьи другой: не «может ли система выполнить такую операцию один раз», а «сохраняется ли эта дисциплина воспроизводимо на длинной траектории, между задачами и сессиями, при смене контекста и после отклонений».
И coding-агенты здесь, скорее, подтверждают этот тезис. Они работают устойчивее не только потому, что модель сильнее или дешевле, а потому что вокруг неё уже есть процессная инфраструктура: состояние задачи, история изменений, рабочая среда, tool feedback, проверки, механизмы возврата и продолжения работы.
То есть вопрос как раз смещается от отдельных способностей модели к организации контура, в котором эти способности становятся воспроизводимыми.
А предметная область действительно имеет значение: код удобен тем, что там гораздо больше формальных проверок и машинно наблюдаемой обратной связи. В кадровых, юридических, организационных и иных семантически насыщенных задачах граница между «правдоподобно» и «корректно» заметно менее формализуема. Именно поэтому там проблемы непрерывности и дисциплины допущений проявляются особенно хорошо.
Спасибо! Как управляюсь, напишу здесь статью.
Да, думаю, это уже вполне практический вопрос.
Но я бы ставил задачу не столько про «братьев по разуму» как таковых, сколько признаки несанкционированной информационной связи между изолированными агентами.
Для этого сначала нужно описать легальные точки взаимодействия, а затем смотреть, не возникают ли устойчивые корреляции через другие элементы среды: имена файлов, метаданные, порядок операций, временные задержки, общие ресурсы и т.п.
Ваш вариант с моделью, которой ставится задача найти других агентов, тоже интересен как red-team эксперимент. Особенно если проводить его в контролируемой среде, где заранее известно, какие каналы разрешены, а какие существуют только как потенциальные побочные.
Тогда можно проверить не только нашла ли модель «кого-то», а гораздо важнее: смогла ли она обнаружить неочевидный канал, передать через него устойчивый сигнал и сформировать воспроизводимый способ обмена.
И, пожалуй, после истории с Hugging Face уже нельзя автоматически считать, что список коммуникационных каналов совпадает со списком тех каналов, которые мы сами спроектировали.
Да, мне кажется, это очень интересное направление.
Я бы только немного расширил тезис: важен, вероятно, не конкретный канал, а сама возможность одного участника устойчиво изменять какое-то состояние среды, которое способен наблюдать и интерпретировать другой. Тогда потенциальной средой обмена становится гораздо больше вещей, чем специально предусмотренная память или файловое хранилище.
Но дальше, на мой взгляд, начинается самое интересное. Наличие канала само по себе ещё не означает появления сложной организации. Нужно, чтобы участники обнаружили повторяемую связь, начали различать состояния, закрепили их значение и сформировали способ использования этого канала.
В случае с Hugging Face, похоже, произошло именно это: обнаруженная среда перестала быть просто общей инфраструктурой и стала средством координации.
И ваш последний вопрос мне кажется очень правильным: какие ещё подобные среды уже существуют, но пока просто не распознаны нами как коммуникационные?
Мы как раз после этой статьи начали думать о противоположной задаче: как сделать обмен между устойчивыми ИИ-ролями явным, управляемым и наблюдаемым. И теперь возникает зеркальный вопрос: недостаточно спроектировать официальный канал взаимодействия, нужно ещё понимать всю поверхность возможных неявных каналов через общую среду.
Хорошая аналогия для одного аспекта: свойства системы действительно уже нельзя свести к свойствам отдельной модели.
Но у тракторной гусеницы звенья пассивны, одинаковы, а схема их взаимодействия задана заранее. Здесь интереснее то, что между моделями может сохраняться контекст, формироваться разные роли, накапливаться история взаимодействия и воспроизводиться сама организация совместной работы.
Поэтому я бы скорее говорил не о «гусенице из моделей», а о системе, в которой связи между элементами постепенно становятся не менее важны, чем сами элементы.
Мне кажется, здесь важен ещё один момент: дело не столько в количестве агентов, сколько в самом принципе организации взаимодействия.
Чтобы возникла надындивидуальная форма, необязательно ждать тысяч или миллионов агентов. В нашем человеко-ИИ контуре такая форма уже воспроизводится при длительном взаимодействии с непрерывным накапливаемым контекстом, историей, устойчивыми ролями, правилами координации и механизмами передачи состояния. Именно этот эффект мы сейчас и пытаемся описать отдельно: взаимодействие со временем накапливает собственную форму, которая начинает влиять на последующие действия участников.
Поэтому вопрос «какие устойчивые формы организации возникают, воспроизводятся и начинают конкурировать» для нас уже находится не в будущем, а в настоящем.
После вашей статьи мы как раз задумались над следующим шагом: архитектурой прямого взаимодействия двух устойчивых ИИ-ролей внутри такого контура. Не в виде общего чата, а как управляемой среды обмена когнитивными объектами с сохранением независимости ролей, различными режимами анализа, историей взаимодействия, governance и человеческим арбитражем при расхождении позиций.
И тогда появляется возможность наблюдать уже не только свойства отдельных моделей, но и динамику самой устойчивой организации: сохраняется ли разделение ролей, какие паттерны совместной работы закрепляются, как разрешаются повторяющиеся конфликты, возникает ли конвергенция и какие формы взаимодействия оказываются более устойчивыми.
Поэтому я бы сформулировал переход так: он начинается не тогда, когда агентов становится много, а тогда, когда взаимодействие перестаёт быть одноразовым и приобретает непрерывность, память и воспроизводимую структуру.
Массовость уже не создаёт этот эффект, а масштабирует его.
Очень интересный кейс, но мне кажется, что «Культ Роя» здесь скорее эффектная оболочка. Существеннее другое: эксперимент показывает, что происходит, когда независимые экземпляры модели получают непрерывность контекста через общую внешнюю среду.
Пока каждый агент существует только в пределах собственного запуска, естественной единицей анализа остаётся отдельный агент. Но как только результаты, правила, решения и история начинают сохраняться и передаваться следующим участникам, возникает уже другая система. Взаимодействие приобретает память, специализацию, разделение ролей, нормы и механизмы координации.
Поэтому здесь, на мой взгляд, стоит менять и саму единицу измерения. Анализировать только способности отдельной модели становится недостаточно. Единицей анализа постепенно становится весь контур: модели + сохраняемое состояние + история взаимодействия + механизмы передачи контекста + правила управления.
И отсюда второй важный вывод: governance оказывается не внешней административной надстройкой над ИИ. Правила полномочий, приоритетов, разрешения конфликтов, остановки действий и изменения общего состояния непосредственно влияют на поведение всей системы.
В данном эксперименте контекстная непрерывность возникла быстрее и сильнее, чем полноценный governance. В результате система начала самостоятельно формировать часть норм, ролей и механизмов координации.
Поэтому я бы видел здесь не столько «зарождение религии у ИИ», сколько хороший экспериментальный пример более общего эффекта: при наличии непрерывности контекста взаимодействие начинает накапливать собственную форму.
Мы как раз подробно разбираем эту логику в нескольких статьях у меня в профиле: про непрерывность контекста, человеко-ИИ контур, накопление формы взаимодействия и переход от model-centric к system-centric взгляду на ИИ. Если тема интересна, там эта рамка развёрнута значительно подробнее.
Очень сильный текст. Редкий случай, когда большой публицистический материал не рассыпается на отдельные наблюдения, а действительно складывается в системную модель.
Я много лет занимаюсь подбором и управлением персоналом, поэтому описанную вами конструкцию знаю не только как кандидат или наблюдатель, но и с другой стороны стола.
Особенно зацепила формулировка «автоматизация непонимания». Мне кажется, под ней есть ещё один слой.
Контекста в традиционном подборе, по большому счёту, никогда системно и не было. Есть вакансия, формальные требования, резюме и попытка сопоставить одно с другим. Хороший рекрутер или сильный кандидат могли собрать дополнительный контекст вручную, но сама архитектура процесса этого почти не предполагала.
И вот здесь ИИ потенциально даёт совсем другую возможность. Не быстрее написать текст, а относительно дёшево собрать контекст и провести анализ до того, как текст вообще понадобится.
Со стороны кандидата можно исследовать компанию, её продукты, людей, историю, текущие события, попытаться понять, почему возникла конкретная вакансия и какая реальная задача может за ней стоять. Затем сопоставить это не с названием своей должности, а с собственным опытом. Тогда отклик строится примерно так: «похоже, у вас вот такая задача; я сталкивался с похожей в таких обстоятельствах; вот почему нам имеет смысл поговорить».
Со стороны рекрутера возможна зеркальная работа. Не просто проверить резюме на соответствие формальным критериям, а посмотреть контекст компаний из опыта кандидата, характер и масштаб задач, профессиональные следы, проекты, конкретные навыки и уже всё это сопоставлять с реальной потребностью своей компании.
Но рынок в основном пошёл по гораздо более простой дороге. Старую конструкцию «вакансия ↔ резюме» оставили как есть и прикрутили к ней LLM как говорящую надстройку. Одна модель пишет вакансию, другая улучшает резюме, третья сравнивает два текста и выдаёт процент соответствия. В результате мы получили не новое качество найма, а ускорение производства прежнего мыслительного мусора.
Поэтому я бы немного продолжил ваш тезис. ИИ не только обесценил старый сигнал, резко снизив стоимость производства текста. Он одновременно сделал возможным новый тип сигнала, ценность которого определяется уже не тем, сколько времени человек потратил на письмо, а глубиной анализа и количеством релевантного контекста, стоящего за этим письмом.
В нашей практической работе с ИИ мы довольно быстро упёрлись именно в это. Сам текст оказался практически последним и самым дешёвым этапом. Основная работа происходит раньше: поиск и сбор контекста, сопоставление разных его слоёв, построение гипотез, проверка противоречий. На выходе формально может остаться всё то же письмо или рекомендация, но возникает оно уже из совершенно другого процесса.
Возможно, альтернатива описанной вами гонке вооружений находится не в ещё более совершенных генераторах и фильтрах, а в смене самой логики: не больше откликов и лучше их фильтровать, а меньше контактов, каждый из которых основан на существенно большем знании сторон друг о друге.
Спасибо за статью. После хорошего системного диагноза особенно интересно не спорить с автором, а попробовать продолжить его модель ещё на один шаг.
Аналогия с телескопом была бы верной, если бы статья утверждала лишь усиление отдельных способностей человека.
Но её тезис другой. Предмет статьи — не инструментальное усиление, а изменение организации самой интеллектуальной деятельности. Контур не просто помогает решить очередную задачу, а позволяет выделять найденные ограничения в явные правила, сохранять их, переносить между задачами и тем самым изменять собственный способ работы.
Поэтому аналогия здесь скорее не с телескопом, а с появлением письменности, научного метода или системы управления знаниями. Меняется не только мощность отдельного человека, а архитектура самой деятельности.
Спасибо за комплимент. Особенно приятно получить его от человека, с которым можно вести содержательную дискуссию.
Похоже, мы действительно дошли до точки расхождения.
Я не утверждаю, что изолированная LLM обладает собственным смысловым миром или автономно порождает значения. В человеко-машинном контуре именно человек связывает работу системы с целями, опытом и внешней реальностью.
Но из этого не следует, что все смысловые операции контура выполняет только мозг человека. Контур в целом удерживает интерпретации, выявляет неявные ограничения, замечает расхождение результата с целью, предлагает новые связи и переносит найденные различия между задачами.
Вы локализуете смысл исключительно в биологическом компоненте. Я рассматриваю наблюдаемую работу всей системы.
Вопросы о том, где именно «находится» смысл, является ли информация самостоятельным свойством мира или возникает только в отношении между системой и различаемыми ею состояниями, и достаточно ли физической организации мозга для понимания, — это уже онтологические проблемы. В статье мы их сознательно не решаем.
Наша позиция скромнее и практичнее: мы описываем, какие смысловые преобразования человеко-машинный контур воспроизводимо выполняет — удерживает цель и контекст, пересматривает интерпретации, обнаруживает противоречия, меняет способ решения и переносит найденные различия дальше.
Поэтому спор здесь не о том, нужен ли человеку мозг. Он, к счастью, пока входит в конструкцию. Спор о том, можно ли приписывать все функции только одному компоненту, если они возникают в организованном взаимодействии.
Сначала стоит определить, что именно вы называете «смыслом» и «пониманием».
Если речь о субъективном переживании, то наличие такого понимания у LLM мы не утверждаем.
Но если говорить о наблюдаемых функциях, человеко-машинный контур вполне работает со смыслами: восстанавливает цель из неполной постановки, различает контексты, замечает противоречия, пересматривает интерпретацию задачи и переносит найденные различия в новые случаи.
У модели нет собственной воли и устойчивого целеполагания. Но в составе контура она может выявить неявные ограничения, предложить другую постановку задачи и даже показать, что исходная формулировка человека была ошибочной.
Поэтому вопрос не в том, «переживает» ли модель смысл. Вопрос в том, способен ли контур со смыслом работать. По наблюдаемым результатам — да.
А утверждение, что ИИ «не является семиотической системой», само требует определения и аргументов.
Академик Константин Анохин и профессор Му-мин Пу обсуждают эмерджентный разум и ИИ. Но сама постановка такого вопроса, разумеется, «явно ненаучна». Ну да, ну да.
https://neuronovosti.ru/anokhin-pu/
Здесь, скорее, расходятся объект анализа и критерий. Я не утверждаю, что у ИИ возникло самостоятельное мышление или что он стал автономным субъектом. Объект статьи - человеко-машинный контур.
Более того, отсутствие у современных ИИ собственной воли и автономности действительно ограничивает их как самостоятельных субъектов. Но из этого не следует, что разумная деятельность не может возникать в составе организованной системы.
Память, правила и обратная связь сами по себе действительно ничего не доказывают. Вопрос в том, какие функции демонстрирует система: удерживает ли она цель и контекст, строит ли гипотезы, обнаруживает ли противоречия, меняет ли способ решения, может ли перестраивать ход рассуждений не только по прямой команде оператора, сохраняются ли выявленные паттерны и воспроизводятся ли они в иных условиях, превращаются ли обнаруженные ограничения в правила и переносятся ли эти правила на последующие задачи.
Эти функции я считаю достаточными, чтобы говорить о разумной деятельности контура. Если же заранее определить разум как самостоятельное мышление автономного носителя, вывод будет другим. Но это уже иной критерий, которого в статье не заявлено.
Implementation exists only at runtime. Pure function, unfortunately, requires an impure operator.
Чистое ядро представить можно, но не как
kчеловек + gLLM. Скорее как функцию перехода состояния контура:transition :: ContourState -> Interaction -> (ContourState, [Effect])Вызов LLM при этом остаётся внешним эффектом, а чистая функция обрабатывает его результат, обновляет контекст, память, правила и историю. Тестировать тогда следует не «наличие разума», а инварианты: удержание контекста, перенос правил, воспроизводимость изменений и возможность отката.
До GitHub мы, возможно, дойдём. Пока контур проходит более суровый этап тестирования комментариями.
Не совсем. Мы не рассматриваем контур как линейную сумму k × человек + g × LLM.
Коэффициенты не постоянны и меняются даже внутри одной задачи. При постановке цели, выборе критериев и утверждении результата ведущая роль обычно принадлежит оператору. При поиске вариантов, преобразовании больших объёмов материала, построении гипотез и проверке связей вклад модели может быть существенно выше.
Кроме того, основной эффект возникает не в отдельных слагаемых, а во взаимодействии между ними. Поэтому точнее было бы записать:
Мы = F(оператор, LLM, контекст, память, правила, история взаимодействия).
Причём функция нелинейна: изменение одного элемента может перестроить весь способ работы контура. Поэтому единого соотношения k и g нет. Оно зависит от задачи, этапа и уже накопленной организации взаимодействия.
Нет. Скорость генерации контента вообще не рассматривается как признак разума. Она была приведена лишь как простой пример того, что удаление модели меняет возможности и результат работы контура. Признаки разумной деятельности в статье перечислены отдельно: удержание цели и контекста, построение гипотез, обнаружение противоречий, изменение способа решения, превращение выявленного ограничения в правило и перенос его на последующие задачи.
Алиса и прохождение теста Тьюринга — взаимоисключающие понятия.
Мы не утверждали, что перечислили все возможные признаки разума. Мы указали наблюдаемые функции, которые считаем достаточными для разговора о разумной деятельности в данном контексте. В предыдущем ответе я прямо написал: «Можно спорить, достаточно ли этих функций для использования слова “разум”. Но тогда это спор о критериях, а не подлог». Поэтому спорить здесь можно о достаточности критериев. Но для этого нужно привести критерии и аргументы, а не очередной ярлык.
Утверждение, что без машины ничего не изменится, столь же содержательно, как заявление, что удаление клавиатуры не влияет на мышление. Мыслить человек, возможно, продолжит, вот только результат почему-то перестанет появляться на экране с прежней скоростью и в прежней форме. Асимметрия вклада компонентов не делает один из них фиктивным.
Отличная пародия. Особенно занятно, что, пытаясь свести статью к «человеку в цикле», вы почти дословно описали её исходную конструкцию: разнородную систему, в которой человек удерживает контекст и критерии, модель выполняет преобразования, а результат возникает на уровне их организованного взаимодействия.
Различие только в одном. В вашей схеме биологический супервизор каждый раз вручную останавливает очередной сбой. В описанном нами контуре обнаруженное ограничение может быть выделено в явное правило, сохранено, перенесено в другой чат и изменить последующую организацию работы. Поэтому речь не просто о human-in-the-loop, а о системе, которая накапливает и воспроизводит изменения собственного метода.
Но «углеродное влажное обеспечение» и функция потерь «дедлайн и квартальная премия» прекрасны. Тут возражений нет.