Я хочу поделиться с вами одним случаем из своего детства. Но это не просто история. Это хорошая иллюстрация принципа обучения, который есть у человека и которого пока нет даже у самых передовых ИИ‑моделей.
Речь не о том, что ИИ не учится на ошибках, современные модели минимизируют функцию потерь, используют обучение с подкреплением и корректируют параметры. Но для ИИ ошибка — это сигнал исправить ее, а для человека ошибка значит большее, он может с ней не согласится и продолжать настаивать на своем, извлечь какой‑нибудь урок, который вообще может быть с ней не связан, изменить собственное поведение, несмотря на ошибку, или даже получить совсем неожиданный опыт.
Миллиард, которого «не существовало»
В детском саду у нас в группе был мальчик из семьи математиков. Он постоянно хвастался перед другими детьми какими‑нибудь интересными фактами, непонятными для нас, поэтому очень интересными. Однажды он заявил, что существует такое число «миллиард», но другие дети такой цифры не знали. У нас с ним завязался спор, не помню почему, может быть из вредности, мне хотелось доказать, что он врёт. Интернета тогда не было. Воспитателей рядом тоже не оказалось и группа детей разделилась пополам, даже игры забросили. Часть была за него, часть за меня. И в какой‑то момент я неожиданно для самой себя сказала то, на что он не смог возразить. Я сказала:
Докажи, что он существует, досчитай до миллиарда.
К его чести он очень старался, но мы в то время сами толком не могли считать до 100 и когда он сбился, я с гордостью объявила всем детям, что он врет есть 100, 101, 102 и 103, а потом идет несчетное количество, потом бессчетное количество. Что такое несчетное количество, несметные богатства мы, дети, знали из сказок, а вот про цифру миллиард никто не слышал.
Через несколько дней родители мальчика, пришли в группу и объяснили нам всем, что миллиард действительно существует, просто мы еще маленькие и не знаем об этом. Видимо их сы пожаловался, что над ним смеются. Формально я проиграла спор и по логики ИИ должна была исправить свою ошибку. Но этого не произошло, потому что до того, как нам объяснили взрослые, что я была не права, произошли некоторые события, и после которых моя ошибка уже не могла на меня повлиять.
Как ошибка стала победой
Пока мы ещё не знали правильного ответа, роли в группе успели измениться. Дети начали относиться ко мне иначе. Сразу после спора за полдником один мальчик подвинул мне стул, а другой подарил любимую игрушку. Статус «самого умного ребёнка», который раньше принадлежал сыну математиков, неожиданно перешёл ко мне, я стала авторитетом для других детей.
Потом изменилось поведение воспитателей, хотя они даже не знали о самом споре, просто они ориентировались на динамику группы. И если дети начали воспринимать меня как лидера, взрослые постепенно стали давать мне более сложные задания и чаще обращаться именно ко мне.
Позже приходили новенькие, о споре уже никто не помнил, но мой новый статус передавался дальше, это было не на словах, но новенькие, как и воспитатели видели, к кому чаще подходят за советом. После этого случая я сама стала лучше учиться, хотя до этого мечтала стать музыкантом и не любила буквы и цифры.
Что произошло внутри системы
Если посмотреть на эту историю через призму работы мозга, получится любопытная картина. Сначала возникает угроза статусу девочки, она может проиграть в споре. Мальчик выглядит недостижимым авторитетом. Стресс усиливает внимание. Девочка готовится проиграть, дети ждут, что девочка проиграет. Потом происходит неожиданная развязка и вместо поражения — неожиданная победа. Такая ошибка прогноза проигрыша становится чрезвычайно значимым событием для девочки и для группы.
В упрощённой модели можно представить, что этот эпизод отличается изменением горманального фона у его участников, дофамин выделяет именно этот эпизод как особенный: реакцию группы, ощущение победы, ключевую фразу, растерянность проигравшего. Норадреналин усиливает внимание. Кортизол помогает закреплению опыта (но тут важно оговориться: это концептуальная модель, иллюстрирующая архитектурный принцип, а не попытка буквально реконструировать каждую нейрохимическую деталь произошедшего). И именно здесь появляется самое интересное.
Математически мальчик был прав и миллиард существует. Однако моя система обучения извлекла из этой ошибки совершенно другое знание. Не:
миллиард существует, значит я ошибалась
А:
я могу справляться со сложными интеллектуальными ситуациями и побеждать в споре более сильного противника
И тогда истина о миллиарде не имеет никакого значения (в отличии от ИИ). Это знание изменило не факт в памяти о миллиарде, ну существует и ладно, ребенку это не важно, оно изменило правило отбора будущего опыта. После этого случая я начала выбирать для себя более сложные задачи, больше рисковать, чаще проверять собственные идеи, а группа это поддержала. То есть изменился не просто ответ — изменилась политика обучения меня, как системы.
Почему это важно для ИИ
В современных ИИ ошибка обычно работает иначе. Она становится сигналом для изменения параметров внутри заранее заданной архитектуры обучения. Даже самые продвинутые методы обучения с подкреплением, meta‑learning или RLHF работают внутри пространства целей, которое определяет разработчик.
ИИ используют разные формы обратной связи: функцию потерь (loss), вознаграждение и ошибку предсказания вознаграждения (reward prediction error) в обучении с подкреплением (RL), а также человеческие оценки (RLHF). Но все эти сигналы все равно работают в рамках одной и той же схемы числовой оптимизации.
Что это означает? ИИ будет поступать с ошибкой каждый раз одинаково. Понятие «вознаграждение» (reward) для ИИ функционально эквивалентно «отрицательной потере» (negative loss). По сути — это входной сигнал для того же алгоритма градиентного спуска, который стремится максимизировать этот сигнал. Поэтому ИИ не испытывает качественного перехода в состояние «удовлетворения», как было у меня, ошибка изменяет параметры ИИ, чтобы в следующий раз дать правильный ответ, но не становится новым правилом обучения и не меняет критерии того, какой опыт следует искать дальше.
История с «несуществующим» миллиардом показывает другой тип обучения, который свойственне человеку. Ошибка изменила не только результат, она изменила критерии того, какие ситуации считать значимыми, какие задачи выбирать дальше и каким человеком себя считать.
Именно поэтому я считаю, что между сегодняшними ИИ и человеческим обучением остаётся фундаментальное различие.
Обучение у человека происходит в открытом социальном контуре. Внутренний сдвиг закрепился потому, что его признала группа и позже — воспитатели. Социальная среда стала фактором, поддержавшим ошибку и она, подкрепленная эмоциями, изменила статус девочки в группе, новый статус изменил внутреннюю уверенность с собственных силах, который уже потом поменял распределение задач, а более сложные задачи усилили обучение и поменяли поведение. У человека обучение происходит не в замкнутой модели, а в сети взаимодействующих агентов, которые могут переопределить исход ошибки.
Статус — это не только внутренняя уверенность, но и перерасчёт «весов» во всей группе. Другие дети тоже перестраивают свою модель и правило «Он — самый умный», изменилось «Она его победила в споре, значит, она умнее» и не важно, что она ошиблась и это не так с точки зрения логики. Спор проходил на уровне эмоций, а не интеллектуальных способностей.
Таким образом, в ИИ есть положительная обратная связь, но это по сути «математическое поощрение» в рамках единого контура оптимизации. У человека же существует отдельный, телесно укоренённый контур благополучия, который может конкурировать с чистой логикой минимизации риска и ошибки и даже им противоречить.
Без такого явного внутреннего драйва система будет эффективно минимизировать ошибки в заданном режиме, но не станет «пробовать» то, что выходит за его пределы. Именно этой симметрии между штрафом и поощрением сегодня не хватает в архитектурах ИИ для перехода на новый уровень автономной регуляции. У человека такое поощрение является не просто «отсутствием штрафа», а качественно иным, самостоятельным вектором формирования поведения.
Когда позже приходит понимание, что математически прав был мальчик, оно уже не сопровождается ни стрессом, ни сильным дофаминовым или кортизоловым усилением. Оно попадает в систему как «абстрактная истина», а не как ключевой опыт. На уровне системы это просто новая запись в базе фактов, но не повод переписать новое правило: «эта девочка может победить в споре и быть авторитетом для других».
То есть в терминах ИИ здесь происходит не просто «обновление весов», а обновление политики обучения (learning policy). Спор изменил правила, по которому группа и девочка теперь выбирают, к каким ситуациям подключаться, какие задачи запрашивать и какие данные считать особенно ценными для обучения.
Почему свобода выбора невозможна без цены ошибки
При этом, даже если подобная симметрия будет реализована (в том числе случайно, по мере усложнения архитектур ИИ), важно учитывать ключевое отличие, для ИИ практически любая «ошибка» может быть исправлена следующей итерацией обучения и не несёт необратимых последствий. Иначе говоря, сбои не угрожают самому существованию системы, а служат лишь техническими сигналами для корректировки параметров. ИИ — вычислительно открытая, но термодинамически закрытая система и у него нет собственного метаболизма, потребности в АТФ или кислороде, нет воспаления, нет зависимости от группы, старения и смерти как финальных последствий накопленных «ошибок». «Штраф» для ИИ существует только как число в функции потерь, а не как реальная боль, болезнь или сокращение жизни.
Это выводит нас к фундаментальному вопросу об ответственности. Если мы наделяем систему всё большей степенью свободы, мы должны одновременно определять и меру её ответственности за последствия выбора.
В биологических системах свобода выбора прямо пропорциональна уровню ответственности: чем больше у системы доступных вариантов действия, тем шире спектр последствий, которые она вынуждена учитывать. И обратно пропорциональна степени детерминированности: чем жестче поведение предопределено (таксисами, инстинктами, безусловными рефлексами), тем меньше свободы и, как следствие, ответственности. Таким образом, свобода в живых системах — это не снятие ограничений, а способность учитывать больше альтернатив при неизбежном условии — за каждое принятое решение придется нести последствия.
В случае из моего детства ошибка не имела «цену», правду мы узнали уже после того, когда мой новый статус уже успел закрепиться, а эмоции утихли. Если бы родители мальчика были рядом или воспитатели сказали что он прав, я бы ее заплатила стыдом на телесном уровне и потерей уважения среди других детей и это привело к коррекции поведения. Я бы старалась вести себя тише и не влазить в споры. Поэтому я говорю, что для нас, людей ошибка это не просто проверка на соответствие фактам, это более сложное явление.
У ИИ нет «цены ошибки», поэтому ошибка не становится источником новых знаний как у человека
У человека, который систематически действует вразрез с биологическими или социальными принципами собственной регуляции — игнорируя телесные сигналы, эмоциональные состояния, устойчивые ценности и социальные нормы, почти неизбежно возникает соматический или социальный «штраф»: хронический стресс, психосоматические расстройства, обострение заболеваний, потеря работы, статуса, финансов. Тело и социум в прямом смысле взимают плату за выбор траекторий, которые не могут быть стабилизированы на уровне целостного организма и общества.
В современных ИИ наблюдается принципиально иная, дисгармоничная конфигурация: степень операционной свободы (доступ к действиям, ресурсам, принятию автономных решений и так далее) может расти, в то время как встроенного механизма «цены» ошибок и архитектуры ответственности на уровне самой системы не существует. Это создает структурный перекос. В биологии такая асимметрия либо быстро приводит к вымиранию, либо эволюционно не закрепляется. В социуме человек может потерять свой статус и даже лишиться свободы. В ИИ же такая операционная свобода становится вызовом безопасности по мере роста автономности систем (сценарии технологических апокалипсов из‑за ИИ, вышедшего из под контроля человека, очень любят в Голливуде).
Для разработчиков это сводится к простому, но жёсткому наблюдению: по мере наращивания агентности без явной архитектуры ответственности система продолжает оставаться чистым оптимизатором внешней целевой функции, хотя получает всё больший доступ к реальным действиям (финансы, инфраструктура, управление процессами). В этом случае значимая часть «цены ошибки» неизбежно оказывается во внешней среде — у пользователей, компаний и общества.
Ошибка для человека может открыть новый пласт знаний о мире, но человек несёт за неё ответственность через собственное тело и общество. Мы способны ошибаться, исправлять ошибки, а если исправить нельзя — нести их последствия. Именно поэтому в нашем мире ошибка может стать источником изменений. Человек способен менять правила собственной регуляции, расплачиваясь за последствия этих изменений.
Эта статья — один из фрагментов более широкой исследовательской программы «Теория времени и сознания» (ТВС), в которой я рассматриваю развитие человеческого сознания как последовательность переходов, возникающих при изменении правил собственной регуляции. В этой логике главным отличием человека от современных ИИ становится не способность исправлять ошибки, а способность превращать ошибку в источник новых правил обучения, которая должна быть уравновешена отрицательной обратной связью цены ошибки.