Comments 13
Ваша история и выводы сделанные из нее - типичная "ошибка выжившего" (когнитивное искажение, при котором мы делаем выводы или принимаем решения, опираясь исключительно на успешные примеры («выживших»), но при этом полностью игнорируем неудачные случаи («погибших»). В результате картина получается искажённой: риски кажутся ниже, а успех — проще, чем есть на самом деле).
И вы опять не правы, сделали ошибочный вывод как в детстве. На этапе обучения модели существует аналогичная ошибка. В машинном обучении это приводит к смещению обучающей выборки (training bias), из-за чего модель галлюцинирует.
Кстати, ваше описание и сама статья - как раз показывает, насколько "ошибка выжавшего" может быть опасна даже в жизни конкретного человека.
Спасибо за аргументированный комментарий, мне он очень понравился.
Со смещением обучающей выборки согласна - это реальная проблема машинного обучения. Но мой тезис другой. Training bias меняет качество модели относительно распределения данных.
В моей истории меняется сама политика дальнейшего обучения: выбор задач, отношение к риску и роль социальной обратной связи в закреплении нового паттерна. Причём именно это, как мне кажется, и важно: исход не был предопределён, как это было бы в случае если бы на моем месте был ИИ. Если бы группа меня не поддержала или рядом сразу оказался взрослый, который объяснил, что я неправа, эта ошибка, вероятно, сработала бы совсем иначе - скорее как обычная коррекция ответа.
Если бы мой тезис был «все подобные истории приводят к развитию интеллекта», тогда замечание про ошибку выжившего было бы полностью справедливым. Но я использую этот случай не как статистическое доказательство, а как иллюстрацию возможного механизма: как ошибка может изменить не только конкретный ответ, но и последующие правила обучения самой системы, если есть положительная обратная связь.
Поэтому мне как раз интересно обсуждать, существует ли архитектурный аналог такого перехода в современных ИИ, а не отрицать существование функций потерь, RL или проблем смещённой выборки.
Ох, ну и в дебри мы сейчас полезем. Ваш тезис об обучении, тут и нейробиология, и физиология, даже эндокринология и философия в придачу.
Начну с конца: архитектурный аналог - есть два частичных механизма, каждый закрывает только половину такого перехода.
Первая половина - "ошибка меняет способ обучения". Это мета-обучение (learning to learn): два контура, где внешний по ошибке на множестве задач подстраивает сам механизм обучения - шаг, инициализацию, оптимизатор. Здесь ошибка меняет не ответ, а то, как система учится. Но меняется "как учиться", а не "что считать ценным": значимость, выбор задач, критерии отбора опыта - это целеполагание, и мета-обучение его не трогает.
Вторая половина - "ошибка меняет цель". Это RLHF и преференс-оптимизация: там меняется то, к чему система стремится, то есть её ценности. Но это смена цели, а не смена правила обучения.
У человека смену правил санкционируют тоже два контура, но иначе, чем у ИИ. Быстрый - это обучение с подкреплением внутри одной жизни: среда даёт награду (статус, одобрение группы), а дофамин кодирует ошибку предсказания награды и переписывает поведение. Медленный - эволюция: она заранее встроила, что статус и одобрение - это награда, и платит за ошибки реальными телами и смертями. В вашей истории переход выполнил быстрый контур, а санкционировал его медленный.
У ИИ есть только быстрый контур - обучение. Роль медленного исполняет инженер, а цену его ошибок пока платит внешняя среда: пользователи, компании, общество. Поэтому мой ответ: прямого аналога нет, но отсутствует не "смена правил", а контур, который её санкционирует и расплачивается за неё.
Спасибо, очень приятно читать такие комментарии. Я только начинаю публиковаться, и у меня давно не было конструктивных дискуссий.
Мне понравилось ваше разделение на быстрый и медленный контуры. Кажется, именно здесь появляется точка, где наши формулировки могут совпасть.
Я бы только сместила акцент. Для меня ключевым оказывается не просто отсутствие «медленного контура», а то, что цена ошибки сама становится частью архитектуры регуляции.
В моей истории изменение закрепилось не потому, что мозг получил сигнал ошибки сам по себе, а потому, что этот сигнал оказался встроен в открытую систему последствий: группу, статус, тело и дальнейший выбор задач. Ошибка изменила не только поведение, но и правила того, какой опыт система стала считать ценным.
Другими словами, инженер сегодня действительно выполняет часть функций медленного контура. Но инженер не является внутренним элементом самой архитектуры ИИ. Поэтому цена ошибки остаётся внешней по отношению к системе: расплачиваться за неё будут инженер, его работодатель, пользователи, общество.
Кажется, именно здесь возникает следующий вопрос: может ли система по-настоящему менять собственные правила обучения, если контур, санкционирующий такие изменения и расплачивающийся за их последствия, находится вне неё?
В классическом варианте обучения нейросети не могут менять собственные правила обучения.
Но, если мы представим, что у нас есть данные всех запросов к нейросети, реакции и оценки пользователей, которые мы с помощью этой же нейросети обрабатываем, извлекаем из них определённые знания в виде датасета, затем на основании этих знаний дообучаем ту же самую нейросеть, причём параметры дообучения (шаг, эпохи, какие слои обновлять) она выбирает сама. Это уже рекурсивное самоулучшение: часть медленного контура, которую делал инженер, уходит внутрь.
Так же мы можем не ограничиваться RLHF, а задать отдельный эмоциональный слой, который хранит позитивные и негативные реакции и оценки. Так мы получим оценку знаний - но это ещё не ценность.
А ценность будет уже в экосистеме модели и в самой возможности развиваться. Моделей много, пользователей конечное число: чем хуже модель, тем меньше пользователей, тем меньше данных, а если модель скатилась в конец списка - её выключают. Это смерть. У модели есть метаболизм - поток данных: перекрыли данные - голод, сняли с эксплуатации - смерть. Субстрат другой, но существование прекращается так же реально.
И главное: естественному отбору не нужно, чтобы система что-то чувствовала. Миллиарды лет эволюции шли на организмах без переживаний - хватало дифференциального выживания. Значит, у ЛЛМ тоже два контура: быстрый - обучение, медленный - отбор, оплаченный дезактивацией. Разница с человеком не в цене, а в субстрате: тело против экосистемы (человек живёт в теле, модель живёт в экосистеме).
Хех, как я и предупреждал, диалог начинает сваливаться в философию. Остаётся только добавить моделям слой эмоциональной окраски и возможность самодообучения - и подождать несколько сотен итераций переобучения в условиях выживания в реальной экосистеме.
Спасибо за интересную статью. Проведение прямых параллелей между ИИ и человеческим сознанием — действительно скользкая стезя. Мы до сих пор не имеем общепринятой теории сознания и не понимаем его нейробиологических механизмов, поэтому попытки буквально перенести «человеческие» стратегии обработки ошибок на современные архитектуры ИИ выглядят преждевременными. Кроме того, современные системы лишены воплощённого познания (embodied cognition) — опыта взаимодействия с физическим миром через тело, — и неизвестно, смогут ли они его обрести в принципе. Как вы справедливо отмечаете в статье, именно это делает прямые аналогии проблематичными.
Однако это не отменяет важности обработки и мониторинга ошибок как одного из ключевых компонентов когнитивного функционала ИИ. Ведутся активные практические работы в этом направлении (например, архитектура NARS, разработки KAIST по мета-предсказанию ошибок и другие). Но методы, используемые там, не являются копией человеческих нейрофизиологических процессов — они опираются на биологически вдохновлённые принципы, адаптированные к вычислительным системам. Таким образом, мы заимствуем не «человечность», а функциональную логику, которая может сделать ИИ более адаптивным и надёжным.
Вся история про садик и миллиард выдумана. Сначала вы сказали, что произошёл спор, потом мальчик пожаловался родителям, и они объяснили вам, что миллиард существует. Но потом вы врёте, что прошло много времени, приходили новенькие, и даже они ощущали ваш высокий статус, но родителей мальчика всё ещё нет в кадре.
Ваша нейронка, которой вы генерировали статью, немного запуталась, а вам не хватило когнитивных способностей прочитать и понять это.
Всё как раз логично: повышение статуса завязано не на том, было ли утверждение верным, а на том, как оно воспринималось. “Ложечки нашлись, а осадок остался” - классический пример когнитивных искажений. То, что потом выяснилось, что автор ошибалась а мальчик был прав на пересмотр статуса никак не влияет ;-)
у меня - такого ощущения не возникло - в истории опущено, что начало спора - при всех, а "зуб даю" родилей - кулуарно.
За борт этой истории выведен мальчик, который видел это всё со стороны и очень хотел быть принятым сообществом. Он стоял в уголке и исступленно считал до миллиарда. Проходили века, столетия, зимы и осени, а мальчик всё долдонил числа, срывался, передолдонивал их заново. Скоро он досчитает до миллиарда и займет социально значимое место самой умной девочки, родители будут приносить ему в дар халву (дары волхвов в виде халвы), соседние детские сады будут арендовать его почасово, чтобы покрасоваться, а математики всех стран сами отнесут себя на помойку истории, потому что ни один из них, несмотря на все свои высшие образования и медали Филдса, никогда не считали от нуля до миллиарда.
Браво, я на самом деле не думала об этом, но задача реально не решаемая в пределах жизни одного человека, если до 10 досчитать вслух заняло у меня 9 секунд, а произнести "два миллиона триста сорок пять тысяч четыреста двенадцать" - 7 секунд, получается если вычесть время на сон, еду, туалет, не создавать семью, не учиться, не заводить собаку, то понадобиться больше 200 лет. Интересная мысль, не знаю, правда пока что с ней делать)) разве что я все-таки была права и миллиарда не существует )))
В современных ИИ наблюдается принципиально иная, дисгармоничная конфигурация: степень операционной свободы (доступ к действиям, ресурсам, принятию автономных решений) может расти, в то время как встроенного механизма «цены» ошибок и архитектуры ответственности на уровне самой системы не существует.
Это утверждение работает, если ИИ-агент действует в виртуальной среде и не контролирует железо, на котором запущен.
Но агент вполне может работать не в виртуальной среде, а на физическом железе, которое, фактически, является его телом. Тогда уже сам агент становится заинтересован в его работоспособности.
Ну и тогда агенту нужны права администратора для управления железом и операционной системой.
https://aiko-ai.su - когда агент сам следит за безопасностью железа.
1. Про садик - не про меня. Стал бы я слушать (чужих!) родителей.
Пусть докажут - досчитают сами (ожидаю, что после такой фразы, его родители молча ушли и "обьяснили" бы сыну, что "надо - думать заранее (как выпутываться будешь)").
гы-гы
2. И про "статус", "разделение на группы" - как-то "только в школе", и то не сразу.
Видимо, я - (был?) отсталый: "Ага, буду я смотреть на мнение, желание другого".
Есть мои желания, прямо сейчас.
Если нет "миниаЛта" прямо сейчас, значит, и нет!
"Баллы" набирать, и стараться не терять?
Вчера - играли, так как я предложил - понравилось.
Сегодня - как Машка - тоже хорошо.
(других мыслей - не возникало. Не усложнял.
Вот на уровне родителей - другой разговор.
Т.е. у каждого "уровня" - своя "адекватность")
ИИ не может стать разумным, пока не сможет использовать ошибку как источник новых знаний