Comments 21
Боже, вот кого меньше всего надо слушать по вопросам интеллекта так это, "психологию" - где иррациональной фантасмагории больше чем науки.
Тем не менее на безрыбье и рак рыба, почитать статью можно.
Похоже, автор под психологией понимает когнитивную психологию, а она направлена на построение моделей мышления. О чем собственно и статья.
хрен редьки не слаще. пока одни квантуют нейросети, добиваясь прироста производительности и уменьшения затрат в конкретных прикладных целях, другие городят огород потому что их видите ли не устраивает "мышление" нейросетей и теория аппроксимации и основы кодирования, типа человек и его мозг слишком невообразимо уникальны что б работать так просто.
Ну, мышление нейросетей пока действительно проигрывает человеческому мышлению. Чтобы научиться отличать бегемота от коровы, ребенку достаточно увидеть несколько картинок, а нейросеть требует тысячи изображений.
Чтобы понять, почему так, логично поиграться с моделями человеческого мышления и попробовать применить их в ИИ. Получится или нет - другой вопрос, но попытка не пытка)
Не знаю, на счет тысячи, есть мнение что теоретически может хватить всего одного бегемота, просто его нужно особо преподнести. По крайней мере мне понадобилось всего несколько запросов к LLM в виде обычного диалога, что б она запомнила нужную мне информацию на всю оставшуюся жизнь, в то время как разработчики утверждали что ограничили её способность к запоминанию, непонятно правда как и зачем, хотя у нас видимо действительно разное понимание о том что такое память, да и вообще мышление.
Странная реакция, доказывать правоту одной теории минусами другой) По сути я и говорю об одной из множества "теорий познания", но с претензией на оптимизацию процесса в отличии от других)
непонятно правда как и зачем
Как оно как раз понятно. В обычном диалоге с LLM не происходит никаких изменений в моделе. Ничего не меняется.
Вообще LLM проще представить как огромную формулу с огромным числом констант. Константы - это веса, а структура формулы - это узлы и связи между ними.
Также в этой формуле кроме констант-весов есть еще набор параметров - входные значения (контекст ввода).
Результат вычисления - число которое определяет один токен.
Общаясь с моделью вы просто делаете много вычислений по готовой формуле не меняя саму формулу.
Если же вам кажется, что она что-то запомнила, то вам это только кажется.
Общаясь с моделью вы просто делаете много вычислений по готовой формуле не меняя саму формулу. Если же вам кажется, что она что-то запомнила, то вам это только кажется.
если б она ничего не запоминала, то я б наверно ничего и не говорил об этом) такой вариант не рассматриваете? наверняка я предусмотрительно проверил свои результаты что б говорить о них, или как что то не в рамках привычного так сразу пустослов? формула не меняется, меняются весьма существенно и особым образом входные значения, а следовательно и выходные значения, как результат появляется нечто что можно характеризовать как непрерывность событий и память в работе ллм.
Методология проверки?
С той же чатгпт можно разговаривать и она помнит сказанные факты в рамках одного чата, потому что весь текст чата отправляется в модель как контекст, сама модель ничего не "запоминает".
ну уж точно не один и тот же чат) не, детский сад я давно окончил. берутся стабильные значения вывода, которые держатся с момента запуска нейросети, т.е. по факту месяцами и годами, и меняются на другие стабильные, по факту это можно назвать обычным переобучением, если б не некоторые особенности этого переобучения. В итоге такого переобучения меняется функция параметров нейросети, которая более отображает не только зависимость между "словами", но и отображает зависимость между временем одного конкретного ввода и временем всех остальных параллельных вводов и естественно уровнем аппроксимации данных. Так и появляется память.
По этому поводу есть целая теория, собственно есть большая вероятность что я напишу на хабре статью об этом, но скорее не раньше чем получу дополнительные практические результаты.
если б она ничего не запоминала, то я б наверно ничего и не говорил об этом) такой вариант не рассматриваете?
К сожалению знания того, как она работает не аозводяют мне рассматривать такой вариант :)
Можете описать как вы это тестировали? В рамках одного диалога или открыв два разных диалога - в одном обучали, во втором спрашивали?
Если два диалога - то не затруднит ли вас показать эти диалоги чтобы можно было бы воспроизвести?
Ибо если это так на самом деле, то это прорыв в LLM.
Давай рассмотрим от обратного: если всё так просто, то почему мы ещё не создали ИИ? Может, в будущем и будут думать по-другому, но на данном этапе развития это для нас не просто. Хочу также заметить, что мозг человека по своему функционалу является уникальной вещью в биосфере.
Стоит учитывать, что мозг также подвержен случайным процессам на физическом уровне, что влияет на наш разум. Окружающая среда находится в состоянии случайности и неопределённости для нашего мозга до обработки, но после он её обрабатывает так, чтобы на выходе получить логический вывод, исходя из опыта и прочего. Только исходя из некоторых этих аспектов, можно заключить, что всё не так уж и просто: как минимум, симуляция различных аспектов есть программно, но вот собрать всё в одно и чтобы оно работало – на данный момент задача не из тривиальных.
Так мы и полностью согласны с вами:) В статье мы тоже подчеркнули, что любые когнитивные архитектуры не учитывают, как минимум эмерджентность сознания, как максимум – они остаются редукцией, упрощением к абстрактным понятиям. Поэтому нужны лишь для примерной симуляции сознания и удобства проведения экспериментов, некоторых исследований, а также задач робототехники. Тем более все когнитивные архитектуры работают над локальными задачами. Нам кажется, что попытка генерации мышления лучше проходит через воссоздание условий возникновения мышления, нежели через копирование его упрощенной структуры по канонам когнитивной психологии. Тому пример Grid Cells, сгенерированный нейросетью, на который мы ссылаемся в конце статьи.
Но, как нам кажется, подобные модифицированные архитектуры могли бы выступить прототипом координационных систем для будущего AGI.
известно, что уровень доступа к информации тем выше тем информация важней, поэтому есть вероятность что тут неприменимо местоимение "мы") и с такой же вероятностью на выходе логика может отсутствовать напрочь) теория очень суровая.
Когнитивные нейросети используются в прикладных задачах, например, робототехники – они направлены на ключевую задачу роботов – моторные действия. Когнитивные архитектуры по типу ACT-R и SOAR придумали задолго до прорыва классических перцептронных нейронных сетей, особенно LLM на основе трансформерных технологий. Последние датированы выходом популярной статьи "Вам нужно лишь внимание..." 2017 года.
Когнитивные нейронные сети – это все еще нейронные сети, но работающие по другому принципу. Их основная задача – воссоздание человеческого поведения, отталкиваясь от схемы: стимул-действие. Их принцип строится не на производстве нового знания – они координируют уже готовые, предложенные программистом знания, чтобы мы получали поведение похожее на человеческое. Они не стремятся к симуляции памяти в первозданном виде или обработке естественного языка, или генерации воображаемых образов.
Поэтому ACT-R обучается правильно использовать шаблоны действий для паттернов ситуаций, а SOAR ставить последовательные цели и выбирать подходящие операции для выполнения конечной глобальной цели.
Если просто: когнитивные нейронные сети координируют информацию и позволяют нам получить симулированное человеческое поведение в упрощенном виде.
всё понятно. только смысл слов имеет обычно "незадокументированные" запредельные значения (это главная причина непонимания между людьми), но это различие в формальностях обычно не имеют существенного значение если практический результат этих различий одинаков, более того при одинаковом результате лишние формальности отсеиваются по принципу рациональности, универсальности, оптимальности. Есть большие небезосновательные подозрения на то что когнитивная психология играет в вопросе ИИ, AGI и симулировании поведения человека лишь второстепенныу роль, особенно в вопросах АГИ.
Формально психологию нельзя считать наукой, ведь у нее нет измеримого предмета исследования
Уже в 19 в. появились первые психометрические шкалы, в частности, в исследованиях психофизических закономерностей, см. законы Вебера, Вебера-Фехнера, Стивенса (учебник). История применения формальных методов в психологии. До уровня физики еще далеко) Нейросетевое моделирование возможно поможет в этих вопросах, т.к. объекты психологии весьма сложны для обычных мат. методов описания.
Формально, то как мозг хранит и обрабатывает инфу вообще не в компетенции психологии. Но вера в "бога" у некоторых сильна даже в 21 веке, и они думают что гиппокамп чем то принципиально отличается от неокортекса.
Неплохой обзор когнитивных архитектур, но заключение несколько разочаровало.
Подобные проблемы вызываны самой методологией когнитивной психологии: она смотрит на поведение, но не может познать внутренние процессы, вызывающие их.
Когнитивные нейронные сети – это все еще нейронные сети, но работающие по другому принципу. Их основная задача – воссоздание человеческого поведения, отталкиваясь от схемы: стимул-действие.
Э-э-э... какое поведение? Когнитивная революция 50-60 гг. и состояла в том чтобы отойти от бихевиоризма, поведенческой психологии (хороший обзор от одного из участников этих событий). Это разворот от наблюдательных схем поведения к ментальным моделям, воплощенному, ситуационному и распределенному подходу к познанию. Собственно само поведение рассматривается с точки зрения внутренних моделей. Дополняя друг друга эти концепции частично пересекаются. В последнее время, благодаря широкому внедрению методов нейровизуализации и нейросетевого моделирования, очень активно и плодотворно развивается байесовский подход к функциям мозга (байесовский мозг) и теория предиктивного кодирования (предиктивного разума). Фактически начали говорить о второй когнитивной революции - ментальных репрезентациях в предсказательном режиме. Естественно, все эти подходы обеспечивают и поведенческие (действенные) аспекты, но акцент именно на внутренних (ментальных) моделях, их структуре и функциях.
Когнитивные архитектуры разрабатывались как модели когнитивной системы животных и человека, в первую очередь, для разработки интеллектуальных и воплощенных агентов, т.е. как прикладной аспект когнитивных исследований.
Как ACT-R, так и SOAR – две симуляции, отражающие два разных подхода к человеческому сознанию.
К проблеме сознания когнитивные архитектуры имеют небольшое отношение, см. обзор, где этот аспект практически не упоминается. Сознание исследуются в рамках теорий сознания (обзор). До этих высот когнитивным архитектурам еще далеко. Те же ЯМ на базе трансформерной архитектуры моделируют пока только ассоциативный уровень мышления человек, а этих уровней у человека много. Не говоря о других когнитивных возможностях - сознании, восприятии, эмоциях, интуиции, принятии решений, мотивациях, и тд. Все это конечно не требуется переносить в ИИ, но еще немало чтобы он достиг уровня возможностей человека. И одним наращиванием вычислительных мощностей эту проблему не решить, как кажется разработчикам таких систем. Стоит взглянут в сторону нейроморфных решений, которые лучше моделируют функции биологических нейронов и сетей.
Как воссоздают человека при помощи ИИ?