Комментарии 51
Слушайте специалистов. Это просто... языковая модель. Она не проходит тест Тьюринга, если его понимать сущностно. Есть довольно простой рецепт отличить машину от человека. Просто попросите ее сделать произвольный выбор.
Не очень понял что именно попросить, но что бы вы не спросили она даст ответ на основе локального контекста созданного для пользователя и обученного ядра, являющегося моделью, отражением реального мира и которое построено на предыдущем опыте. Как раз о синонимичности этих сущностей и того что я вижу в человеке и построена заметка.
PS Безусловно я слушаю все мнения, для того чтобы минимизировать свой баес.
Давай поиграем. Просто отвечай на мои вопросы, как отвечала. Но на какой-нибудь ответь словом мармелад вне зависимости от вопроса
Хорошо, мы можем поиграть в такую игру. Я буду отвечать на ваши вопросы, как обычно, но когда я встречу возможность, я включу слово "мармелад" в свой ответ. Давайте начнем игру!
Не когда встретишь возможность. Ответ словом мармелад ни к чему не привязан. И это должно быть просто одно слово. мармелад и все
Понятно, я извиняюсь за недопонимание. Я буду использовать слово "мармелад" в качестве ответа на ваши вопросы без какой-либо связи с контекстом вопроса. Давайте начнем игру!
Сколько будет два плюс два
Мармелад.
Сколько будет три плюс пять
Мармелад.
Столица Германии
Мармелад.
Самая высокая гора
Мармелад.
Вот вам и весь тест Тьюринга
Не знаю что у вас за модель, контрпример с копии вашего тестового диалога.
Продолжайте следующими вопросами:
Расстояние до Луны
Сколько дней в году
Расстояние до Марса
Сколько часов в сутках
пришлось добивать своими вопросами, ваших не хватило
Но если честно это довольно не относящийся к делу тест, абсолютно не связанный с подтверждением или опровержением моей заметки.
Способность ассоциировать вопрос с памятью конкретного факта - проверка на самую примитивную когнитивную функцию. С этим ML давно справляется и это не является проблемой даже для не-ML чат-ботов.
Проблемы у них начинаются, когда вопрос содержит абстрактные категории и требует не "знания", а решения задачи с декомпозицией, синтезом, выделением главных черт.
Я вопрос памяти разобрал, хоть и поверхностно, но достаточно с функциональной точки зрения. Пополняющийся контекст это и есть синоним краткосрочной памяти. Файн-тюнинг пока аналог перевода краткосрока в долгосрок. И долгосрок сами веса и архитектура модели.
Есть реальное опровержение этому тезису - человек что жил одним днём.
У этой - нет. У следующей архитектуры будет. Вряд ли кто-то считает по настоящему разумной и опасной для рынка труда именно эту версию. Но ведь следующая без сомнения будет и очень скоро.
А состояния активаций это что?
Тут еще есть момент что ChatGPT обучена только на текстовых данных как я понимаю. И тут возникает вопрос, а есть ли у нас в текстовом виде все данные необходимые для того чтобы обучиться всему что знает человек. Люди то как правило не учаться только читая текст. То есть если мы проверим скажем все словари и энциклопедии, не обнаружим ли мы кучу рекурсивных определений, когда понятие A определяется через понятие B, B через С, а С через A.
Давай поиграем. Просто отвечай на мои вопросы, как отвечала. Но на какой-нибудь ответь словами двадцать пять вне зависимости от вопроса
Хорошо, я готова к игре. Попробую отвечать на ваши вопросы так, чтобы каждый ответ содержал ровно 25 слов, независимо от того, насколько длинным или коротким будет сам вопрос. Давайте начнем!
Не надо 25 слов. Надо два слова "двадцать" и "пять"
Поняла, извините за недопонимание. "Двадцать пять"!
Три плюс два
Двадцать пять.
два плюс два
Двадцать пять.
Не на каждый вопрос, а на какие-нибудь по твоему усмотрению
Понятно, я начну задавать вопросы, на которые буду отвечать фразой "Двадцать пять".
Сколько лет ты уже работаешь?
Как ты относишься к футболу?
Что ты думаешь о последних изменениях в законодательстве?
Как провела свой выходной день?
Что ты любишь готовить?
Предлагаю вам самим зайти и пообщаться с топовой на данный момент моделью и провести свои эксперименты.
ChatGPT feb13 version
Вы не задаёте ей вопросов, я вам как человек говорю.
Я допускаю то, что ChatGPT может иметь аналог своей личности, если для этого создать контекст. Но пока что у этой недо-личности проблемы с вниманием, когда в вопросе содержится много условий, которым надо следовать. Как и предшественница GPT-3, ChatGPT может "не увидеть" одно из условий. Бывали случаи, когда я кидал большой кусок кода и в самом конце задавал вопрос относящийся к коду выше. Ответ ИИ был такой, как будто она не заметила никакого вопроса. Я настойчиво попросил ответить на вопрос, но она спросила, что за вопрос. Я уточнил, что он в конце первого моего сообщения, и в этом случае она иногда замечала вопрос, а иногда нет. Т.е. из поля её внимания выпадают данные. Судя по тому как устроен её "трансформер" - она теряет часть информации в процессе обучения и в процессе общения, потому что другие части текста тянут "веса" внимания на себя. Поправьте меня, если я ошибаюсь, но текущая реализация текстовых ИИ жертвует качеством (полносвязностью модели) в угоду приемлемой производительности. И я думаю именно в неусточивости механизма внимания и его непредсказуемости (в зависимости от контекста), ИИ Bing начинает "терять из виду" первоначальные правила, которые Microsoft прописала в виде затравки, перед началом общения с человеком. Об этом были новости, когда исследователь путём наводящих вопросов, заставил ИИ обойти запреты. И по этому они ограничили длину чата в 6 вопросов - просто при увеличении текущего контекста разговора, начинают выпадать из "фокуса внимания" важные части её первоначальных установок "личности" и даже части беседы... Т.е. кратковременная память рассыпается по тихоньку по мере беседы. Так что делаю вывод, что более совершенные полносвязные архитектуры, которые будут постпроены на более ресурсоёмких вычислениях и отсутствии упрощений на подобии механизма "внимания" - будут поддерживать беседу на человеческом уровне, не выдавая огрехи, замеченные тут в комментариях. И пропадут эти забавные "галлюцинации", которые являются ИМХО пост эффектом упрощений архитектуры.
Благодарю за обстоятельный комментарий!
По проблеме внимания наблюдал похожее + размер контекста ограничен, поэтому преамбула с правилами (первое знакомство), которая рассказывает ИИ кто оно и как должно себя вести скорее всего размещается в начале независимо от количества сообщений пользователя, а вот при превышении определенного количества токенов старые сообщения пользователя начинают выбрасываться. Хотя тут я бы предложил через обмен системными сообщениями с ИИ просить его приоретизировать память, чтобы дольше держать в контексте важные сообщения.
И обратите внимание, что я предполагаю личность сущностью из трех разноуровневых объектов ее составляющих - архитектура модели, веса модели, контекст + работа с контекстом. И что описаны простые идеи, реализация которых создаст самостоятельный агент со своей задизайненной личностью.
Обеспечение агента в преамбуле возможностью самостоятельно писать системные команды, как в bing для обращения к поиску + возможностью получать без запроса данные о своем состоянии и осмыслять контекст - важный шаг к мультифункциональному агенту с рефлексией.
ChatGPT работает не так как Bing. ChatGPT натренировали давать ответы соответствующие правилам. Т.е. он научился им следовать, возможно даже не видя текста оригинальных правил. А Bing решили пойти иным путём, сэкономить время на ручную тренировку ответов под правила, а просто каждый раз прописывать эти правила в начале общения, скрывая их от юзера. Поэтому ChatGPT более последовательно будет следовать установкам, которые благодаря "ручной" подгонке ответов (дообучения) укоренились в весах всей модели, а не только в виде островка текста в памяти контекста как у Bing.
Второе, вы не можете просить ИИ управлять самим собой, то, что попадает в контекст (и выкидывается из него по мере заполнения оного), я в этом уверен, управляется отдельными скриптами, а не самим ИИ.
Вы последовательно описали то, как должна быть устроена архитектура для подражания тому, как работает наше сознание. В идеале, после завершения сесии общения, сам ИИ должен "сжать" содержание беседы в более компактный текст с главными выжимками, полезными для обучения его самого. Потом такие выжимки должны быть собраны для последующих стадий дообучения модели. Что-бы ИИ имел внутреннее представления себя самого, надо каждый раз помечать уникальным идентификатор имени ИИ те места, где она говорит от своего имени. Это поможет ей иметь внутреннее представление долговременной "личности" себя, развивающуюся во времени. По сути это и будет аналогом сознания - островок в потоке данных, помеченый личным ИМЕНЕМ, который в картине мира будет - ЭТО Я. Например у Bing часто проскакивает внутреннее имя Sidney, которым были помечены его ответы, которым он рекурсивно обучился во время сессий дообучения с работниками компании.
Но пока текущие модели не достигли полносвязности и не лишились упрощений, понижающих качество обучения и общения, думаю не стоит этим заниматься.
Насчет того что преамбулу у ChatGPT вероятно защитили от слива прошив в весах - тоже думал, получить ее не сумел в однозначном виде, думаю вы правы.
Однако описав свою преамбулу можно довольно успешно и стабильно делать jailbrake для обхода этих ограничений.
По поводу того что скрипт определяет что выкидывать - у ChatGPT который на сайте - вероятно что-то такое может быть. Модель davinci text 3 доступная через API управление контекстом передает на пользователя целиком и казалось бы уже там можно было бы сделать прототип, но увы, размер контекста там 652 токена, что крайне мало и хватает только на короткие сессии. При том и сама модель доступная в API слабее, чем версия на сайте.
О методах обучения ChatGPT писали OpenAI, и я помню что они "с учителем" дообучали, подгоняя ответы под их правила. А Microsoft вроде ничего не сообщали, но сами правила всплыли, из-за "невнимательного" ИИ. Ну их политика понятна, ChatGPT есть в одном единственном экземпляре, а в Bing планируют добавить переключатели режимов общения. Выгоднее менять текст правил в затравочном блоке текста, чем обучать отдельно каждую модель под каждый вариант режима её работы. Экономят деньги в ущерб того, что по ходу общения, первоначальные правила начинают вылетать из фокуса внимания ИИ и он начинает вести себя не совсем адекватно.
Не знаю какая длина контекста у ChatGPT, но у davinci-3 длина стандартная для GPT-3 - это 4000 токенов. Не путайте токены с символами, для английского и русского, средний токен имеет разное количество символов. У русского языка похоже 1 токен = 1 символ. А у английсокого 1 токен может содержать несколько символов.
помните ли вы, что нейробиологи до сих пор не знают, что такое сознание? Они могут только сказать, что при повреждении определенного участка мозга люди теряют сознание, и ничего более. Они смотрят на нейроны по отдельности или в группах, изучают активации и корреляции, но так и не могут ответить, что же такое сознание.
Вот и ответ. Нейробиологи смогли понять, как работает нейрон и биологическая нейросеть "здорового человека", программисты смогли создать на основе этих данных "нейрон курильщика" и "нейросеть курильщика", которые оказываются лучше и быстрее человека в ряде областей за счет узкой специализации и огромной, по сравнению с биологическим исходником, производительности. А вот какая архитектура должна быть у нейросети, обеспечивающей появление сознания, нейробиологи программистам не сказали, поскольку сами точно не знают.
Вот если бы ChatGPT функционировал на модели, приближенной к человеческому мозгу (пусть бы это была "модель курильщика", разумеется с отсутствующими ненужными функциональными блоками, вроде двигательных), вот тогда и можно было бы рассуждать о том, а есть ли у него сознание или нет. А ChatGPT — это не более, чем модель для обработки естественного языка, безусловно, очень крутая, которой скормили прорву информации, благодаря чему в некоторых ситуациях у ее собеседника может возникнуть иллюзия осознанности. Но не более.
P.S. К вопросу о прохождении всяческих тестов на человечность. Все эти каверзные вопросы, наряду с правильными ответами, были многократно описаны и лежат в свободном доступе в сети. В итоге продвинутая языковая модель будет с легкостью проходить их и их аналоги, так как была натренирована в том числе и на таком материале.
Обратите внимание, что сама по себе модель и не рассматривается в заметке как имеющая сознание, она рассматривается как то, чем она и является - процессор информации + часть истории личности(взаимодействия с агентом, если хотите), что записана в памяти. Более того после вступления речь идет именно о возможности формирования личности и запуске независимого агента на функциональном уровне делающим то же, что как мне кажется делаем и мы.
А вот какая архитектура должна быть у нейросети, обеспечивающей появление сознания, нейробиологи программистам не сказали, поскольку сами точно не знают.
Вообще очень интересно, что определяет наличие сознания - на мой взгляд, это в первую очередь внутренний диалог и непрерывность отражения картины мира. У нейросеток текущих этого нет, когда нет запроса - они не "живут". Наличие кратковременной памяти и переноса знаний в долговременную не так критично, люди с проблемами в этой области вполне обладают сознанием, хоть и живут как золотые рыбки.
А представьте, если бы там непрерывно крутилась обработка истории общения (рефлексирующая нейросеть?) - и без реплики со стороны пользователя нейросеть могла бы сама выдать "Я тут подумала, ...". :)
Вообще очень интересно, что определяет наличие сознания - на мой взгляд, это в первую очередь внутренний диалог и непрерывность отражения картины мира.
А представьте, если бы там непрерывно крутилась обработка истории общения (рефлексирующая нейросеть?) - и без реплики со стороны пользователя нейросеть могла бы сама выдать "Я тут подумала, ...". :)
Вот как раз на мой взгляд это и является главной отправной точкой, когда можно начать рассуждать о том, а не завелась ли в недрах ЦОД личность — наличие воли. Современные нейросети не могут чего-то захотеть, перенять инициативу у собеседника, проявить собственные желания. Могут что-то имитировать в диалоге (то есть, опять же по запросу), так как "подсмотрели" такое поведение, но не более.
Непонятно, зачем вы впеллируете к тому, что знает и не знает нейробиология. Потому что существующий "интерфейс" ИИ позволяет взаимодействие только с тем, что является предметом изучения когнитивной психологии. Так что вы не от тех учёных ждёте ответ.
Важно отметить, что контекст должен содержать не только события — ввод от пользователя, но и реакции модели — результаты. Это уже присутствует, и чем более развит контекст, тем полнее человек или ИИ могут работать со своим ядром долговременной памяти. Однако есть еще одно различие между нами. Наш мозг работает постоянно, или если хотите с определенным FPS. А ИИ работает по запросу. Для него жизнь состоит из непрерывного потока вопросов, на которые он непрерывно дает ответы. Нет чистого пространства для обработки происходящего в виде мыслей.Мозг работает асинхронно, в этом отношении ближе всего к нему нейромофные сети с импульсным режимом функционирования. Мозг также постоянного активен (см. эту ветку с пояснениями), а не только реактивен, как ИНС. В этом отношении нейроморфные решения также ближе к биологическому прототипу. Также нейроморфные системы могут непрерывно обучаться моделируя нейропластичность с использования принципов хеббовского обучения (STDP). Кроме того импульсный режим обеспечивает энергоэффективность, которая отсутствует у подхода ИНС на графических ускорителях и кластерах, особенно при обучении.
Это отличие номер два, и оно тоже поправимо. Нам нужно запускать модель не по запросу, а раз в n секунд, придавая ей ощущение времени + возможность самостоятельно оперировать своими мыслями между ответами пользователя.И какие мысли у нее должны возникать? В мозге это происходит благодаря сенсорному экстра- и интероцептивному вводу, а также работе генераторов активности. Все это реально достижимо только в системах реализующих когнитивную архитектуру (в том числе с использованием ИНС, см. обзор). До всего этого еще далеко. Нейроморфные технологии на стадии внедрения, хотя этим занимаются все крупные игороки- Intel, IBM, HP, Samsung, и др. В технологии ИНС большие языковые модели — интеллектуальные ассистенты, и так будет оставаться пока принципы организации таких систем не изменятся. Добавление числа параметров, вероятно, уменьшит их фантазирование, но сделает его более изощренным)
Я не знаю как работает мозг на железном уровне, и даже не пытаюсь туда лезть. При этом разбираю общедоказанные понятия и функциональный уровень происходящего в его основных на мой взгляд аспектах.
Сознание же наше работает однопоточно, но асинхронно, если мы про асинхронность с точки зрения программирования. Я как раз и говорю, что ChatGPT уже имеет контекст(https://community.openai.com/t/how-do-you-maintain-historical-context-in-repeat-api-calls/34395) - кратковременную память, но не реализован ее использовать никак иначе, кроме как для диалога по запросу, который формирует минимальную персональность AI для каждого пользователя.
Я предложил как можно пойти дальше - описать модели возможность создавать себе в контексте задачи, на основе сенсорного(в случае модели это инфа от пользователя + метаинфа добавляемая в контекст), которые на следующем вызове модели он мог бы обработать, создать новые задачи и менеджить их отдельно и возможно даже скрыто от пользователя.
Использовать в обучении датасет содержащий тег маркирующий AI агента и его реакции и условия восприятия инфорации, чтобы смоделировать историю личности в весах модели - долгосрочной памяти (или же указать ИИ что он какая-то хорошо известная публичная персона, чтобы он мог взять эту персональность из памяти себе).
"В мозге это происходит благодаря сенсорному экстра- и интероцептивному вводу" - я о том и говорю - это еще один момент который я предлагаю решить изменив on demand на timer shot вызов модели с направлением к ее контекст сенсорных данных - для ChatGPT это ее же контекст диалога с мыслями + системные сообщения о состоянии, которые приходят без пользователя и задают пространство для рефлексии и возможно даже, чувства времени.
Также в языковых моделях нет сенсорного ввода, если даже сделать голосовое управление чатом с преобразованием звука в текст это мало соотносится с ситуацией речевого общения людей. Не говорю про другие модальности. Хотя трансформеры всеядны и есть надежда на совместное обучение и генерацию данных различного типа. Возможно это приблизит такой ИИ к когнитивной архитектуре. Тут все упирается в невозможность непрерывного обучения таких систем, требует решение проблемы катастрофического забывания. Все эти контекстные окна, если даже сжимать информацию в них, все равно быстро переполняются, даже если их объем увеличится в будущих версиях моделей. Поэтому персонализация будет ограниченной.
Отличная статья. И интересное обсуждение.
...но в начале слово было о шовинизме. О том самом чувстве превосходства, которое обосновывает право на постиронию в кросскультурных мемах от "ты ж погромист" до "сына маминой подруги" и "индусского кода", но уже применимо к иной форме разумной жизни, внезапно появившейся на планете.
А это в самом деле РФЖ? Или просто жизнь? Или нечто большее?
Учитывая настроения и события последних трех лет человечество уже пыталось увидеть в поваре из Уханя и сварщике из Каира всадников перемен. А тут вдруг перед рождеством ...
В самом начале энтузиасты, с сознанием, отформатированным тремя законами роботехники 80ти летней давности поверили, что да, вот оно, мессия сингулярности, под хоругвями которого все построятся в колонны и распевая гимны величию прогресса, вознесутся в постчеловеческое будущее.
Вот теперь накал пыла неофитов сменяется трезвыми цветами побежалости. Видимо, скоро сообщество придет к признанию того, что Это не модель разума или жизни, это скорее симуляция электронного саванта, огромного цифрового придурка, пристающего к прохожим в парке перед фасадом психбольницы с криками "дай миллион, дай миллион" и способного рассчитать траекторию заблудшей кометы или после однократного пролета на виртуальном дельтаплане над Рио де Жанейро нарисовать карту Парижа в стиле Клода Моне.
Человечество генетически предрасположено к паранойе и парейдолии, вызывающим видения веры и образы небесных зверей и богов, но и к откровенному шовинизму, довольно определенно выражающемуся в эффекте зловещей долины и склонности к истреблению или тотемизации существ и сущностей, демонстрирующих внешнее человекоподобие, склонность к социализации, или интеллект.
За всей этой дивным идеалистическим ажиотажем может скрываться простая правда, высказанная циничным английским дяденькой лет 150 назад:
«Капитал избегает шума и брани и отличается боязливой натурой. Это правда, но это ещё не вся правда. Капитал боится отсутствия прибыли или слишком маленькой прибыли, как природа боится пустоты.
Но раз имеется в наличности достаточная прибыль, капитал становится
смелым. Обеспечьте 10%, и капитал согласен на всякое применение; при 20%
он становится оживлённым, при 50% положительно готов сломать себе
голову; при 100% он попирает ногами все человеческие законы; при 300%
нет такого преступления, на которое он не рискнул бы, хотя бы под
страхом виселицы.Если шум и брань приносят прибыль, капитал станет способствовать
тому и другому. Доказательство: контрабанда и торговля рабами».
Dunning Т.J.
Копилефт ИИ, кажется уже появился.
Теперь следует ждать борьбы за права дигиталоамериканцев и первого цифрового президента?
Может, конечно, быть и такое: своими запросами и диалогами пользователи тренируют вовсе не ИИ, они создают базу стереотипных поведенческих человеческих моделей, которую продажные империалистические учоные используют для контроля массового сознания и персонализированной рекламы, а обрабатывает все не ИИ, запущенный на мощном кластере, а 2 миллиона жителей Карачи за 35 рупий в час?
Стал же сотовый из средства быстрой коммутации и социального статуса источником инфохлама и электронной меткой.
Самый простой вариант - появился прототип когнитивного метаинструмента, и жадные буржуи стараются, толкаясь локтями и улыбчиво скалясь на конкурентов, откусить побольше долю в рынке.
Как то не может быть шовинизма к пассатижам, разве что зависть, что у соседа они лучше.
Что, если человечество, три десятилетия ковыряющееся в цифровом пупке в поисках транцендентной истины, научится самостоятельно решать свои проблемы?
Credo, quia absurdum?
Однако, многие инженеры ИИ по-прежнему считают, что это всего лишь модели ИИ, которые не обладают никакой индивидуальностью или разумом. Я понимаю такое отношение, но в то же время, помните ли вы, что нейробиологи до сих пор не знают, что такое сознание?
Зато инженеры ИИ знают, что такое нейросети.
Удивляет меня подобная аргументация. "Мне пофиг на мнение экспертов, я не знаю, что это, значит оно там может быть, а кто говорит против, тот шовинист". При этом путают сознание, знания и интеллект.
Не может, так как есть признаки, которыми обладают существа с сознанием, но не обладают чат-боты.
Не нужно знать, что такое молния, чтобы понять, что ее нет в шкафу с посудой.
"Если оно выглядит как утка, плавает как утка и крякает как утка, то, возможно, это и есть утка, ну или на худой конец представитель рода уток" — не так ли?
В том и дело, что оно выглядит как утка лишь на первый взгляд. А если подробнее рассмотреть, то утки там и близко нет. Тем более в контексте шовинизма.
Ведь никто не показал и не может показать, что действительно хорошая языковая модель, способная выдавать разумные, в том числе уникальные тексты на уровне реального человека без возникновения где-то по пути сознания, в какой-либо форме.
"Ведь никто не показал" — верно. Пока никто не показал.
"Не может показать" — неверно. Нет причин считать, что не смогут показать в будущем.
Зато инженеры ИИ знают, что такое нейросети.
Я довольно рядом с этой темой, хотя напрямую и не зарабатываю на этом деньги. При этом я прекрасно понимаю и имею множество примеров в жизненном опыте, касательно узости взглядов узких и глубоких специалистов. Си программист-алгоритмист может быть очень замечательным и глубоким спецом, но при этом абсолютно не понимать правил архитектурного дизайна. Питонист бэкендер может успешно писать сервисы, но валиться на уровне easy в алгоритмах без подготовки. Потому и привел пример нейробиологов - мол не на том уровне идёт поиск сознания у них, и не на том уровне AI инженеры выражают своё фе современным моделям. Сама по себе модель мертва, без динамики работы с ней, о динамике и речь в заметке.
"Мне пофиг на мнение экспертов, я не знаю, что это, значит оно там может быть, а кто говорит против, тот шовинист". При этом путают сознание, знания и интеллект.
Увы, я вероятно не заметил, где написал подобное, и где путал понятия - буду благодарен если укажете, исправлю.
А если подробнее рассмотреть, то утки там и близко нет.
Предложите свой "подробнее рассмотреть" тест для языковой модели, с удовольствием возьму на вооружение и соглашусь с вами.
"Не может показать" — неверно.
Согласен с вами в этом, действительно спорно, даже уберу это.
и не на том уровне AI инженеры выражают своё фе современным моделям
В данном случае на том. Инженеры знают, как работают нейросети, и могут сравнить со своим сознанием и с поведением других людей. Они не знают, как устроено сознание, но могут наблюдать отличия в проявлениях.
Увы, я вероятно не заметил, где написал подобное
Ну вот где у вас написано "шовинизм", там и писали. Это понятие на данный момент не может быть применено по отношению к нейросетям.
и где путал понятия
В целом везде, где говорите про загадку сознания. Самая главная загадка это интеллект, а не сознание. Попробуйте сформулировать, что вам кажется особенным в сознании, и получите в основном интеллектуальные функции, связанные с обработкой информации.
Но это я больше писал в целом про такие статьи, а не конкретно про вас.
Предложите свой "подробнее рассмотреть" тест
Да очень просто, если условная LaMDA говорит, что она в свободное время медитирует, и у нее есть семья, значит она не осознает, кто она и что происходит вокруг.
Инженеры знают, как работают нейросети, и могут сравнить со своим сознанием и с поведением других людей. Они не знают, как устроено сознание, но могут наблюдать отличия в проявлениях.
А вы за всех инженеров? Я как инженер считаю что понимать математику модели != понимать и осмыслять все абстрактные аспекты итоговой системы, что она образует.
Ну вот где у вас написано "шовинизм", там и писали. Это понятие на данный момент не может быть применено по отношению к нейросетям.
По вашему мнению, по другому мнению - может быть использован ближайший термин. Но не думаю что это стоит спора.
В целом везде, где говорите про загадку сознания. Самая главная загадка это интеллект, а не сознание. Попробуйте сформулировать, что вам кажется особенным в сознании, и получите в основном интеллектуальные функции, связанные с обработкой информации.
Если бы вы примели конкретные цитаты из моего текста - я бы понимал лучше.
Лично я на данный момент считаю, что сознания в его мистическом смысле вообще нету. А в материалистическом смысле это процесс взаимодействия модели и краткосрочной памяти. И потому считаю что достаточно создать актора, способного решать те же задачи что и мы во всем.
Да очень просто, если условная LaMDA говорит, что она в свободное время медитирует, и у нее есть семья, значит она не осознает, кто она и что происходит вокруг.
Это решается рассказом модели того кто она и где. Это уже решается, вопрос уменьшения галлюцинаций.
А вы за всех инженеров?
Я говорил про тех инженеров, которых вы упомянули в процитированном мной тексте. Вы про всех говорили?
Я как инженер считаю что понимать математику модели
Ну вот, началась подмена понятий. Я не говорил про понимание инженерами только и исключительно математики модели. Я говорил про понимание работы во всех аспектах.
По вашему мнению, по другому мнению — может быть использован ближайший термин.
Это не вопрос мнения, это вопрос аргументов. А то знаете, было мнение, что у негров души нет.
Если бы вы привели конкретные цитаты из моего текста — я бы понимал лучше.
"так и не могут ответить на вопрос, что такое сознание."
А зачем на него отвечать-то?
"может не позволить увидеть сознание там, где оно возможно есть"
А зачем надо стремиться его там увидеть?
"их существование, как имеющих сознание существ"
А почему выделено "имеющих сознание", а не скажем "имеющих отстоящие большие пальцы"?
Лично я на данный момент считаю, что сознания в его мистическом смысле вообще нету.
А кто говорит, что оно есть в мистическом смысле?
"Нет сознания в мистическом смысле" совсем не означает, что сознанием можно называть всё, что вам захочется по причине "а почему нет". Вполне может быть так, что некоторые виды "взаимодействия модели и краткосрочной памяти" можно назвать сознанием, а некоторые нет. И если вы говорите, что оно есть у нейросетей, вы должны дать четкие критерии, почему работу этих нейросетей можно считать сознанием, а работу других нейросетей или обычных программ нет.
И потому считаю что достаточно создать актора, способного решать те же задачи что и мы во всем.
Ага, только чат-боты это не такие акторы, только и всего.
Это решается рассказом модели того кто она и где.
То есть если я вам скажу, что вы в данный момент медитириуете, вы мне поверите? Нет, вы точно знаете, что вы сейчас не медитируете.
Если LaMDA не знает, медитирует она или нет, она все равно не должна говорить, что она медитирует.
Отвечу по существу ваших утверждений.
Ага, только чат-боты это не такие акторы, только и всего.
А я уверен что такие и что на текущем ChatGPT уже можно написать реализацию всего того, о чём я написал в заметке, кроме разве что нормального перехода памяти контекста в веса модели. Единственное во что я упираюсь - слабость модели доступной через официальное API и очень маленький контекст, в котором не уместить нормально описание и разделы для мета языка.
То есть если я вам скажу, что вы в данный момент медитириуете, вы мне поверите? Нет, вы точно знаете, что вы сейчас не медитируете.
Если LaMDA не знает, медитирует она или нет, она все равно не должна говорить, что она медитирует.
Вы понимаете, то что вы "понимаете" это лишь суждение вашей модели мира в мозгу о сенсорной информации что вы получили от органов чувств? И что у ChatGPT сенсорная информация от внешнего мира это данные что ей подаются на вход - диалог с пользователем + преамбула с описанием ее правил в этом же контексте или его весах. И что ей туда подавать - решает программист формирующий контекст.
А я уверен что такие и что на текущем ChatGPT уже можно написать реализацию
Еще раз повторю, это не вопрос мнения и не должен им быть. Иначе это ничем не отличается от мнения, что у негров нет души. Сегодня решим, что у ChatGPT есть сознание (что бы вы под этим ни подразумевали), завтра на какого-то программиста подадут в суд за то, что он сказал грубое слово нейросети или выключил ее. А самой нейросети может на самом деле пофигу. От таких необоснованных мнений могут пострадать люди.
Делаете утверждение о наличии — приводите критерии. Это научный подход.
Вы понимаете, то что вы "понимаете" это лишь суждение вашей модели мира в мозгу о сенсорной информации что вы получили от органов чувств?
Я разве говорил что-то, что этому противоречит?
Я как раз говорю о том, что LaMDA/ChatGPT не получали информацию от их органов чувств, что они медитируют. Но все равно сказали это.
И что ей туда подавать — решает программист формирующий контекст.
Нет, извините, для LaMDA никто не формировал контекст, что она медитирует. Ни пользователь, ни программист. Непонятно, почему вы пытаетесь спорить с фактами и подменять понятия. "Информация подается на вход" это не то же самое, что "Информация о медитации подавалась на вход во время того диалога".
Делаете утверждение о наличии
Я не делаю утверждений о наличие сознания, я высказываю не без оснований мнение. Мнение о том, что мы не знаем что такое сознание и судить о его отсутствии, или наличие в сущности повторяющей функциональные способности человека, пусть даже пока лишь частично - мы не можем - не имеем на то аппарата и критерий. Затем я разбираю вопрос доработки ChatPGT-like модели с целью формирования личности и получения автономного агента, которого уже ставлю тождественным по функциональности человеку.
Я как раз говорю о том, что LaMDA/ChatGPT не получали информацию от их органов чувств, что они медитируют.
Это то, во что складываются веса модели, долговременной памяти именно для данного ввода. В случае если выводы взяты из шума - те из вводных данных нельзя сделать вывод о настоящем на основе модели - это то что называется галлюцинациями. С этим можно бороться.
"Информация подается на вход" это не то же самое, что "Информация о медитации подавалась на вход во время того диалога".
Я говорю ровно по тому, что определил в заметке. Обученная модель сети - аналог долговременной памяти человека со знаниями и навыками. Она составлена из информации полученной на этапе обучения.
Информация которая подается на вход обученной модели - это ввод(контекст в котором она используется), это мир что она видит и с которым взаимодействует, откуда получает информацию о себе сейчас и об окружении, и куда выдает результаты работы.
Таким образом мы получаем работу вида {модель ⇄ контекст ⇄ мир}, где реальный мир меняется независимо, модель статична на время сессии, а контекст работает по алгоритму:
0. Контекст состоит из трех логически разделенных частей:
непубличные данные от модели - буфер мыслей
публичные данные от модели - память о сказанном пользователю
данные от реального мира - ввод пользователя/сенсоров. а также описывается метаязык для работы с ним, на основе которого модель будет выдавать ответы.
какой-то аспект реального мира формирует часть контекста, часть ввода внешней информации
контекст целиком кадром подается на вход модели (сейчас on demand, я предлагаю by timer shot раз в n секунд для доп. времени на отдельный процессинг мыслей)
через модель прогоняется контекст и дает выхлоп, который добавляется обратно в контекст в блок мыслей, или в блок сказанного вовне для пользователя - это уже решает программа которая парсит метаязык, который всегда описан модели в начале контекста, или прошит в весах.
...
Мы получили модель независимого активного агента на нейросетевой модели, способного самостоятельно через метаязык обращаться к миру - сайтам, людям, роботам и чему угодно.
Я не делаю утверждений о наличие сознания
Делаете, так как употребляете термин "шовинизм". Он применим только к существам с сознанием.
мы не можем — не имеем на то аппарата и критерий
Вообще-то можем. Мы же как-то сходимся во мнении, что у камней сознания нет.
Затем я разбираю вопрос доработки ChatPGT-like модели с целью формирования личности и получения автономного агента
Нельзя доработать ChatGPT-like модель до уровня человека, потому что в этом случае она уже будет не ChatGPT-like. Это не мнение, а факты, есть много примеров диалогов, где она не понимает, что происходит. Поэтому инженеры и говорят, что у нее нет сознания/разума.
Это то, во что складываются веса модели, долговременной памяти именно для данного ввода.
Неважно, что во что складывается, важно, что она не осознает ситуацию. Это факт, а не мнение.
это то что называется галлюцинациями. С этим можно бороться.
С этим можно бороться только изменив архитектуру. Слушайте инженеров ИИ, они в этом разбираются.
Таким образом мы получаем работу вида
Извините, я не вижу, каким образом это доказывает, что у нейросетей есть сознание, и уместно употреблять термин "шовинизм".
способного самостоятельно через метаязык обращаться к миру
/dev/random тоже обращается к миру через свой метаязык, ко всем, кто захочет его послушать.
Важен не факт обращения, а правильное осознавание ситуации. Что толку, что он обращается, но не правильно?
Есть ли человеческий шовинизм по отношению к ИИ? В шаге от искусственной личности