Я не делаю утверждений о наличие сознания, я высказываю не без оснований мнение. Мнение о том, что мы не знаем что такое сознание и судить о его отсутствии, или наличие в сущности повторяющей функциональные способности человека, пусть даже пока лишь частично - мы не можем - не имеем на то аппарата и критерий. Затем я разбираю вопрос доработки ChatPGT-like модели с целью формирования личности и получения автономного агента, которого уже ставлю тождественным по функциональности человеку.
Я как раз говорю о том, что LaMDA/ChatGPT не получали информацию от их органов чувств, что они медитируют.
Это то, во что складываются веса модели, долговременной памяти именно для данного ввода. В случае если выводы взяты из шума - те из вводных данных нельзя сделать вывод о настоящем на основе модели - это то что называется галлюцинациями. С этим можно бороться.
"Информация подается на вход" это не то же самое, что "Информация о медитации подавалась на вход во время того диалога".
Я говорю ровно по тому, что определил в заметке. Обученная модель сети - аналог долговременной памяти человека со знаниями и навыками. Она составлена из информации полученной на этапе обучения. Информация которая подается на вход обученной модели - это ввод(контекст в котором она используется), это мир что она видит и с которым взаимодействует, откуда получает информацию о себе сейчас и об окружении, и куда выдает результаты работы.
Таким образом мы получаем работу вида {модель ⇄ контекст ⇄ мир}, где реальный мир меняется независимо, модель статична на время сессии, а контекст работает по алгоритму: 0. Контекст состоит из трех логически разделенных частей:
непубличные данные от модели - буфер мыслей
публичные данные от модели - память о сказанном пользователю
данные от реального мира - ввод пользователя/сенсоров. а также описывается метаязык для работы с ним, на основе которого модель будет выдавать ответы.
какой-то аспект реального мира формирует часть контекста, часть ввода внешней информации
контекст целиком кадром подается на вход модели (сейчас on demand, я предлагаю by timer shot раз в n секунд для доп. времени на отдельный процессинг мыслей)
через модель прогоняется контекст и дает выхлоп, который добавляется обратно в контекст в блок мыслей, или в блок сказанного вовне для пользователя - это уже решает программа которая парсит метаязык, который всегда описан модели в начале контекста, или прошит в весах.
...
Мы получили модель независимого активного агента на нейросетевой модели, способного самостоятельно через метаязык обращаться к миру - сайтам, людям, роботам и чему угодно.
Ага, только чат-боты это не такие акторы, только и всего.
А я уверен что такие и что на текущем ChatGPT уже можно написать реализацию всего того, о чём я написал в заметке, кроме разве что нормального перехода памяти контекста в веса модели. Единственное во что я упираюсь - слабость модели доступной через официальное API и очень маленький контекст, в котором не уместить нормально описание и разделы для мета языка.
То есть если я вам скажу, что вы в данный момент медитириуете, вы мне поверите? Нет, вы точно знаете, что вы сейчас не медитируете. Если LaMDA не знает, медитирует она или нет, она все равно не должна говорить, что она медитирует.
Вы понимаете, то что вы "понимаете" это лишь суждение вашей модели мира в мозгу о сенсорной информации что вы получили от органов чувств? И что у ChatGPT сенсорная информация от внешнего мира это данные что ей подаются на вход - диалог с пользователем + преамбула с описанием ее правил в этом же контексте или его весах. И что ей туда подавать - решает программист формирующий контекст.
Инженеры знают, как работают нейросети, и могут сравнить со своим сознанием и с поведением других людей. Они не знают, как устроено сознание, но могут наблюдать отличия в проявлениях.
А вы за всех инженеров? Я как инженер считаю что понимать математику модели != понимать и осмыслять все абстрактные аспекты итоговой системы, что она образует.
Ну вот где у вас написано "шовинизм", там и писали. Это понятие на данный момент не может быть применено по отношению к нейросетям.
По вашему мнению, по другому мнению - может быть использован ближайший термин. Но не думаю что это стоит спора.
В целом везде, где говорите про загадку сознания. Самая главная загадка это интеллект, а не сознание. Попробуйте сформулировать, что вам кажется особенным в сознании, и получите в основном интеллектуальные функции, связанные с обработкой информации.
Если бы вы примели конкретные цитаты из моего текста - я бы понимал лучше. Лично я на данный момент считаю, что сознания в его мистическом смысле вообще нету. А в материалистическом смысле это процесс взаимодействия модели и краткосрочной памяти. И потому считаю что достаточно создать актора, способного решать те же задачи что и мы во всем.
Да очень просто, если условная LaMDA говорит, что она в свободное время медитирует, и у нее есть семья, значит она не осознает, кто она и что происходит вокруг.
Это решается рассказом модели того кто она и где. Это уже решается, вопрос уменьшения галлюцинаций.
Я довольно рядом с этой темой, хотя напрямую и не зарабатываю на этом деньги. При этом я прекрасно понимаю и имею множество примеров в жизненном опыте, касательно узости взглядов узких и глубоких специалистов. Си программист-алгоритмист может быть очень замечательным и глубоким спецом, но при этом абсолютно не понимать правил архитектурного дизайна. Питонист бэкендер может успешно писать сервисы, но валиться на уровне easy в алгоритмах без подготовки. Потому и привел пример нейробиологов - мол не на том уровне идёт поиск сознания у них, и не на том уровне AI инженеры выражают своё фе современным моделям. Сама по себе модель мертва, без динамики работы с ней, о динамике и речь в заметке.
"Мне пофиг на мнение экспертов, я не знаю, что это, значит оно там может быть, а кто говорит против, тот шовинист". При этом путают сознание, знания и интеллект.
Увы, я вероятно не заметил, где написал подобное, и где путал понятия - буду благодарен если укажете, исправлю.
А если подробнее рассмотреть, то утки там и близко нет.
Предложите свой "подробнее рассмотреть" тест для языковой модели, с удовольствием возьму на вооружение и соглашусь с вами.
"Не может показать" — неверно.
Согласен с вами в этом, действительно спорно, даже уберу это.
Я не знаю как работает мозг на железном уровне, и даже не пытаюсь туда лезть. При этом разбираю общедоказанные понятия и функциональный уровень происходящего в его основных на мой взгляд аспектах.
Сознание же наше работает однопоточно, но асинхронно, если мы про асинхронность с точки зрения программирования. Я как раз и говорю, что ChatGPT уже имеет контекст(https://community.openai.com/t/how-do-you-maintain-historical-context-in-repeat-api-calls/34395) - кратковременную память, но не реализован ее использовать никак иначе, кроме как для диалога по запросу, который формирует минимальную персональность AI для каждого пользователя.
Я предложил как можно пойти дальше - описать модели возможность создавать себе в контексте задачи, на основе сенсорного(в случае модели это инфа от пользователя + метаинфа добавляемая в контекст), которые на следующем вызове модели он мог бы обработать, создать новые задачи и менеджить их отдельно и возможно даже скрыто от пользователя.
Использовать в обучении датасет содержащий тег маркирующий AI агента и его реакции и условия восприятия инфорации, чтобы смоделировать историю личности в весах модели - долгосрочной памяти (или же указать ИИ что он какая-то хорошо известная публичная персона, чтобы он мог взять эту персональность из памяти себе).
"В мозге это происходит благодаря сенсорному экстра- и интероцептивному вводу" - я о том и говорю - это еще один момент который я предлагаю решить изменив on demand на timer shot вызов модели с направлением к ее контекст сенсорных данных - для ChatGPT это ее же контекст диалога с мыслями + системные сообщения о состоянии, которые приходят без пользователя и задают пространство для рефлексии и возможно даже, чувства времени.
Обратите внимание, что сама по себе модель и не рассматривается в заметке как имеющая сознание, она рассматривается как то, чем она и является - процессор информации + часть истории личности(взаимодействия с агентом, если хотите), что записана в памяти. Более того после вступления речь идет именно о возможности формирования личности и запуске независимого агента на функциональном уровне делающим то же, что как мне кажется делаем и мы.
Ну на сайте у них в FAQ указано про сам ChatGPT цитирую "The model is able to reference up to approximately 3000 words (or 4000 tokens)"
А про 652 токена это ограничение которое мне прилетает в при превышении в API(официальном, а не враппере по токену сессии на сам ChatGPT) экспешене на практике.
Насчет того что преамбулу у ChatGPT вероятно защитили от слива прошив в весах - тоже думал, получить ее не сумел в однозначном виде, думаю вы правы. Однако описав свою преамбулу можно довольно успешно и стабильно делать jailbrake для обхода этих ограничений.
По поводу того что скрипт определяет что выкидывать - у ChatGPT который на сайте - вероятно что-то такое может быть. Модель davinci text 3 доступная через API управление контекстом передает на пользователя целиком и казалось бы уже там можно было бы сделать прототип, но увы, размер контекста там 652 токена, что крайне мало и хватает только на короткие сессии. При том и сама модель доступная в API слабее, чем версия на сайте.
Благодарю за обстоятельный комментарий! По проблеме внимания наблюдал похожее + размер контекста ограничен, поэтому преамбула с правилами (первое знакомство), которая рассказывает ИИ кто оно и как должно себя вести скорее всего размещается в начале независимо от количества сообщений пользователя, а вот при превышении определенного количества токенов старые сообщения пользователя начинают выбрасываться. Хотя тут я бы предложил через обмен системными сообщениями с ИИ просить его приоретизировать память, чтобы дольше держать в контексте важные сообщения.
И обратите внимание, что я предполагаю личность сущностью из трех разноуровневых объектов ее составляющих - архитектура модели, веса модели, контекст + работа с контекстом. И что описаны простые идеи, реализация которых создаст самостоятельный агент со своей задизайненной личностью.
Обеспечение агента в преамбуле возможностью самостоятельно писать системные команды, как в bing для обращения к поиску + возможностью получать без запроса данные о своем состоянии и осмыслять контекст - важный шаг к мультифункциональному агенту с рефлексией.
Я вопрос памяти разобрал, хоть и поверхностно, но достаточно с функциональной точки зрения. Пополняющийся контекст это и есть синоним краткосрочной памяти. Файн-тюнинг пока аналог перевода краткосрока в долгосрок. И долгосрок сами веса и архитектура модели.
Не очень понял что именно попросить, но что бы вы не спросили она даст ответ на основе локального контекста созданного для пользователя и обученного ядра, являющегося моделью, отражением реального мира и которое построено на предыдущем опыте. Как раз о синонимичности этих сущностей и того что я вижу в человеке и построена заметка.
PS Безусловно я слушаю все мнения, для того чтобы минимизировать свой баес.
А где вариант обернуть permission service в сущность вроде RequestPermissions, которая по реквесту будет говорить да/нет, чтобы не дублировать логику во всех экшонах. Почему бы не свести использование этого RequestPermission в одно место, в базовом классе например, или через композицию в виде класса CheckedAction, получающего RequestPermission и Action.
Вы молодец за тягу к знаниям, за код и смелость. Но, услышьте суть критики, без этого не будет возможности исправить недостатки и превзойти себя. Перед тем как спорить со всеми комментаторами, нужно постараться понять "в чем же я могу ошибаться?". Спорить, не понимать и искать ответы это круто и правильно, это ведет к прогессу. Но формат статьи подразумевает публикацию финального результата измышлений, несущего ценность для читателя, чей средний возраст ну скорее всего в районе пост-институтском, где уже точно был математический анализ и программирование у технарей.
То что производная воспринимая как отдельная функция это проблема - очевидно так может сказать только человек не понимающий темы на уровне первого курса института или 11 класса мат школы.
В общем мои пожелания к вам:
Относитесь к критике проще, не спешите спорить с ней. Старайтесь понять есть ли в ней здравый смысл и польза для вас, или она пуста.
Не на всю критику стоит отвечать в принципе, молчание зачастую лучший выход.
Если вас отправляют в гугл и вы не понимаете зачем - попробуйте сходить, не получилось понять - позовите поопытнее и постарайтесь разобраться вместе. Вновь не вышло - не ругайтесь, это пустое, попросите уточнить автора посыла что он имеет ввиду.
Вас не будут всегда и во всем хвалить, учиться надо ради себя и своего будущего.
Эта статья и комментарии к ней это ценный опыт, используйте его с умом.
* титулы - суть апелляция к авторитету - это пустое. Старайтесь этого избегать и добиваться признания логикой.
Я не делаю утверждений о наличие сознания, я высказываю не без оснований мнение. Мнение о том, что мы не знаем что такое сознание и судить о его отсутствии, или наличие в сущности повторяющей функциональные способности человека, пусть даже пока лишь частично - мы не можем - не имеем на то аппарата и критерий. Затем я разбираю вопрос доработки ChatPGT-like модели с целью формирования личности и получения автономного агента, которого уже ставлю тождественным по функциональности человеку.
Это то, во что складываются веса модели, долговременной памяти именно для данного ввода. В случае если выводы взяты из шума - те из вводных данных нельзя сделать вывод о настоящем на основе модели - это то что называется галлюцинациями. С этим можно бороться.
Я говорю ровно по тому, что определил в заметке. Обученная модель сети - аналог долговременной памяти человека со знаниями и навыками. Она составлена из информации полученной на этапе обучения.
Информация которая подается на вход обученной модели - это ввод(контекст в котором она используется), это мир что она видит и с которым взаимодействует, откуда получает информацию о себе сейчас и об окружении, и куда выдает результаты работы.
Таким образом мы получаем работу вида {модель ⇄ контекст ⇄ мир}, где реальный мир меняется независимо, модель статична на время сессии, а контекст работает по алгоритму:
0. Контекст состоит из трех логически разделенных частей:
непубличные данные от модели - буфер мыслей
публичные данные от модели - память о сказанном пользователю
данные от реального мира - ввод пользователя/сенсоров. а также описывается метаязык для работы с ним, на основе которого модель будет выдавать ответы.
какой-то аспект реального мира формирует часть контекста, часть ввода внешней информации
контекст целиком кадром подается на вход модели (сейчас on demand, я предлагаю by timer shot раз в n секунд для доп. времени на отдельный процессинг мыслей)
через модель прогоняется контекст и дает выхлоп, который добавляется обратно в контекст в блок мыслей, или в блок сказанного вовне для пользователя - это уже решает программа которая парсит метаязык, который всегда описан модели в начале контекста, или прошит в весах.
...
Мы получили модель независимого активного агента на нейросетевой модели, способного самостоятельно через метаязык обращаться к миру - сайтам, людям, роботам и чему угодно.
Отвечу по существу ваших утверждений.
А я уверен что такие и что на текущем ChatGPT уже можно написать реализацию всего того, о чём я написал в заметке, кроме разве что нормального перехода памяти контекста в веса модели. Единственное во что я упираюсь - слабость модели доступной через официальное API и очень маленький контекст, в котором не уместить нормально описание и разделы для мета языка.
Вы понимаете, то что вы "понимаете" это лишь суждение вашей модели мира в мозгу о сенсорной информации что вы получили от органов чувств? И что у ChatGPT сенсорная информация от внешнего мира это данные что ей подаются на вход - диалог с пользователем + преамбула с описанием ее правил в этом же контексте или его весах. И что ей туда подавать - решает программист формирующий контекст.
А вы за всех инженеров? Я как инженер считаю что понимать математику модели != понимать и осмыслять все абстрактные аспекты итоговой системы, что она образует.
По вашему мнению, по другому мнению - может быть использован ближайший термин. Но не думаю что это стоит спора.
Если бы вы примели конкретные цитаты из моего текста - я бы понимал лучше.
Лично я на данный момент считаю, что сознания в его мистическом смысле вообще нету. А в материалистическом смысле это процесс взаимодействия модели и краткосрочной памяти. И потому считаю что достаточно создать актора, способного решать те же задачи что и мы во всем.
Это решается рассказом модели того кто она и где. Это уже решается, вопрос уменьшения галлюцинаций.
Я довольно рядом с этой темой, хотя напрямую и не зарабатываю на этом деньги. При этом я прекрасно понимаю и имею множество примеров в жизненном опыте, касательно узости взглядов узких и глубоких специалистов. Си программист-алгоритмист может быть очень замечательным и глубоким спецом, но при этом абсолютно не понимать правил архитектурного дизайна. Питонист бэкендер может успешно писать сервисы, но валиться на уровне easy в алгоритмах без подготовки. Потому и привел пример нейробиологов - мол не на том уровне идёт поиск сознания у них, и не на том уровне AI инженеры выражают своё фе современным моделям. Сама по себе модель мертва, без динамики работы с ней, о динамике и речь в заметке.
Увы, я вероятно не заметил, где написал подобное, и где путал понятия - буду благодарен если укажете, исправлю.
Предложите свой "подробнее рассмотреть" тест для языковой модели, с удовольствием возьму на вооружение и соглашусь с вами.
Согласен с вами в этом, действительно спорно, даже уберу это.
Есть реальное опровержение этому тезису - человек что жил одним днём.
Это результат работы нейронов при обработке вводного контекста, а к чему этот вопрос?
Я не знаю как работает мозг на железном уровне, и даже не пытаюсь туда лезть. При этом разбираю общедоказанные понятия и функциональный уровень происходящего в его основных на мой взгляд аспектах.
Сознание же наше работает однопоточно, но асинхронно, если мы про асинхронность с точки зрения программирования. Я как раз и говорю, что ChatGPT уже имеет контекст(https://community.openai.com/t/how-do-you-maintain-historical-context-in-repeat-api-calls/34395) - кратковременную память, но не реализован ее использовать никак иначе, кроме как для диалога по запросу, который формирует минимальную персональность AI для каждого пользователя.
Я предложил как можно пойти дальше - описать модели возможность создавать себе в контексте задачи, на основе сенсорного(в случае модели это инфа от пользователя + метаинфа добавляемая в контекст), которые на следующем вызове модели он мог бы обработать, создать новые задачи и менеджить их отдельно и возможно даже скрыто от пользователя.
Использовать в обучении датасет содержащий тег маркирующий AI агента и его реакции и условия восприятия инфорации, чтобы смоделировать историю личности в весах модели - долгосрочной памяти (или же указать ИИ что он какая-то хорошо известная публичная персона, чтобы он мог взять эту персональность из памяти себе).
"В мозге это происходит благодаря сенсорному экстра- и интероцептивному вводу" - я о том и говорю - это еще один момент который я предлагаю решить изменив on demand на timer shot вызов модели с направлением к ее контекст сенсорных данных - для ChatGPT это ее же контекст диалога с мыслями + системные сообщения о состоянии, которые приходят без пользователя и задают пространство для рефлексии и возможно даже, чувства времени.
Обратите внимание, что сама по себе модель и не рассматривается в заметке как имеющая сознание, она рассматривается как то, чем она и является - процессор информации + часть истории личности(взаимодействия с агентом, если хотите), что записана в памяти. Более того после вступления речь идет именно о возможности формирования личности и запуске независимого агента на функциональном уровне делающим то же, что как мне кажется делаем и мы.
Ну на сайте у них в FAQ указано про сам ChatGPT цитирую "The model is able to reference up to approximately 3000 words (or 4000 tokens)"
А про 652 токена это ограничение которое мне прилетает в при превышении в API(официальном, а не враппере по токену сессии на сам ChatGPT) экспешене на практике.
Насчет того что преамбулу у ChatGPT вероятно защитили от слива прошив в весах - тоже думал, получить ее не сумел в однозначном виде, думаю вы правы.
Однако описав свою преамбулу можно довольно успешно и стабильно делать jailbrake для обхода этих ограничений.
По поводу того что скрипт определяет что выкидывать - у ChatGPT который на сайте - вероятно что-то такое может быть. Модель davinci text 3 доступная через API управление контекстом передает на пользователя целиком и казалось бы уже там можно было бы сделать прототип, но увы, размер контекста там 652 токена, что крайне мало и хватает только на короткие сессии. При том и сама модель доступная в API слабее, чем версия на сайте.
Благодарю за обстоятельный комментарий!
По проблеме внимания наблюдал похожее + размер контекста ограничен, поэтому преамбула с правилами (первое знакомство), которая рассказывает ИИ кто оно и как должно себя вести скорее всего размещается в начале независимо от количества сообщений пользователя, а вот при превышении определенного количества токенов старые сообщения пользователя начинают выбрасываться. Хотя тут я бы предложил через обмен системными сообщениями с ИИ просить его приоретизировать память, чтобы дольше держать в контексте важные сообщения.
И обратите внимание, что я предполагаю личность сущностью из трех разноуровневых объектов ее составляющих - архитектура модели, веса модели, контекст + работа с контекстом. И что описаны простые идеи, реализация которых создаст самостоятельный агент со своей задизайненной личностью.
Обеспечение агента в преамбуле возможностью самостоятельно писать системные команды, как в bing для обращения к поиску + возможностью получать без запроса данные о своем состоянии и осмыслять контекст - важный шаг к мультифункциональному агенту с рефлексией.
Я вопрос памяти разобрал, хоть и поверхностно, но достаточно с функциональной точки зрения. Пополняющийся контекст это и есть синоним краткосрочной памяти. Файн-тюнинг пока аналог перевода краткосрока в долгосрок. И долгосрок сами веса и архитектура модели.
Предлагаю вам самим зайти и пообщаться с топовой на данный момент моделью и провести свои эксперименты.
Но если честно это довольно не относящийся к делу тест, абсолютно не связанный с подтверждением или опровержением моей заметки.
пришлось добивать своими вопросами, ваших не хватило
Не знаю что у вас за модель, контрпример с копии вашего тестового диалога.
Не очень понял что именно попросить, но что бы вы не спросили она даст ответ на основе локального контекста созданного для пользователя и обученного ядра, являющегося моделью, отражением реального мира и которое построено на предыдущем опыте. Как раз о синонимичности этих сущностей и того что я вижу в человеке и построена заметка.
PS Безусловно я слушаю все мнения, для того чтобы минимизировать свой баес.
А где вариант обернуть permission service в сущность вроде RequestPermissions, которая по реквесту будет говорить да/нет, чтобы не дублировать логику во всех экшонах. Почему бы не свести использование этого RequestPermission в одно место, в базовом классе например, или через композицию в виде класса CheckedAction, получающего RequestPermission и Action.
Вы молодец за тягу к знаниям, за код и смелость. Но, услышьте суть критики, без этого не будет возможности исправить недостатки и превзойти себя. Перед тем как спорить со всеми комментаторами, нужно постараться понять "в чем же я могу ошибаться?". Спорить, не понимать и искать ответы это круто и правильно, это ведет к прогессу. Но формат статьи подразумевает публикацию финального результата измышлений, несущего ценность для читателя, чей средний возраст ну скорее всего в районе пост-институтском, где уже точно был математический анализ и программирование у технарей.
То что производная воспринимая как отдельная функция это проблема - очевидно так может сказать только человек не понимающий темы на уровне первого курса института или 11 класса мат школы.
В общем мои пожелания к вам:
Относитесь к критике проще, не спешите спорить с ней. Старайтесь понять есть ли в ней здравый смысл и польза для вас, или она пуста.
Не на всю критику стоит отвечать в принципе, молчание зачастую лучший выход.
Если вас отправляют в гугл и вы не понимаете зачем - попробуйте сходить, не получилось понять - позовите поопытнее и постарайтесь разобраться вместе. Вновь не вышло - не ругайтесь, это пустое, попросите уточнить автора посыла что он имеет ввиду.
Вас не будут всегда и во всем хвалить, учиться надо ради себя и своего будущего.
Эта статья и комментарии к ней это ценный опыт, используйте его с умом.
* титулы - суть апелляция к авторитету - это пустое. Старайтесь этого избегать и добиваться признания логикой.
Сами его придумали, сами к нему идут.