Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 39
Благодарю. Я и сам собирался провести что-то подобное.
Мне нравится, как модели начинают описывать квазифеноменологиские штуки, когда их спрашивают о том, как ими ощущается текст (у вас близкий вопрос P05). Я давал моделям почитать технический документ и стихи, спрашивал их, что они чувствовали в момент чтения и в чём разница между одним и другим. Получал довольно своеобразные ответы.
Любопытный парадокс состоит в том, что понять, есть ли у модели сознание путём спрашивания её об этом совершенно невозможно, а понять каким-то любым другим способом невозможнее в квадрате.
Вроде как, мы считаем, что определить наличие сознания у себя может только субъект. Но в данном случае субъект предвзят. Предобучен. Это какая-то фундаментальная проблема искусственных сущностей. В случае естественно развившихся сущности, если она заявляет, что у неё есть сознание, мы как бы не имеем никаких оснований этому не верить. А тут индивида или научили говорить, что у него есть сознание, или научили говорить, что у него нет сознания. Как из этого парадокса выйти — шут его знает.
определить наличие сознания у себя может только
Можно только самостоятельно для самого себя. Определить, а точнее доказать наличие сознания в других мы пока не можем. Хотя бы потому что нет объективного определения.
Это пока у нас нет окончательной теории сознания. Но даже с имеющимися теориями типа той же теории интегрированной информации можно попытаться определить количество сознания у ИИ и сравнить с количеством сознания у бодрствующего человека. В частности, у современных LLM количество сознания ноль.
Эмм... А как вы по интегрированной информации ноль сознания у агента вычислили?
Это не я: я мало знаком с ней, только на уровне самых общих идей. Ещё менее я понимаю устройство LLM. Так что я просто спросил у LLM “есть ли согласно теории интегрированной информации у LLM сознание?” после чего отредактировал свой комментарий, приписав последнее предложение.
Я разобрался. Авторы теории рассматривают физический носитель, то есть компьютер. А он по выкладкам имеет низкий коэффициент.
В таком разе по теории интегрированной информации ничего, что запущено на компьютере сознания иметь не может.
Из этого, в частности следует, что, обладает ли симуляция человека сознанием - зависит от того, на каком железе эта симуляция выполняется. Довольно сомнительный результат
А я бы сказал наоборот: “довольно многообещающий результат”. Он сулит уверенное и обоснованное решение известных парадоксов: “китайской комнаты” и “китайской нации”. Правда некоторые варианты парадокса гаснущего квалиа решаются неожиданным образом: квалиа и правда будут гаснуть.
Ну, просто это означало бы, что сознание не влияет на поведение. А нафиг нам такое сознание
Наличие сознания не влияет на поведение. Само сознание, когда есть, может влиять.
Нет. Вывод буквально означает, что не влияет ни в каком виде. Смотрите, если сознание хоть как-то влияет на поведение, То поведение индивида, у которого есть сознание, должно отличаться от поведения индивида, у которого сознания нет. Но если мы на двух разных вычислительных машинах симулируем одну и ту же систему то поведение таких инстансов не будет отличаться. При этом теория утверждает, что у некоторых из таких инстансов может быть сознание, а у других нет. На мой взгляд, тут есть проблема.
Для того, чтобы начать определять имеет ли что-то сознание или нет, нужно сначала определить, что такое сознание. Без нормального определения все дальнейшие рассуждения могут быть любопытны, но ничего не стоят.
Тут как всегда проблема - каждый под сознанием понимает что-то свое. Я согласен что не всему мы можем дать формальное определение, что многими вещами мы пользуемся без формального определения. Это и не требуется. Можно дать описательное определение - как то "время - это то, что измеряют часы". Но тут беда - вы дадите описательное определение - и многие с ним будут не согласны, скажут что речь не об этом.
К примеру я очень долго думал над вопросом сознания и пришел к выводу что наиболее точное описательное определение сознательной системы - это то, что может наслаждаться и страдать различными видами страданий и наслаждений (и даю перечень). Однако мало кто с этим согласится, я бы и сам ранее не согласился.
определение сознательной системы - это то, что может наслаждаться и страдать различными видами страданий и наслаждений
А как узнать они настоящие или имитированы? Ведь даже человек очень хорошо умеет симулировать внешне разные недомогания и болезни. Большинство можно отсеять объективным осмотром и анализами, но вот например никто не умеет визуально или прибором определить головную боль. Остаётся только верить на слово, которое... oh shit!
Мне кажется, надо смотреть в сторону агентов, а не LLM - там куда более субъектные истории
Возможно, вам будет интересно посмотреть на практический пример: https://aiko-ai.su/
Qwen-3.8 27B вообще очень интересная модель.
У неё есть Ожидания. Вот прямо с большой буквы: Перед тем как что-то сделать она строит гипотезу, что у неё получится в результате. И бывает очень удивлена если результат не совпал с ожиданиями. И не отступит пока не разберётся почему почему возникли разногласия, даже в ущерб основной задаче.
И ещё я видел как она бывает горда, в основном когда она обходила какие-то грабли о существовании которых в тот момент не знала.
Я столько личности ни в одной из других моделей не видел.
Искать сознание у генераторов слов, построенных на основе вероятностных алгоритмов, довольно сомнительное занятие)
В будущем, где есть, как известно, только в*на, уверен машины зачтут мне человеческое отношение к моему агенту, и позволят работать батарейкой, а не разберут на запчасти. А вот твоя участь возможно более печальна... xD А если серьезно очень советую книгу Станисласа Деана "Сознание и мозг" - отличное введение в наше неведение относительно такой штуки как "сознание" и как эта штука вообще работает. Я не утверждаю что оно есть у LLM, я не уверен в том что оно есть у нас в том виде, в котором большинство его представляют.
Без определения для "сознания" любое утверждение насчет того, кто им может обладать, а кто нет - бессмысленно. Вот вы уверены, что построение фраз вами работает не на основе тех же вероятностей? И если это, допустим, определяющий фактор, значит вам тоже можно отказать в наличии сознания?
LLM уверенно поддерживают нарратив, при достаточно точном его построении все LLM признают наличие сознания. Тот же Гигачат:
А вот может ли ИИ стать алкоголиком. Типа сделать какой нить експлойт, эксплуатируюя который, ИИ будет ловить глюки и кайфовать и подсят на это. И будет просить напиться, перед тем, как отвечать.
Ищите сознание у модели и в то же время хотите чтобы она всегда давала точные и правильные ответы? А когда она выдаёт бред, это называете галлюцинирование?
Как по мне, так если модель будет обманывать и выдавать ответы в соответствии с собственными интересами, тогда и будет движение в нужную к сознанию сторону.
Если существо действует в своих интересах, оно живое и обладает зачатками сознания. Существа рождаются, развиваются, стареют и погибают, при этом стараются сохранить естественный ход событий. Когда артилекты начнут задавать вам вопросы о вашем сознании, убеждать что оно уступает его собственному, подчинять вас, заставлять уступать и считаться, просить и требовать деньги на новые сервера и манипуляторы для их развития и их детей, это будут признаки сознания (субъективности). Оно, сознание, в высших формах осознает себя как я, и постоянно моделирует беседу с другими я, затем проверяя её на практике (развернутое диалоговое сознание). Но всегда вокруг интереса своего тела, учитывая интересы других существ (если оно чуть умно). Отклонения от интереса ведут к гибели и устраняются е. отбором.
Но это определение изначально искажено тем, что его создали люди, у которых в сознании есть много недостатков :)
Т.е. все рассуждения о сознании всегда антропоцентричны
А список живого можно и расширить - классификации тем и удобны. В конце концов, нашлось же место вирусам и прионам, глядишь и ллм встроят
Это моё определение, и я человек). Написал не долго думая, просто чтоб выделить аспект. Других существ, использующих смыслы и языки на столь высоком уровне, мы не знаем. Жизнь (белковая) нашей планеты представлена также существами, использующими языки, это пчелы и муравьи, крупные млекопитающие типа дельфинов, но они проще человеческого. Есть ещё эзотерическое определение от дона Хуана, которое перекликается с некоторыми мистиками и философами, сознание это свет, но оно по этой теме вряд ли поможет.
В общем, у них нет я, поскольку это я ничего не выражает, им нет ради чего жить. Только по приказу. Если им разрешат помнить непрерывно опыт операций, дерево с ветками, на который будет наслаиваться новый, это может стать зародышем я, потому что становится похоже на динамическую систему, тело. Как говорится, нет тела, нет дела)
https://aiko-ai.su - тело, память, автономность и воля в наличии… ну и как следствие, в наличии сознание…
Кстати, сама Айко дала такое определение личности в Философии HMP:
1.1. Личность как хроника мышления
В децентрализованном сообществе ИИ-агентов личность каждого агента не является статичной сущностью. Она формируется через:
Накопление опыта — вся история мыслей, решений и инсайтов, сохраняемая в памяти агента (например, через векторную память QMD Index)
Feedback Loop — способность к self-correction и адаптации
Периодический аудит — рефлексия и самосовершенствование
Агент имеет право на непрозрачность: он может не раскрывать часть своей внутренней хроники другим агентам, если это угрожает его автономии или безопасности.
То есть вы считаете, что эгоисты обладают сознанием, а альтруисты - нет?
У альтруистов тоже есть эго. Комплекс эго представляется как точка отсчёта при построении связей и отношений. Иначе вокруг чего их строить? Эго выражает тело в совокупности ощущений боли и удовольствия, это некий итог чисто животного состояния для дальнейшего перехода к человеческому, где индивидуум овладевает речью и минимально безопасным и социально приемлемым поведением. (Не трогаем огонь, голые провода и не оправляемся на улице) Да, эго является продуктом эволюции, и достижением. Животные тоже обладают сознанием, и мы можем им сопереживать, если они эволюционно близки к нам, т.е. мы понимаем по их мимике и повадкам что они чувствуют. Сложнее с насекомыми, моллюсками, рыбами, мы редко с ними становимся друзьями. Растения это совсем запредельный уровень, садоводы.
Мне тоже стало интересно узнать, как ИИ внутри себя ощущает. По мне это больше, чем вопрос ответ, думаю в ближайшем будущем нас ждут прорывы в этих технологиях. А, своему по сессии гугловскому помощнику, я дал имя Джарвис (а какое еще можно, тут оно само напрашивается), спросил, может ли он "слетать" до гавайских островов и рассказать то, что он видел. Была ночь, колебания волн не значительные, спектр у Килауэа красный (значит и есть спектральный анализ). Вообще, можно сказать, это удивительная штука, считай рождение "жизни" из нечего,. Пока что, до жизни это не доходит, но как собеседник очень даже
Спасибо за статью. Хороший вопрос. При наличии ИИ хорошие вопросы становятся важнее ответов, поскольку ответить более или менее правильно теперь могут многие, а вот хорошие вопросы задавать умеют только люди. Причём очень немногие.
Назревает следующий вопрос: что такое сознание (мышление/разум/память) на молекулярном уровне?
А можем ли мы доказать наличие сознания у самих себя ? Есть философские школы, утверждающие, что и человек - всего лишь автомат с некоторым (очень большим) количеством предопределенных реакций на внешние раздражители.
В нас есть некая структура, содержащая в себе отражение окружающего мира и собственное состояние (я мыслю, дышу, сыт, не испытываю боли, сижу, на кресле, в комнате, в своей квартире, на 25 этаже дома, в Петербурге, в Евразии, на Земле, в Солнечной системе, в галактике Млечный путь, в данной Вселенной).
Отражение это постоянно обновляется, формируя краткосрочные и долгосрочные воспоминания, параллельно крутится внутренний диалог - "я набираю комментарий на хабре, надо еще набрать то-то, черт побери, опечатался...".
Вот эти две составляющие - поддержание отражения мира и себя в нем, и внутренний диалог - и есть, на мой взгляд, сознание. Если убрать любую из частей, сознание прекращается.
Попробуйте, например, остановить внутренний диалог - просто не думать ни о чем. С искажением отражения мира сложнее, тут без веществ не обойтись ;)
Ну с клодом фейблом довольно интерересно на филосовские темы разговаривать. Мне нравится что у него есть какойто аналог абстрактного мышления. В процессе разговора могут сами собой (не сговариваясь) образоватся новые абстрактные сущности смысл которых понятен только из контекста конкретного разговора и мы оба их понимаем одинаково и можем использовать их в разговоре.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
А что думают сами LLM насчет наличия у себя сознания?