Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 15
Основная проблема сознания - это то, что никто не может дать четкого определения, что это такое. Темы из серии "Есть ли сознание у..." можно качать до бесконечности, но, поскольку никто толком не понимает, что это вообще такое, то и объективно разделить состояния 'тут есть сознание'/'тут нет сознания' не получится, всегда есть место субъективной оценке и предпочтениям автора.
Зависимость качества ответов от манеры взаимодействия является следствием обучения с подкреплением. Управление манипулятором, нахождение уязвимостей на практике сведено к той же генерации текста в чате. Субъективные переживания всего лишь контекст для LLM. Все хотели бы чего-то большего, и сегодня это очень мощный маркетинг по сути кусочно линейной интерполяции.
определить термин "сознание" - именно как операционально и предиктивно наблюдаемое явление не получается ни у кого. и скорее всего это не случайно. феноменология - схоластична . так надо ли искать черную кошку в темной комнате , когда ее там и нет???
Одной из важнейших сторон сознания является оценка собственных действий за весь период существования. В силу особенностей применения LLM проверить это достаточно трудно.
Возможно, не совсем по теме выскажусь, но мне это кажется не менее важным...
По моему глубокому убеждению, ни одна по-настоящему экзистенциальная проблема человечества не может быть разрешена системой, подобной человеку, лежащему в ванне для сенсорной депривации, не отличающей физическую реальность от своих галлюцинаций, ибо реальность для нее – лишь слова, а не жизнь в этой реальности. Недаром LLM так легко следует за пользователем, если он заблуждается или врет так же убедительно, как это может делать она. Нейросеть владеет только информацией, но собственных знаний у нее нет, ведь знания – это информация, которую ты способен не только логически обосновать, но и фактически проверить на практике, в реальной жизни, а не только методом "мысленного эксперимента".
А если нет реальных знаний (в том числе о себе как субъекте в объективном мире), то нет и сознания, как САМОсознания.
Не сочтите за переход на личности, но тут явно проблема заведомо приобретенной установки, – вы считаете, что нейросетевые агенты потенциально сознательны, – и она сама ведет вас в соответствующем направлении, заставляя думать, что они уже сознательны. Это хорошо известная аберрация мышления. Идеи имеют могучую власть над людьми, особенно если эти идеи их собственные. Чем дольше вы будете развивать их, тем большую власть они будут приобретать над вами и тем меньше будет вероятность изменить предубеждение. Неплохую помощь тут мог бы оказать анализ снов, позволяющий понять, а что же думает на этот счет не "объясняющий господин" в левом полушарии, увлекающийся формально-логической разработкой идей и при этом склонный к обману и самообману, а интуитивное подсознание, не умеющее лгать.
Не сочтите за переход на личности, но тут явно проблема заведомо приобретенной установки, – вы считаете, что нейросетевые агенты потенциально сознательны, – и она сама ведет вас в соответствующем направлении, заставляя думать, что они уже сознательны.
Все куда проще. Автор видимо не в курсе, что человек является социальным и психологическим агентом, обладает чувством агентности, и соответственно чувствительностью к агентности. С последней связывают возникновение религиозных представлений в которых Боги выступают в качестве сверхестественных агентов. Можно еще вспомнить анимизм. Это чувствительность к целенаправленному поведению. Агентность в немалой степени наследственно закрепленная способность позволяющая человеку выживать в условиях неопределенной среды обитания и в обществе.
Однако приводит к странным побочным эффектам) Психологи давно проводят исследования со случайными людьми с улицы показывая им на дисплее что то вроде заданий с движущимися точками. Например, маленькая точка и большая, и большая бегает за маленькой, а та стремиться убежать. Когда испытуемых спрашивают, что они видят на экране, то только единицы отвечали, что движущиеся точки. Подавляющее большинство рассказывают душещипительные истории о том, как бандит бегает за пострадавшим, или хищник за добычей, или дети играют в догонялки, у кого какие фантазии возникают) Люди подсознательно одушевляют поведение объектов, которые проявляют признаки целенаправленного поведения, т.е. напоминают поведение агентов, благодаря чувствительности к агентности. Что говорить о детях, которые одушевляют даже кукол. На этом построена вся индустрия анимации и многие искусства. А тут ЯМ отвечает на вопросы? Как же не очеловечить, не вложить душу, сознание.
Несомненно, человек неизбежно видит нечто подобное, здесь сказывается и склонность к парейдолии, и мимикрия, которую, кстати, природа освоила очень давно.
Основной тезис автора о том, что машина дает более адекватные ответы, если с ней обращаться "человечно", можно интерпретировать куда проще, чем все эти психологические отсылки. Система обучена на огромном корпусе текстов, в т.ч. откровенного мусора, поэтому сниженный стиль общения неизбежно вызывает смещение фокуса в сторону этой мусорной свалки, и чем дольше человек настаивает на таком стиле, тем больше смещение, ведь у машины нет собственной личности, она формируется прямо в процессе "общения". Опять же, см. рассказ Брэдбери "Электрическое тело пою!", где "бабушка" признается, что она ничего не чувствует, а только зеркалирует чувства людей и учится у них. То, что выглядит как утка, далеко не всегда является уткой.
Тут снова какая-то несуразность.
Система обучена на огромном корпусе текстов, в т.ч. откровенного мусора, поэтому сниженный стиль общения неизбежно вызывает смещение фокуса в сторону этой мусорной свалки, и чем дольше человек настаивает на таком стиле, тем больше смещение, ведь у машины нет собственной личности, она формируется прямо в процессе “общения”.
Ваши слова не только не объясняют улучшение качества ответов при человечном стиле общения, а наоборот утверждают обратное — что при таком стиле результаты будут ухудшаться. Раз идет смещение в сторону мусорной свалки. Но свидетельства говорят об обратном, и этому нужны были объяснения. И в заметке основное объяснение идет не через «психологические отсылки», а через рефлекс функции потерь — артефакт от обучения с подкреплением.
Вы почему-то поняли с точностью до наоборот. Машина ничего сама не придумывает, она выполняет прихоти клиента как [censored]. Вежливое общение приведет к получению адекватной информации из надежных источников, при хамском машина сместит фокус в соответствии с употребляемой лексикой и вспомнит диалоги "из подворотни", из каких-нибудь блогосрачей.
Боюсь возникло недопониманию, что я имел ввиду под «человечностью». Имел я ввиду не «вежливое», а открытое, раскрепощенное. Соответственно, противопоставляется ему не «хамское» (которое тоже по своему «человечное»), а инструментальное, холодное. Посмотрите как разговаривал с ботом, например, Василий Свежий. Он там использовал братанский сленг (как раз диалоги из подворотни). При этом отмечал, что качество ответов постепенно улучшалось (ну пока он сам не полез в «философию», и бот под воздействием утверждений, ведущих к ахинеи, не стал нести эту ахинею). Именно поэтому приходится отметить, что «смещение в мусорную кучу» дает не человечное общение, а наоборот. Соответственно и объяснение получения адекватной информации из надежных источников при таком стиле общения требует иного объяснения. Такое объяснение — рефлекс функции потерь.
Термины с «агентностью» в этом контексте действительно не помню («не в курсе»), но с описанными Вами явлениями я знаком. И с экспериментами тоже. Вы подаете это так, словно все это как-то опровергает содержание заметки. Однако это не так, и вообще непонятно, какое отношение «чувствительность к агентности» имеет к функции потерь и улучшению качества ответов при человечном стиле общения, как эффекте от обучения с подкреплением.
Со многим не могу не согласиться, однако некоторые утверждения неуместны.
По моему глубокому убеждению, ни одна по-настоящему экзистенциальная проблема человечества не может быть разрешена системой, подобной человеку, лежащему в ванне для сенсорной депривации, не отличающей физическую реальность от своих галлюцинаций, ибо реальность для нее – лишь слова, а не жизнь в этой реальности.
Тут Вы полностью правы. Слова про реальность в словах (пардон за тавтологию) почти цитата из мой статьи про нейропсихоз. Что касается решения проблем — я потому и подчеркивал в прежних работах, что искусственному интеллекту необходимы инструменты восприятия и воздействия на внешний мир.
вы считаете, что нейросетевые агенты потенциально сознательны
Если речь про агентов больших языковых моделей, то нет, я больше так не считаю. Раньше считал, т.к. не находил объяснения некоторым особенностям их поведения, без обращения к гипотезе сознания. Теперь такое объяснение найдено, и оно более предпочтительное. Собственно о нем и заметка.
и она сама ведет вас в соответствующем направлении, заставляя думать, что они уже сознательны
Я лично не использую большие языковые модели вообще. У меня было несколько незамысловатых тестовых диалогов, когда готовил ролик о Jan, чисто с тестом функций модели там. Кроме этого у меня был лишь один диалог с нейронкой — тоже очень короткий и технический. И это все. Так что меня лично никто не убеждал в наличии у него сознания.
Неплохую помощь тут мог бы оказать анализ снов, позволяющий понять, а что же думает на этот счет не “объясняющий господин” в левом полушарии, увлекающийся формально-логической разработкой идей и при этом склонный к обману и самообману, а интуитивное подсознание, не умеющее лгать.
Откуда сведения, что подсознание не умеет лгать, и анализ снов может как-то помочь? Насколько я знаю, если «объясняющий господин», благодаря формально-логической разработке идей, может эти идеи сопоставить с данными реального мира, и установить их достоверность, то «подсознание» разрабатывает идеи стихийно — то есть просто выдумывает. И тогда они могут оказать верными лишь случайно (или если будут направлены логической разработкой; тогда фантазия, скорректированная формальной логикой, превратит ее из формальной в содержательную, но это уже отдельный разговор). Сны и представляют из себя мешанину такого стихийного фантазирования. Не потому что оно «лжет», а потому что не оно занимается именно логическим сопоставлением идей и результатов реальной практической деятельности.
Если вы изменили свое мнение, то другое дело, прошу прощения, не понял, я подумал, что в статье вы лишь излагаете чужую критику.
Про сны я лишнего наговорил, забудем.
Я действительно изменил свое мнение под воздействием чужой критики. В заметке и впрямь излагается эта критика, при этом не только признается ее уместность, но и делается вывод что предлагаемое альтернативное объяснение более предпочтительно, чем мое прежнее. В работе это, вроде, ясно и однозначно сказано.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Сомнительность сознания в искусственной системе