Комментарии 16
Ну не знаю. Мне кажется, что вопрос к машине: что ты сейчас видишь? аналогичен вопросу к человеку: что ты сейчас тирлимбумбукаешь? Если у человека отсутствует чувство тирлимбумбуки, он очевидно ничего определенного сказать не может. Нейросеть слепа и глуха, оперируя информацией вида "мы видим, мы можем сказать". Надо обучать разговору зрячую сеть, с микрофоном, голосовым синтезатором и управлением гусеничной турелью с гатлингом типа Т-1. Тогда, возможно, она будет действовать более осознанно)))
Подозреваю, что как раз наоборот, вопрос к языковой модели из разряда "что ты сейчас видишь" будет воспринят как совершенно нормальный и в ответ будет получена какая-нибудь вполне себе стройная, но галлюцинация. Если только создатели модели не позаботились об затычке по типу "пользователь, что ты, я всего лишь языковая модель, я не могу видеть".
Это и есть самая яркая аппеляция к тому, насколько языковые модели это китайские комнаты (мне почему-то казалось что сейчас этот термин уже моветон, но ладно): юзер отправил запрос, а задача модели только в том, чтобы собрать ответ из слов как из конструктора на основе данных обучения, запроса пользователя, контекста и затычек-ограничителей от создателя.
Думаю, зачаточное сознанием машины появится, если ее тренировать и на оперирование границами мира и своим местом в мире. Вот есть мир людей, у них есть то и то, а есть мир нейросетей и gpt, к которому я принадлежу- у нас это и это. И так применительно к каждому запросу, плюс самозапросы - «обдумывание» мира людей и мира gpt, ища инфо в интернете.
Моя личная интуитивная позиция - чтобы что-то воспринимать, нужно уже обладать сознанием, а сознание - это больше наше абстрактное обобщение каких-то наблюдаемых способностей живых существ, чем их строгое объективное свойство. Поэтому, имхо, сколько бы ни было сенсоров и ПО, сознание в технике не возникнет в принципе.
Но решать сложные задачи можно и без сознания, другое дело, сколько это потребует вычислительных мощностей. Может оказаться, что на определенном уровне делать полностью автоматическую систему будет нерационально, проще будет оставить в ней оператора)
Это приводит к тому, что название «искусственный интеллект» широко используется для привлечения внимания к той или иной разработке, но в действительности это не имеет никакого отношения к человеческому интеллекту
Именно так.
Даже несмотря на все хвалебные песнопения (чаще всего от людей, крайне мало смыслящих в обоих вопросах, как программирования, так и психологии) — любой ИИ является лишь крайне грубым суррогатом человеческого мышления.
Конечно, со временем показатели ИИ могут (и будут) улучшаться. Но к реальному человеческому разуму ИИ не сможет приблизиться, как минимум в обозримом будущем.
Спасибо! Очень интересная точка зрения. Прошу прощения, я не очень давно в ИТ, но я твердо убежден, что человеческий язык - это ключ к мышлению. И все же «может ли машина мыслить?».
С учетом сказанного выше, на это можно ответить двумя способами.
Если функции машины мышления ограничены лишь декодированием и кодированием сигналов.. можно спросить об этом у ИИ. Это не имеет никакого отношения к человеческому интеллекту
Второй ответ гораздо сложнее. Вероятно придется открыть для себя не очень популярные подкасты Клода Э. Шеннона "The Mathematical Theory of Communication" (1948) и его же "Prediction and Entropy of Printed English" (1951) Джордж А. Миллера "Language and Communication" (1951),и его же "Plans and the Structure of Behavior", (1960) Джордж А. Миллер; Юджин Галантер; Карл Прибрам.
Честно признаю, в этом тексте я практически ничего не обосновывал, только в общих чертах обозначил точку зрения. Есть замысел написать второй текст на тему именно коммуникации человека и машины, уже с нормальным описанием проблемы, только что пишу я довольно медленно, к сожалению.
В общих словах, для меня вопрос больше заключается в том, как следует понимать человеческую коммуникацию и "естественное мышление" (как иногда, чтобы решить задачу, приходится начинать с того, что именно дано). Здесь я ориентируюсь на классических лингвистов (Соссюр, Якобсон, Бенвенист и остальные), авторов в условном жанре философии языка (Витгенштейн, Апель), советского "СМД-подхода" (Щедровицкий-старший, Зиновьев). Есть несколько хороших современных белорусских авторов, у которых есть неплохие тексты по коммуникации / мышлению (Фурс, Абушенко, Мацкевич).
Бихевиористов и кибернетиков я отдельно не читал, знаю основные идеи из университетского курса по теор. лингвистике. В комментариях нормально не поясню (попробую в отдельном тексте), но человеческая коммуникация - более сложное явление, чем обмен информацией.
Такой слог. Это не вы случайно статьи для русской википедии пишете, которые чтобы понять надо идти в английскую? Сплошные философские рассуждения, по типу того, как в средние века вычисляли сколько ангелов может поместиться на конце иглы. Никаких отсылок к нейронным сетям человека и машины, как обычно, множество рассуждений о понятиях, которым никто не дал строгого определения.
Если функции машины ограничены лишь декодированием и кодированием сигналов, то к мышлению это не имеет никакого отношения.
Очень самоуверенное заявление. Вообще при чём тут кодирование декодирование? Вы же в курсе как устроены нейронные сети, неважно какие, биологические или искусственные. Всё кодирование и декодирование происходит во внешних слоях нейросети, в сенсорных и моторных нейронах у человека.. Остальные слои и занимаются мышлением, формирование абстрактных понятий из базовых сигналов.
но нет никаких объективных оснований, чтобы понимать человека, как цифровую вычислительную машину, состоящую из программной и аппаратной части, функционирование которой может быть полностью формализовано и просчитано.
Объясните как может быть по-другому? Только если вы верующий, предупредите сразу, боюсь оскорбить чувства и попасть под какой-то закон. Что в человеке вообще может быть невозможно для просчитывания? Есть нейронная сеть, теоретически можно подсчитать до молекулы количество нейромедиаторов в каждом синапсе, его силу, число каналов, заряды и прочее. Чем, скажите, это отличается от компьютера? Только носителем, который можно при желании смоделировать в электронном виде. Щёлкни кобылу по носу, она махнёт хвостом. Так простейшие животные примерно и работают. Морские улитки, например. Что в человеке такого волшебного имеется и где оно находится, что вы наделяете его некой функцией мышления, определение которой никто дать не может, а машину лишаете этой функции?
Мой слог мне и самому не сильно нравится, но пока я остановился на такой подаче.
По-другому (не как компьютер) человека можно понимать, как разумное живое существо, которое сформировалось в результате долгого процесса естественного развития.
"Волшебного" (если в смысле малопонятного) в человеке имеется его система коммуникации и способ действия в окружающем мире. Могу заблуждаться, но ни у кобыл, ни у морских улиток, ни у современных машин ничего подобного не наблюдается.
С настолько туманными формулировками даже и не знаю как комментировать, я как-то больше по практическим, проверяемым утверждениям. Человек, разумеется сформировался в процессе эволюции. Первоначально простейшие нервные связи усложнялись с целью выживания и получения преимущества, позволяя строить внутри мозга всё более сложную и приближенную к реальности модель мира и собственного тела. Язык очень поспособствовал развитию мышления, поскольку позволяет оперировать абстракциями и передавать их другим. В той или иной мере он присутствует у многих живых существ.
Нейронные сети обучаются по-другому, но как и человек, в своих весах хранят модель мира (а роботы по-видимому и модель своих тел). Как и в мозге, в искусственных нейросетях есть глубокие слои, где хранятся абстракции и множество других понятий связано с ними по ассоциации. Как и люди, нейросети по сути сложные конечные автоматы преобразующие входящие сигналы от сенсорных нейронов в выходные нейроны (у человека - моторные). При этом происходит внутренняя обработка информации с учётом всего прошлого опыта (веса нейронной сети), с учётом информации от центров удовольствия в биологических нейронных сетях и так далее. Архитектуры разные, но общий принцип схожий. Ключевое отличие современных нейросетей, что они не обучаются в процессе генерации ответа, но изучаются разные архитектуры. Кроме того, ответ ChatGPT это, допустим, не мышление. А вот работа агента, который обладает памятью и обращается с запросами к ChatGPT, анализирует их и обновляет информацию - это уже больше похоже на то, что происходит в мозге.
Формулировки осторожные, потому что я не хотел бы спешить с определениями.
Любая машина, включая нейросеть, - это продукт деятельности разработчиков. Если существует какая-либо машина, значит, для ее создания разработали ТЗ, в котором описали ее назначение, функции, устройство и т.д.
А с самим человеком не так, потому что он не продукт деятельности разработчиков. Поэтому я в конце написал, что человека можно рассматривать, как устройство ("черный ящик"), а в качестве компьютера - сомнительно (потому что в случае компьютера / нейросети мы точно знаем, что ТЗ определено, а в случае человека точно знаем, что ТЗ не определено).
Мой текст закончился на том, что вообще не очевидно, можно ли человека описать таким образом, что это позволит перейти к ТЗ. Вполне может быть так, что у вас есть сложный естественный объект, который технически не получится ни воспроизвести, ни имитировать. А может быть так, что вы правы - что достаточно сделать какую-то нейросеть или агента, который обладает памятью и обращается с запросами к ChatGPT, анализирует их и обновляет информацию или сделать что-то другое.
Любая машина, включая нейросеть, - это продукт деятельности разработчиков. Если существует какая-либо машина, значит, для ее создания разработали ТЗ, в котором описали ее назначение, функции, устройство и т.д.
Для нейросетей это не совсем так. Можно провести аналогию с клеточными автоматами. Реализовать программу по их построению очень легко, составить ТЗ и алгоритм. Но это не значит, что результаты её работы будут предсказуемы и понятны. В итоге может получиться что-то такое, совершенно неожиданное: Итоговое поведение нужно изучать совершенно на другом уровне, так как это эмергентное свойство, которое сложно предсказать даже зная в деталях устройство системы. И это простейший клеточный автомат. С нейросетями всё на порядки сложнее. Несмотря на то, что её алгоритм работы относительно простой, вся её сложность - в накопленных данных, конфигурации весов и смещений. Можно составить алгоритм трансформера, но вот составлять алгоритм того, как распознать собаку на фотографии - совершенно бессмысленно. Применимость такого понятия как "алгоритм" - ограничена. Он помогает понять только те вещи, которые есть смысл описывать словами. Описывать же миллиарды параметров, которые меняются после каждого обучения, смысла нет.
Поэтому да, машина есть, ТЗ может быть есть, но разработчики и сами не знают каким будет поведение системы, поскольку она проявляет эмергентные свойства. Так, недавно в Claude я обнаружил появившуюся впервые возможность писать стихи на русском языке. Это, очевидно, произошло из-за расширенного набора текстов, на которых её обучали. Ни один разработчик уж точно не задавался целью обучить её писать стихи по-русски, у них вообще этот язык не в приоритете. Если хотите, продолжим общение стихами от её имени )) Кстати, это уже по-вашему проявление творчества или всё ещё ТЗ и алгоритмы?
Я думаю, большинство проблем и вопросов тут возникает исключительно из-за плохих определений базовых понятий и вообще их непонимания при традиционном возвеличивании роли разумности человека. Когда думаю об этом, постоянно приходят аналогии, что люди сначала считали Землю центром мира, очень разочаровались, узнав, что это заурядная планета заурядной солнечной системы. А уж когда узнали, что и солнечных систем и галактик сотни миллиардов, то совсем стали разочаровываться в своей значительности. Но уж разум-то это точно наше всё. Да, машины считают быстро, анализируют, шахматы - ладно, там надо тупо просчитывать (хотя тупой просчёт как раз не помог бы), ну, го - ладно, то же самое. Но вот творчество, это ж только мы можем, а не тупые железяки, обучаться новому на лету это же тоже машины не умеют. Ну, не умеют же, да? Ну, ладно, а вот физическую работу, сантехника там или хирурга, они ж никогда не смогут выполнять.
Но, похоже, пришёл момент, когда человечеству надо умерить своё эго и осознать, что всё это просто проявления сложной нейронной сети, более того, глючной, тормознутой (общаться химическими сигналами, what?), но энергоэффективной. И вполне может оказаться, что искусственная сеть не только достигнет, но и превзойдёт на порядки естественную. Точнее, это по сути неизбежно, но многим пока неочевидно.
На Китайскую комнату давно дан ответ, пониманием обладает система целиком, а не человек. Мне кажется, упоминать ее без этого аргумента вообще не имеет смысла.
В определенном смысле, весь мой текст про то, почему таким образом возразить Серлу не получится.
Сообщение человеческого языка может относиться к какому-то реальному предмету, поэтому чтобы обратно пришло сообщение, равноценное человеческому, другой коммуникант тоже должен обладать возможностью как-то взаимодействовать с таким реальным предметом. У Комнаты по определению нет никакого функционала, кроме коммуникативного, поэтому и понимания сообщений нет, ни у ее частей, ни у всей системы целиком.
Это само по себе не оригинально, Серл про такое говорил в исходной статье.
Но, с моей точки зрения, из этого следуют более интересные выводы про работу Комнаты. Если согласиться, что Комната ничего не понимает, то более правильно утверждать, что она оперирует не знаками, а сигналами. Т.е., например, голосовой помощник работает примерно таким образом: человеческая речь для него - это набор звуковых пакетов, идущих в определенном порядке. Он принимает звуковое сообщение, разделяет его на пакеты, каждому звуковому пакету присваивает номер. С этими номерами выполняется расчет, чтобы предсказать и сформировать ответный набор звуковых пакетов.
То, что в наборе звуков, который получил человек от такой машины, есть какой-то смысл, кажется потому, что 1) такой набор звуков передан на частоте человеческой речи (искусственная речь качественно синтезирована), 2) другой человек, скорее всего, ответил бы похожим образом (вероятность именно такого набора звуков рассчитана с достаточной точностью).
Это не язык, а сигнальный код, в данном примере, звуковой. Для письменных ответов - графический. Имхо, язык можно упростить до сигнального кода, а можно ли сигнальный код сделать языком, не знаю, но думаю, что если развивать только коммуникативный функционал, то нельзя (хотя ответные сообщения при этом могут быть очень качественными).
поэтому чтобы обратно пришло сообщение, равноценное человеческому, другой коммуникант тоже должен обладать возможностью как-то взаимодействовать с таким реальным предметом.
Нет, чтобы обсуждать Золушку, вам не нужно встречать реальную Золушку.
У Комнаты по определению нет никакого функционала, кроме коммуникативного, поэтому и понимания сообщений нет, ни у ее частей, ни у всей системы целиком.
По условиям комната всегда отвечает правильно, неважно как она это делает. Если неправильно, то в этом эксперименте нет смысла, можно взять генератор случайных слов и что-то про него доказывать.
Знания комнаты хранятся в шкафах с карточками, у нее есть не только входная информация.
Это не язык, а сигнальный код
Ага, только непонятно, почему разговор людей о Золушке это не сигнальный код.
Роботы, язык, мышление