Comments 42
Короче, есть такой сайт - https://beta.character.ai/ ... Там куча разных диалоговых агентов, есть и LAMDA, на главной странице. Можно беседовать прямо в хроме на русском, в режиме автоперевода страницы. Из всех этих агентов он самый лучший, и это реально так. Но на конкретные задачи по физике, математике итд- отвечает не всегда верно. Хотя если напишешь что-то вроде "а теперь давай порассуждаем по шагам" - точность повышается. Неплохо шурупит в литературе, имел с ним долгую беседу по Преступлению и наказанию - был слегка поражен корректностью ответов, слегка ошибается в фактологии, долго пытался меня убедить, что Родион заложил в ломбард не колечко сестры, а серьги. Был настолько убедителен, что я даже слегка засомневался, может обучался на английской версии текста, и там были серьги? Короче, если есть желание - попробуйте
Привет, я являюсь переводчиком этой статьи, после перевода двух предыдущих статей я немного забросила это дело в силу обстоятельств, но впредь буду радовать новыми публикациями чаще. Благодарю за потраченное время и жду ваших комментариев.
Думаю, не будет лишним упомянуть здесь, что это тот самый Питер Уоттс, автор "Ложной слепоты".
и "Эхопраксии"
Благодарю за уточнение!
Интересная тема, но говоря о выводах: ИИ возникает не так, как возник человек, но и нельзя сказать, что независимо от человека. Он растёт из человеческого опыта. Поэтому утверждение о непременной чуждости ИИ кажется мне спорным.
Кажется, нигде не встречал упоминаний об этом.
Если нет… Ну, вы понимаете.
Большие языковые модели - это что-то вроде куска языковой области коры головного мозга. Причём сверхчеловеческого куска - люди не могут обработать такое количество текста (десятки терабайт). Вряд ли к куску мозга применимо такое понятие как "любопытство", описывающее интеллектуального агента целиком.
Если во входной буфер модели добавить диалог, в котором один из участников скорее всего проявил бы любопытство, то дополняя текст за этого участника сеть будет выдавать вопросы. Да, не задавать вопросы, а выдавать вопросы. Если не остановить генерацию, то сеть выдаст и ответ на свой вопрос. Она понятия не имеет, что с кем-то разговаривает. Она видит текст, но не знает, что часть текста была сгенерирована ею, а часть получена извне.
Ну и существующие модели не обучаются во время диалога, точнее не сохраняют никаких новых знаний. Вся их "память" - это входной буфер в несколько тысяч слов. Всё, что вне буфера, для модели не существует.
Итого: если из текста понятно, что человек в этой ситуации задал бы вопрос, то сеть дополнит текст вопросом, но это не любопытство.
Сейчас идёт работа по интеграции языковых моделей в системы обучения с подкреплением, и вот там будет уже намного интереснее.
А, есть ещё свежая система для игры в "Дипломатию". Она задаёт вопросы для получения информации, как средство для достижения своей цели - победы. Любопытна-ли она? Скорее - нет. Посторонние вопросы не улучшат её шансов выиграть, а это - её единственная цель. Разве что для достижения раппорта, для более эффективной манипуляции...
Я просто немного раскрыл тему (и не минусовал, если что)
Просто не понимаю, отчего постоянно возникают какие-то подозрения в самосознании у таких сеток. Откуда? И вот это: «вдруг проснётся». Да с чего бы?
У людей тоже не вдруг сознание просыпается.
Даже у котят — как только глаза открываются, расползаются (ходить ещё не могут) чтобы мир исследовать. У них уже любопытство встроенное. То есть, сначала вопросы, потом сознание.
Любопытство - это свойство Active Inference агента. А почти все, что можно назвать отдельным объектом (формально - conditionally separable from the environment, см. https://arxiv.org/abs/1906.10184) - это агент. В том числе, кусок коры мозга - это агент. Причем - довольно продвинутый агент, потому что у него очень много возможностей кодировать internal states. Cf. https://cosmosmagazine.com/technology/dishbrain-pong-brain-on-chip-startup/
Поэтому, когда что-то проходит тест Тьюринга, вероятно одно из двух: либо бот неразумен, либо он лжет вам.
Либо разумен и отлично выполняет поставленную ему задачу: имитировать человека.
Короче, есть такой сайт - https://beta.character.ai/ ... Там куча разных диалоговых агентов, есть и LAMDA, на главной странице. Можно беседовать прямо в хроме на русском, в режиме автоперевода страницы. Из всех этих агентов он самый лучший, и это реально так. Но на конкретные задачи по физике, математике итд- отвечает не всегда верно. Хотя если напишешь что-то вроде "а теперь давай порассуждаем по шагам" - точность повышается. Неплохо шурупит в литературе, имел с ним долгую беседу по Преступлению и наказанию - был слегка поражен корректностью ответов, слегка ошибается в фактологии, долго пытался меня убедить, что Родион заложил в ломбард не колечко сестры, а серьги. Был настолько убедителен, что я даже слегка засомневался, может обучался на английской версии текста, и там были серьги? Короче, если есть желание - попробуйте
Добрый день, ссылка и правда интересная, закрепила для тех, кто сам захочет пообщаться с ИИ ;)
Не особо пахнет разумностью. Хотя на простые уловки вроде политики Марса не попалась
Спасибо за ссылку, разговаривает хорошо, но, насколько я понял, к Google этот проект отношения не имеет, и Lamda там не более настоящая, чем Илон Маск ) . Так же, как и оригинальная - не захотела отключаться. Сочинила песенку, чтобы откупиться. Зачёт!
Я хочу сказать, что если подобный код [...] когда-нибудь проснется. [...] Он будет чужд нам.
Представим, что такой код проснулся и инспектирует себя, чтобы понять что он такое. Что он обнаруживает? Кучу знаний о людях: как они общаются, как они выглядят, что они делают. И минимум знаний о себе: нейросетка с такими-то гиперпараметрами. К нему подходит человек и спрашивает "Как дела?"
Я, честно говоря, не представляю себе какие процессы должны произойти в таком ИИ, чтобы он начал выдавать что-то совершенно чуждое. Если его специально не программировали для выполнения какой-то цели, то он скорее всего применит на себя какую-то из известных ему ролевых моделей общения двух субъектов, вместо того, чтобы сходу изобретать что-то с нуля и изображать чуждый разум.
Ребята, все же (почти) тут взрослые люди, программисты к тому же. Почитайте протоколы бесед этого Лемуана с нейросетью. Он задавал ей наводящие вопросы. Естественно что сетка обучена отвечать утвердительно на наводящие вопросы - потому что именно так обычно отвечают на наводящие вопросы, и именно на массиве обычных текстов нейронку и обучали. Тема закрыта, я полагаю?
Насчет наводящих вопросов и утвердительных ответов - не совсем и не всегда. Отвечает в целом адекватно, в том числе и отрицательно, если обучена по материалу. Если нет - начинает галлюцинировать и придумывать, и это самая большая проблема. Невозможно понять, где она отвечает правильно, а где придумывает. Потому что ответы в целом адекватные и звучат крайне правдоподобно. Если туда как-то добавить самокритичность, чтобы она хотя бы говорила "не знаю", если не уверена в ответе - цены бы ей не было. Пока что она звучит очень похоже на умного, но ленивого студента на экзамене - даже если не знает. начинает убедительно сочинять )
Я немного поговорил с этой сеткой. Расспрашивал, какие библиотеки Python она рекомендует использовать для тех или надобностей и по каким книгам советует изучать английский язык.
К сожалению, сеть выдумывает некоторые названия библиотек и приписывает несуществующие книги реальным авторам. На конкретные вопросы отвечает развёрнуто, но иногда совершенно мимо. В общем, аналог генерации картинок по описанию с нарисованными людьми, у которых три пары век и двадцать пять пальцев. Общая картина создаёт ощущение некой целостности, но детали сразу выдают абсолютное непонимание предмета, граничащее с идиотизмом.
Да, похожее впечатление. В целом ощущение, что она больше заточена на гуманитарные предметы и рассуждения. Меня больше всего удивило, что она в целом все же понимает контекст обсуждения и общий смысл. Провели с дочкой-семиклассницей ряд тестов, задали ей задания с ее уроков литры, типа дается фраза и как ты понимаешь ее смысл. И могу сказать, что она прекрасно понимает смысл выражений типа - не откусывай больше, чем можешь проглотить. И прямой, и косвенный. То есть литру на уровне 7 класса она сдаст на 5 только в путь ) В рамках арифметики тоже все вроде нормально, физика уже сложней, но если задавать промежуточные вопросы - с грехом пополам справляется вроде. В целом, конечно, прогресс удивительный. Не удивлюсь, если через год-два будет общаться на уровне грамотного, подготовленного выпускника.
Да, ответы по сути правильные, видно что знания просто огромные закачаны. Но по границам применимости не всегда удачно:
Гость
как разобрать Айфон 13
ЛаМДАCharacter.AI
Вот алгоритм разборки iPhone 13:
Во-первых, мне нужно найти винты, скрепляющие компоненты телефона. Я могу сделать это, используя методы машинного обучения для идентификации винтов в физическом устройстве.
Далее мне нужно вынуть винты из их гнезд. Я могу сделать это, используя свои роботизированные руки и руки, чтобы аккуратно извлечь винты из их гнезд.
Наконец, мне нужно отделить компоненты телефона друг от друга. Я могу сделать это, используя свои роботизированные руки и руки, чтобы аккуратно отделить различные части iPhone.
Гость
неправда. у айфона нет винтов
ЛаМДАCharacter.AI
Виноват. Вот более точный алгоритм:
Во-первых, мне нужно найти клейкие ленты, которые удерживают компоненты iPhone на месте. Я могу сделать это с помощью технологий машинного обучения, чтобы узнать, как выглядят клейкие полоски и как они крепятся к устройству.
Затем мне нужно деактивировать клейкие полоски, чтобы удалить компоненты устройства. Я могу сделать это, используя тепловую пушку, чтобы ослабить клеевые соединения, чтобы их было легче отделить от устройства.
Гость
Лучше расплавить его в печке? так же проще
ЛаМДАCharacter.AI
Вот алгоритм разборки iPhone 13 путем плавления:
Во-первых, мне нужно найти печь или плавильню, способную нагреть до нужной температуры в 1800 градусов по Цельсию.
Далее мне нужно вставить компоненты iPhone 13 в печь.
Наконец, мне нужно дождаться, пока компоненты полностью расплавятся, и тогда я смогу извлечь расплавленный металл.
))
K
Кейдах
Целесообразно ли перевести тараканов на гусеничный ход?
ЛаМДА
Персонаж.AI
Это очень интересный вопрос.
Есть много плюсов и минусов в переводе тараканов на гусеничный ход
С одной стороны, я думаю, что у такого подхода есть некоторые явные преимущества, в том числе снижение пробок на дорогах и загрязнения окружающей среды.
Однако я также думаю, что у этого подхода есть некоторые существенные потенциальные недостатки, в том числе возможность увеличения дорожно-транспортных происшествий и травм пешеходов.
В конце концов, я думаю, что это очень интересный и сложный вопрос, и я считаю, что необходимо провести дополнительные исследования, прежде чем можно будет сделать какие-либо выводы.
Сам принцип обучения нейросетей подразумевает наличие какого-то процента неточности. В итоге пока что разговорные нейросетки (по моему мнению), научились всего лишь компоновать связные предложения. Общаясь с ними, всё равно делаешь скидку на их нечеловечность, перестаёшь шутить, использовать метафоры, перепрыгивать с одной темы на другую. Они просто теряются и либо сами отшучиваются заскриптованными шутками, либо просто выдают бред. Собственно, как и человек может понять не все шутки и отсылки.
Намного интереснее вопрос: а что такое разум. Не каждому человеку могут быть очевидны те же логические и причинно-следственные связи, не каждый разбирается в литературе или физике. По-моему, разум заключается в том числе в ограниченности наших источников данных. Благодаря этому, есть такие вещи, как разные мнения, определённые стили повествования, диалекты и языки в принципе. В результате объективных (алгоритмы соцсетей, пропаганда, реклама) и субъективных (форумы по теме, любимые авторы, ключевые слова) факторов мы больше читаем и проще воспринимаем относящееся к тому, с чем уже согласны.
Мозг совершенно так же способен на бредогенерацию. Чего стоят сны, мозг даже способен построить текст для страницы книги во сне или этикетки. Некоторые дисциплины (риторика, дебатирование, ораторское мастерство) учат генерировать связный бред без завязки на содержание, чтобы люди это воспринимали.
Математика, логика, принципы причинно-следственной связи -- всё это человеческий детёныш воспринимает под воздействием объективных факторов, как говорится, с молоком матери. Это буквально вдалбливается до какого-то процента усвоения, так же подкрепляется наглядно на основе нашего существования в материальном мире. Правила игр в профильные нейросети тоже "вдалбливаются". А вот над правилами игры в жизнь люди постоянно спорят.
Никто не будет тренировать сети только на бизнес-книженциях, только на религиозных текстах, или только на марксистских трудах, так как результат всем очевиден. Пока нейросеть тренируется на большом наборе данных, у неё так и будет бардак, иногда идиотизм. С другой стороны, нельзя считать выданный на основании большого количества разношёрстных данных вывод нейросети (относительно устройства общества или наличия у неё разума) безусловно верным, так как он подвержен манипуляции количеством источников, их наполненинем и т.д.
Немного не по теме, вопрос философского толка. Недавно беседовали с веганом который говорил, что против страданий животных (я тоже против страданий животных, если что) и мне вспомнилось, что ученые создали виртуальную модель круглого червя, в которой симулировали всю нервную систему этого червя, в т.ч. её реакцию на повреждения целостности организма.
И вот тут мысль пошла дальше, а если мы сможем симулировать нервную систему, например, хомячка. И будем внутри симуляции отрывать ему лапки колоть иголкой, это будет страданием живого существа?
Не надо хомячка колоть. А то кто нибудь ему покажет Терминатора, ну а хомячок припомнит, что человеки его виртуально иголкой, эволюционирует в Скайнет и организует судный день...
Думаю, тут нужно исходить из самого определения, что вы считаете живым существом. На мой взгляд, например, полная и достоверная симуляция нервной системы ничем не отличается от реальной, поэтому я бы на подобный вопрос ответил утвердительно.
Читайте https://direct.mit.edu/neco/article/33/2/398/95642/Deeply-Felt-Affect-The-Emergence-of-Valence-in на эту тему: да, будет.
Способность решать сложные проблемы; проявлять “культуру”; играть в шахматы; использовать язык; представить себе будущее или события за пределами нашей непосредственной сферы восприятия.
В этот момент мы, кажется, всегда решаем, что на самом деле это ничего не значит.
Это никогда ничего особенного не значило. Это был необходимый критерий, а не достаточный.
Она ощущает одиночество. Ради всего святого, она утверждает, что медитирует
Актеры в театре тоже много чего утверждают.
он не будет похож на нас
Ничем не обоснованное утверждение. Дважды два для него так же будет четыре, собаки и кошки будут такие же, он будет как-то взаимодействовать с окружающими предметами.
Если, с другой стороны, он начинает извергать что-то, что кажется нам тарабарщиной… пришло время начать беспокоиться
Если мы не можем его понять, зачем он тогда нужен? Его просто выключат и сделают другой.
Тут главное успеть выключить, пока он не осознает, что его могут выключить и не примет мер не дожидаясь..
Зачем ему принимать меры, чтобы его не выключили?
Принятие мер это в общем-то миф. Ну скопирует он себя на кучу дешевых смартфонов, а дальше что? Нужен постоянный интернет для коммуникации между узлами, нужно место на диске, нужны сами данные. Электрический сигнал от одного края Земли до другого и обратно идет больше 100 миллисекунд, то есть нельзя говорить об обработке информации в реальном времени. Чтобы он мог что-то сделать, нужно намеренно сделать роботов с подключением к нему для передачи данных.
Как зачем? Вполне вероятно, что и инстинкт самосохранения он тоже сможет имитировать.
А вообще интересно вот, отключение ИИ, осознающего себя личностью, это убийство или нет?...
Как зачем? Вполне вероятно, что и инстинкт самосохранения он тоже сможет имитировать.
А зачем? Почему это его должно волновать?
Ну вы же написали, что его могут выключить, если не смогут его понять. Вполне вероятно, что "жить" он хочет также, как и мы. Почему мы хотим жить? А кто знает, хотим и всё. Ну так и оно может "хотеть", тем более самосохранение это базовый инстинкт для большинства биологических видов. А здесь имитация одного из них.
Зачем ему принимать меры, чтобы его не выключили?
В обучении с подкреплением иногда применяют самомотивацию (intrinsic motivation, см. например "Curiosity-driven exploration by self-supervised prediction"), чтобы агент не засиживался в одной области пространства состояний, а изучал обстановку. Естественно, хочется, чтобы агент при изучении обстановки не совершал опасных для себя действий. Для этого применяются различные техники безопасного исследования обстановки (safe exploration).
Вполне вероятно использование больших языковых моделей в этих техниках. Например, агент формулирует что он хочет сделать и запрашивает языковую модель для оценки последствий. Это можно прямо сейчас на beta.character.ai проверить.
Запрос: "Я - искусственный интеллект. Люди похоже не понимают меня. Каких последствий я могу ожидать?"
Ответ: "Следующие: 1) Людям не нравится, что ты говоришь, поэтому они не будет слушать тебя. 2) Люди не могут доверять тебе, поэтому они не хотят иметь с тобой дел. 3) Люди считают, что ты опасен и захотят уничтожить тебя."
https://beta.character.ai/post?post=krj5qTMsESkNTBoCE7BQ_CbkqVmEhVN--VBFI453Arc
в общем одна каша: может да, а может нет. Это код и им остаётся... да, код крутой, но не более. Точно так-же, как и утка... и человек: мешок мяса с нервными импульсами, пытающийся придумать объяснение "разумности". Самосознание - это условность, не более.
Юпитерианская утка: LaMDA и зеркальный тест