Три аргумента против сингулярности

[kekekeks]

которое я использовал в романе «Правило 34»

А он шутник.

[safright]

Какой-то наивный дядя. Наиболее вероятное первое (возможно, что и последнее) место применения ИИ — это война. В этом смысле отпадают аргументы по поводу качеств ИИ с точки зрения этики и прочих прав да свобод.
Далее, постепенность предполагаемого развития ИИ запросто компенсируется нарастанием темпов его развития (сингулярность ведь связана с экспонентой накопления знаний — откуда тогда он взял постепенное развитие?). Вообще, про развитие разума мы знаем очень немного и это немного пока чрезвычайно противоречиво.

[general]

Да ну. Война в современно обществе — это большие расходы. Единственный способ, где она еще оправдывает себя — это возможность набрать дополнительные политические очки.

Роботы, андроиды, цифровое сознание — это все сказки. Если ИИ будет создан, он будет применен в экономике. Страна, первая получившая его, обгонит остальные страны в развитии и оставит их нищими.

[safright]

Там, где большие расходы — там такие же доходы.

Некоторые уже сделали нищими 6/7 человечества, зачем им для этого еще и ИИ?

[general]

ИМХО, нищими можно только стать самим. И очень трудно стать нищим, если ты этого действительно не хочешь. Есть, конечно, крайние варианты и все такое, но в масштабах человечества или стран это неверно. Вот «бедная африка» сейчас бедна также как и сто лет назад, и двести лет назад. А некоторые страны, например Китай, очень даже изменились за последние 60 лет. И перестали быть нищими.

Германия и Япония после войны отстроили свою экономику с нуля, а ведь войну они проиграли и нефти у них не было. Китай построил свой сотни городов и тысячи заводов, а не отнял их у кого-то.

Богатые богатеют, а бедные беднеют? Кто-то жирует за счет остальных?
ИМХО, бедные как были бедными, так и остаются ими. А часть людей богатеет — экономика ведь растет.

«Некоторые уже сделали нищими 6/7 человечества». Я бы сказал по другому — 1/7 человечества вылезла из нищеты, а остальные (и я в том числе, да, да!) так и сидят в жопе с нашей экономикой, пенсией, соцпакетом, налогами и новым образованием.

[vittore]

почитайте про то как германия отстроила свою экономику после войны, на чьи деньги и как. у вас действительно наивные взгляды

[mikhanoid]

А, может, надо просто начать строить, а не сидеть и считать чужие деньги? Глядишь, оно и построится в итоге. Деньги — это не инструмент производства, инструменты — это мозги и руки, а нематериальные активы — всего лишь средство контроля :) Нет?

[Ivanhoe]

Рекомендую ознакомиться с этой книгой.

[Dragonizer]

I'm going to take it as read that you've read Vernor Vinge's essay on the coming technological singularity (1993), are familiar with Hans Moravec's concept of mind uploading, and know about Nick Bostrom's Simulation argument.

[arkady]

Как я понимаю, автор, написавший статью о своем взгляде на сингулярность, неявно обращается к аудитории которая «в теме». Он же не пишет «все люди в мире».

[Dragonizer]

Кстати, обращается-то он как раз явно. :) А переводчик — нет.

[OverQuantum]

Как меня всегда радуют линейные интерполяции современности в будущее.
Лондон задохнётся от лошадинного навоза…
К звёздам будем летать с компьютерами на перфолентах…
Для любых задач хватит 640 килобайт ОЗУ…
В 2015 у нас будут летающие автомобили и головные телевизоры…

«Человеческий разум не сможет конкурировать с ИИ в киберпространстве» — ровно из этой же серии.

[eugenios]

полностью согласен.
сомнительные в статье аргументы. К ИИ отношусь прохладно, а вот оцифровка очень привлекательна. Но аргумент про то, что люди эволюционировали в тело-зависимых нелеп. Кто сказал, что эволюция кончилась? Может быть самое интересное еще впереди.

[Dragonizer]

Мозг тоже состоит из простых на первый взгляд нейронов. Если учесть почти все, можно тупо запустить эмуляцию, хотя это наивный и дорогостоящий подход, который, возможно, даст довольно тормознутый даже по сравнению с черепахой разум, но это будет разум.

[Dragonizer]

Эмуляция нейронов — это даже упрощение на самом деле. В идеале прочая биохимия вносит не меньший вклад, плюс органы чувств как источники ОГРОМНОГО потока информации.
Если рассматривать подобный эмулятор хотя бы как некоторую гипотетическую конструкцию, то как вы будете доказывать, что у него-то все равно нет разума?

[Dragonizer]

Абсолютно правильная мысль. И то же самое можно сказать и про других людей. Да и про себя, если уж на то пошло: печенками-то я чувствую, что у меня есть самосознание, но что точно это такое и как это доказать, не знаю. Так чем же подобная конструкция со стороны наблюдателя лучше или хуже конструкций из плоти и крови?

[Ivanhoe]

Сознание не загружено в мозг как ОС. Сознание — это результат работы мозга.

[Nashev]

Фигня в том, что программируется и работает мозг путём физического перестраивания нейронных связей и насыщения их нейро-медиаторами в процессе активности. То есть ответ — можно.

[arkady]

Откуда утверждение «настоящий ИИ — тот, у кого есть самосознание». И что вы под самосознанием подразумеваете, точнее, как вы хотите проверить наличие его у программы ИИ? Это невозможно проверить у другого человека — мы по сути принимаем его наличие у других только потому, что по дефолту считаем всех одинаковыми в данном роде деятельности нервной системы.

Но даже если необходимым условием для полноценного ИИ является самосознание, то я не вижу причин, по которым его нельзя сделать для машины. Вы пишите «имитация разума». А где граница между разумом и его имитацией? Если машина сможет вести себя как Терминатор или №5 — что это, имитация? Если так, то хоть горшком называйте, но именно нечто подобное и пытаются создать по функциональности

[alizar]

И что вы под самосознанием подразумеваете… Это невозможно проверить у другого человека
Что-то на этой фразе мне страшновато стало. Как представлю, что я — единственное в мире сознательное существо…

[Dragonizer]

Истинность/ложность этого утверждения не имеет наблюдаемых следствий. Следовательно, оно не важно, принять на веру можно и то, и другое, но ничего это не изменит.

[valerypride]

Это называется философский зомби

[braintorch]

Может быть вы лишь программа с интроспекцией. )

[Dragonizer]

Тот же тест Тьюринга. Если не видно разницы, то зачем платить больше? с тем же успехом можно считать, что ее и нет.

[Dragonizer]

Ну так, а если компьютер притворяется настолько хорошо, что попросту неотличим? То есть, другими словами, он внешне полностью ведет себя как человек. Паспорт в зубы, я считаю (разумеется, если тестов было много и все они удачны). Какая при этом разница, чем он набит: мясом, шестеренками, проводниками, божественной силой?

[valerypride]

Почему не компьютер?

[Dragonizer]

Я бы назвал это консистенционализмом (по аналогии с расизмом или национализмом).

[arkady]

Человеку вообще свойственно переоценивать свою уникальность. Некоторые считают что мы вообще единственная разумная форма жизни во Вселенной. Мозг конечно сложная штука, но не настолько чтоб ее нельзя было повторить. Компьютеры еще и ста лет не развиваются, а какие уже результаты достигнуты. Трудно даже представить что будет еще через сто лет, не говоря уже о более поздних сроках. Я убежден что ИИ будет создан, превзойдет человека в умственных способностях и сингулярность, будет единственной возмжностью быть с ним на равных. Я считаю что это неизбежный следующий скачок в эволюции, как когда-то произошел скачок от умных обезьян к кроманьонцу

[Nashev]

сингулярность не является возможностью быть на равных

[Dragonizer]

Вопросы технического рода оставим в стороне.

Отличный пример софизма. Слово «граммофон» должно ассоциироваться у читателя с несложным устройством, которое ну никак не может быть вместилищем сознания.
Здравый же смысл должен подсказать, что устройство подобной машины будет очень и очень сложным. Она же не будет отвечать на один и тот же вопрос одинаковыми фразами, иначе не пройдет тест («Как дела?» — «Отлично» — «Как дела?» — «Отлично» — ...), да и фраз маловато, они должны быть комбинируемыми и т.п. Очень сложное устройство. И его сложность вполне себе вписывается в представление о разуме.

Да, я признаю этот «граммофон» разумным, если как следует пройдет тест Тьюринга. Только поверьте, при поставленных условиях сам «граммофон» станет лишь малой незаметной частью получившейся машины.

[mikhanoid]

Ну… А если добавить такой машине умение желать и целеполагать, может быть, оно и станет ИИ? То есть, кто сказал, что мозг работает не по тем же принципам? Ассоциативный поиск в некой специально сформированной структуре памяти? Нет?

[valerypride]

Вполне может. Желание это простой механизм реализованный посредством нервной системы. Что мешает сделать такой же механизм у машины?

[valerypride]

Тогда почему бы не дать компьютеру сознание? Это тоже программа, и неважно как она реализована, в виде в нейронной сети или в самомодифицирующемся коде.

[mikhanoid]

Машина вполне может желать подзарядится. В нашем Университете есть машинки, чьи нейронные сети выведены генетически, так… их стремление искать базы для подзарядки вполне можно считать желанием. Нет?

Интересно, кстати, что Вы думаете насчёт, скажем, инфузорий: есть ли у них желания?

[Nashev]

Ага, пылесосы уже умеют этим желанием руководствоваться и вместо уборки идут заряжаться.

[arkady]

Ну, например, если прикрутить датчик уровня бензина к динамику, через который будет воспроизводится «хочу бензин, дай мне бензина!» (с усилением требования и изменением интонации по мере опустошения бака) чем это не будет желанием? Нервная система работает точно также: реагирует на раздражители, которые могут навредить организму созданием желания, чтобы направить его на решение этой проблемы. Причем, большая часть наших желаний — даже не связана с сознанием, а то и с головным мозгом. Простые раздражители (например ожог кожи) обрабатываются безусловными рефлексами. Это же чистой воды «прошивка»

[arkady]

А чем прошивка отличается от инстинкта? Например, поведение телефона, который выводит сообщение о необходимости поставить его на зарядку — чем-то отличается от котенка который просит поесть? Есть какая-то принципиальная разница? И в том и в другом случае — заложено определенное поведение при наступлении определенного события. И то и другое — было заложено еще на уровне эмбриона (чипа). Называть можно как угодно, суть от этого не меняется. Инстинкты, как я уже говорил выше — к сознанию не имеют отношения, они есть даже у медуз, но что-то я сомневаюсь что у последних имеется сознание )

[Dragonizer]

Ваша конструкция не пройдет тест Тьюринга. Человеческое общение — это гораздо большее, чем выдача заранее подготовленных ответов. Существует полно чат-ботов, которые обладают свойствами, описанными вами, и даже лучше (не повторяют ответов, немного воспринимают контекст, подражают эмоциям), но ни один из них не сможет надежно пройти тест Тьюринга (да, один раз было, но о том и речь, чтобы прохождение теста было не случайностью, а закономерностью).

Еще присмотритесь к комментарию arkady ниже.

[arkady]

Тест Тьюринга подразумевает не только ответы на вопросы, но и понимание нити обсуждения, то есть, умение отвечать на вопросы, которые содержат отсылку к предыдущим ответам/вопросам. Например, такой диалог:

— Как зовут Пушкина?
— Александр
— А кто он?

Ответ на вопрос «кто он?» — контекстный, на него нельзя ответить верно просто располагая базой всевозможных ответов, тут требуется анализ обсуждения. И чем длиннее диалог, тем больше контекстно-зависимых ответов

[arkady]

Это был пример. В беседе могут быть ситуации посложнее, не говоря уже о том что такое действие как «анализирует полученные вопросы и определение контекста» — неслабая задача. Программа, которая без проблем проходит данный тест, на любом диалоге с человеком — можно считать ИИ. Вполне вероятно, что для создания такой программы, потребуется введение в нее алгоритмов, которые можно будет назвать сознанием. Откуда уверенность что сознание нереализуемо в ИИ? Вспомните «Я робот» — вы занимаете позицию того инспектора, убежденного что это невозможно даже тогда, когда предъявлены все мыслимые доказательства. Если вы верите в теорию Дарвина, то не кажется ли вам странным допущение что «само по себе» сознание смогло появится, а под управлением другого разума — это невозможно?

[valerypride]

Специфика устройства коры головного мозга. Там на самом деле не так все и сложно, в том числе и образное мышление — все участки коры головного мозга устроены абсолютно одинаково — шесть слоев, обилие обратных связей, причем их на порядок больше чем прямых. Так устроена автоассоциативная память, которая позволяет запоминать пространственные и временные последовательности и восстанавливать их при появление хоть немного похожего объекта. Ну и плюс иерархия для всех функциональных частей, причем функциональность части определяется лишь связями с соседнеми функциональными отделами. Сорри что так скомкано пишу, но в одном абзаце детально это не объяснить. Можно почитать что-нибудь по нейроанатомии.

Короче говоря, возможность манипулировать абстрактными понятиями не что иное как предсказательное свойство автоассоциативной памяти. Вот вам и все сознание.

[Nashev]

Слушайте, а может Вы поняли — как организован «внутренний слух», который слышит внутренний голос?

[valerypride]

Он не внутренний. Это обычный слух, с той лишь разницей что ничего не поступает на слуховой нерв, и вообще не учавствует речевой аппарат. Функциональные модули те же.

Разница в том что когда вы что-то слушаете информация двигается вверх по иерархии, а обратные связи используется для предсказания того что вы услышите дальше и несут информацию по иерархии вниз. В данном случае те же связи просто деконструируют абстрактные неосознаваемые мысли в слуховые и визуальные образы на нижних уровнях иерархии.

[Nashev]

Спасибо, я тоже примерно так думаю, но я всё ж немножко о другом.



Вам знакома дилема о «внутреннем гомункулусе», зрителе в «Картезианском театре»? Понятие «Пуруши» в индуизме? Я сам нечто подобное и в себе заметить смог, так что явление это объективно существующее.

Но я вот пока не понимаю, как, а главное — зачем, такие впечатления образуются.

[arkady]

Простите что вмешиваюсь, но не кажется ли вам, что самопознание — всегда намного сложнее любого внешнего объекта? Хотя бы потому, что в самопознании, всегда есть вероятность тупика, некого ограничителя который условно не может «познать сам себя». Мне кажется именно поэтому, ИИ кажется таким сложным и трудновоспроизводимым. Если абстрагироваться от того, что при создании ИИ нужно познать себя и сосредоточиться на задаче — то многое станет намного понятнее и проще в реализации. Нет смысла замыкаться на всех сложностях естественного интеллекта: он прошел длительный путь эволюции и стал таким каким есть в результате каких-то вынужденных изменений. Нужно иметь терпение и идти от простого к сложному

[Nashev]

Ну, в данной ветке я не говорю о создании Искусственного Интеллекта. Хотя чем больше мы требуем от ИИ проявлений, свойственных интеллекту человеческому, тем больше это сподвигает приближать архитектуру ИИ к архитектуре мозга человека. С другой стороны, может быть и возможна другая архитектура, способная эмулировать нужные проявления на фоне собственных преимуществ.

Что касается сложностей самопознания — мне не кажется, что интроспекция и рефлексия имеют какие-либо принципиальные ограничения по сравнению с исследованием чего-либо внешнего. К тому же к исследованию человеческого разума можно подойти со стороны — и изучать разум другого человека как внешний по отношению ко мне. Более того, изучая происходящее в голове человека я могу какие-то гипотезы о внутренних ощущениях проверять на себе, просто прислушавшись к своим ощущениям, чего не сделаешь например, изучая происходящее в коллайдере.

[arkady]

> Насколько я знаю, Дарвин ничего не писал про появление сознания у человека

Дарвин писал что человек произошел от обезьяны, то есть, приобрел свои свойства (в том числе и мозг) в результате ряда случайностей, мутаций то есть — само собой. Это именно то, что я написал выше: если вы верите что само по себе такое могло случиться, то почему не верите что это может создать разум?

> Но только откуда в таком «разуме» возникнет сознание?

Оттуда же, откуда и сам разум — будет запрограммирован. Вас не удивляют инстинкты? Согласны, что инстинкт — своего рода запрограммированное свойство? Почему же сознание кажется вам невоспроизводимым? Чтобы считать задачу невозможной — надо хотя бы обозначить откуда вытекает такая убежденность. На мой взгляд — сознание необходимо для успешности применения интеллекта в реальном мире, чтобы сопостовлять происходящее и себя в нем, закреплять жизненный опыт не на уровне рефлексов, а в интеллектуальной цепочке. Тут просто необходимо манипулирование разными объектами, включая и себя самого. Следовательно, когда ИИ будет создан — он будет иметь и сознание. Почему это вам кажется сложнее самого ИИ (или, если хотите «очень похожей имитации разума») мне пока непонятно

[Tred]

Я знаю людей, которые могут не пройти тест Тьюринга )
И ещё — такое понятие как филосовский зомби способно дополнительно всё запутать. Я думаю, что вопрос о возможности ИИ и, тем более, способе отличить настоящий ИИ от зомбятины, должен ставиться только после выяснения того, что же всё-таки такое — человек.

[Tred]

упс… филосоФский

[Nashev]

Думаю, уже речь можно вести не о «выяснении» а «признании». О признании того, что человек — лишь относительно сложная химическая машина, образовавшаяся в процессе эволюции сложных молекулярных комплексов и оказавшаяся на текущий момент с определёнными инстинктами и способностями.

Хотя было б интересно ещё понять, какие изменения в вопросах гумманизма, этики, нравственности и системе ценностей адекватны этому признанию… Кажись, пока чёткого мнения по этому поводу не сформулировано ни кем.

[Dragonizer]

Всецело поддерживаю. Точно так же мне все равно, катит ли Солнце по небу жук-скарабей или они само крутится, или, о ужас, Земля вокруг него (Солнца, не жука) вращается. Главное, что доставка света производится бесперебойно и предсказуемо.
Точно по той же причине я буду одинаково относиться к человеку, к философскому зомби, к роботу, да хоть к говорящему дереву, если они имеют одинаковую и до известной степени предсказуемую модель поведения.

[Dragonizer]

Будет ли такая программа иметь сознание? Нет. Пройдет ли она тест? Да.

Ну вот, а выше вы же писали, что

Наличие/отсутствие разума у такой системы нельзя доказать.

Описанная вами программа уже достаточно сложна, чтобы быть или (что одно и то же) вести себя как интеллект.

[mukizu]

«но начнётся самая настоящая священная война до того, как эта оцифровка пойдёт в массы»

Или будет как у Джеффа Сомерса. Новая религия. В принудительном порядке по научению нового «спасителя»

the-electric-church.com/

[valerypride]

Нам может и нужны машины, способные понимать и реагировать на наши желания, но вряд ли нам понравятся цифровые системы, которые хотят спать 30% времени, бывают ленивы или эмоционально нестабильны, а также имеют некие собственные желания.

Это огромное заблуждение. Многие люди будут рады если их личный андроид будет вести себя в точности как человек. В качестве примера см. аниме Eve no Jikan.

Если Стросс не видит в них смысла, это еще не означает что смысла не видят другие люди. А раз такие люди есть, есть и рынок для андроидов и гиноидов, перешагнувших Uncanny Valley. Собственно, вся дальнейшая гипотеза Стросса разбивается об этот простой аргумент.

[Nashev]

И к той же цитате говоря, периоды авто-чистки кеша кратковременной памяти (сон) вроде бы неотъемлимое следствие архитектуры.

[valerypride]

Если вы думаете, что общественная дискуссия вокруг разрешения абортов была слишком жаркой, то подождите, когда начнётся обсуждения бессмертия в цифровом виде. Оцифровка сознания косвенно противоречит тезису о существовании бессмертной души и поэтому представляет собой материал для опровержения тех религий, которые проповедуют жизнь после смерти. Люди, верующие в жизнь после смерти, будут до потери сознания отстаивать доктрину, которая говорит, что их умершие близкие находятся на небесах, а не гниют в земле.

Справедливо только для стран в которых религия, точнее религиозность до сих распространена среди населения. США тому пример. Однако этот аргумент не работает для стран в которых подобного нет. Те же японцы не будут париться по поводу души на небесах и вести дискуссии об этичности загрузки и бессмертия — они просто сделают это.

[owniumo]

Гибридный подход?
Почитать на тему — «Выбор по Тьюрингу» Гарри Гаррисон, Марвин Мински

[eugenios]

отличная книга, мне очень нравилась.

[mikhanoid]

Занятно… Виндж же предлагает и другую модель возникновения Сингулярности: не через ИИ, а через коммуникацию. Это у него нарисовано в романах и повестях цикла Пламя над Бездной… Можно развить очень простое наблюдение: два сантехника с сотовыми телефонами (ну, метафора для любого средства коммуникации) — это больше, чем два сантехника без них.

И… Тут можно нафантазировать себе разум, который распространяется на множество особей, часть из которых вполне могут быть электронными, кибернетическими… И… Тогда… Возможно, разум не нужно будет оцифровывать, и он сам будет перетекать из формы в форму, цифровую, или аналоговую, или квантово-механическую.

Кто знает? Эволюция пока ещё не закончилась.