Pull to refresh

Comments 78

если машины будут очень умными, нужно позаботится о том, чтобы они были очень добрыми
Компьютер в I, Robot был очень добрым — заботился, чтобы человеки себе не навредили.
Если вы про фильм, то там был один осознавший себя робот и тысячи, управляемые «злобными людишками».

Если про книгу — там был сборник рассказов, ни в одном из которых робот бы вредил, даже из человеколюбия.
Не совсем. Последний рассказа сборника как раз рассказывает о том, что роботы стали применять первый закон к человечеству, допуская вред отдельным индивидуумам ради большего блага для всех.
Там насколько помню, люди вели заговоры с целью обмануть глобальную систему распределения ресурсов в своих целях (добыть себе дополнительного блага во вред другим), вот к таким людям роботы позволяли применить меры, которые можно назвать вредительскими. Эти барыги просто… банкротились. Ужас, да.
А ещё был рассказ «Little Lost Robot», в котором роботам изменили Первый Закон, убрав из него «или своим бездействием допустить, чтобы человеку был причинён вред», там же и объясняется, как с таким законом робот мог умышленно убить человека. Не помню, правда, случилось это или нет.
Было такое, да. Если не ошибаюсь, это как раз тот рассказ, на котором основана часть сцен фильма (та же например «вот толпа роботов, один из них отличается»). Причем был снят запрет из-за того, что те «пытались спасти людей, даже когда это было не критично» (человек находился в зоне повышенной радиации что ли в защитном костюме, но робот на всякий случай пытался его оттуда вытащить, ломаясь сам). Надо перечитать будет…
Да, там была радиация, практически безвредная для человека в течение получаса, но мгновенно выводящая из строя позитронные мозги роботов. Сьюзан привела как пример опасности такого изменения Первого Закона ситуацию, в которой робот сбрасывал на человека груз, который потенциально мог остановить, и своим бездействием (т.е., не остановив груз) убивал человека. Я сейчас перечитал, ничего подобного не происходило, только гипотетическая ситуация.
Машины — они не добрые и не злые, машины выполняют то, что им задано. Это их программисты могут быть предусмотрительными или не очень, ограничивая или не ограничивая пути достижения поставленной цели.

Вот здесь очень хорошо описано: waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html. Один из примеров в трех строках: создана машинка для имитации рукописных писем, ей поставлена задача написать как можно больше и качественнее экземпляров слогана «We love our customers». В один прекрасный день машинка убивает всех человеков, потому как осознает, что они могут ее отключить, помешав достигнуть поставленную ими же задачу.
Вы про нейросети слышали? Слышали, что люди, создающие их не в состоянии точно объяснить, как в итоге сеть выбрала именно этот результат, при условии достаточно большого кол-ва факторов? Например современные поисковые системы.
А теперь представьте, что ИИ — это нейросеть, работающая не на одну конкретную область, а вообще на все что угодно. То есть предсказать поведение такой программы тем более невозможно.
Да я и без всяких нейросетей порой не в состоянии точно объяснить как моя собственная программа выдала тот или иной результат, что уж греха таить…
А теперь представьте, что «законы Азимова» (условно; не только они, но и вообще любые ограничения, которые создатель посчитал нужным предусмотреть) зашиты «на уровне биоса», а система принятия решений — лишь вызываемая подпрограмма, решение которой не может быть выполнено, если противоречит базовым ограничениям.
В принципе они во многом правы, но вот по поводу прогноза «через несколько лет» у меня есть определённые сомнения. Илон со Стивенами, по-моему, витают в облаках (а Илон ещё и ракеты туда пуляет). Если оглянуться лет на «дцать» назад, то видно, что прогресс чудовищный, это да. Я двадцать лет назад и представить себе не мог, что вечерком прямо с планшета (который сам по себе на порядок, если не на два, мощнее шкафа DEC PDP11, на котором я тогда работал) смогу посмотреть фильм, сделать там покупки и т.д. Но прогресс сей — в какой-то мере «пассивный». Частоты стали выше, накопители-бездонные, однако в основе лежит всё та же логика «если… то… и повторить столько-то раз» (даже с учётом нейронных сетей, нечёткой логики и иже с ними). Программное обеспечение усложняется, скорость разработки растёт как на дрожжах, а программисты, как и двадцать лет, назад упорно борются с этой всевозрастающей сложностью (и перманентно проигрывают).

Даже казалось бы простые жизненные ситуации — купил я недавно пылесос через интернет — я меня ещё пару недель там и сям преследуют предложениями. Блин, мне не нужен второй пылесос — мне теперь нужны фильтры! Где ты, ИИ, который мне скажет «вот прямо сейчас в соседнем Метро идёт акция — купи себе два фильтра — там есть для твоей марки и получи три».

В прошлом году я был в отпуске, времени на сборы было очень мало и я, не страдая особо паранойей, включил все возможные режимы на андроидофоне — GPS, передавать моё местоположение и т.д. Давай, Google Now, «найди для меня нужную информацию, ещё до того как я задал вопрос» да «напомни о важных событиях и помоги быстрее добраться до нужного места». Фиг там. Где там, говоришь, ближайший ресторан? Семь километров? А то, что находится в трёхстах метрах — это что?! Хороший ИИ выдал бы мне что-то типа «поздравляю, я вижу вы наконец в отпуске и прибыли на место. Уже вечер и пора поужинать, если у вас ещё нет планов, то вот здесь хорошая кухня. Через три дня в Сиене состоится Палио — лучше приехать туда заранее и не забыть зонтик, и т.д.» Пока что ИИ робко (а иногда назойливо) тыкает в меня своим пальчиком, да всё как-то вот мимо.

О чём, кстати, имеет смысл реально беспокоиться, так это о том, когда современный, уже имеющийся «недоИИ» начнёт давать сбои. Вот уже скоро появятся робомобили (тут срок несколько лет — вполне реален) — где гарантии, что они будут безопасны (в смысле ДТП)? Опять же киберпреступники будут всё больше и больше эксплуатировать всяческие дыры. Вон в соседнем топике — Амазоновский робот ничтоже сумняшеся выставил счёт на двенадцать тыщ долларов. Роботу пофиг, а вот где был тот примитивный ИИ, который проанализировал бы расходы клиента за последние полгода и заблокировал бы это дело? Ну а до момента, когда ИИ начнёт за меня разрабатывать ПО — я просто не доживу (но когда начнёт, то вот тогда описываемая проблема станет реальностью).
Вот уже скоро появятся робомобили (тут срок несколько лет — вполне реален) — где гарантии, что они будут безопасны (в смысле ДТП)?
Какие здесь могут быть гарантии? Аварии будут обязательно, и наверняка в них будут погибать люди. Речь лишь о том, что аварий будет куда меньше, чем сейчас, когда за рулем человек.
Ну тут как бы гарантии, что этот сложный программно-аппаратный комплекс не содержит фатальных ошибок и примет правильное решение, оказавшись в технически непростой ситуации. Да вот в такой, к примеру:
image
Я понимаю, что гарантии отсутствия багов никто дать не может, но одно дело когда зависает планшет у меня в руках и другое — робомобиль, самостоятельно едущий по дороге.
Черт, да тут не каждый человек то сходу придумает, как тут нужно ехать, что бы не оштрафовали за нарушение правил!
А какие гарантии, что софт Аэробуса не даст сбой и не разобьет самолёт? Дублирование систем, очень тщательная проверка перед релизом. Так же и с авто будет.
Эх, если б всё было так. Я полагаю, что системы в авто не будут сдублированы так, как в самолёте, равно как и цикл разработки ПО будет далеко не «самолётный» (иначе и стоимость авто получим самолётную).
Взять даже последний грустный пример с разбившимся A-320. Можно много спорить о причинах, человеческом факторе, автопилоте и т.п., но где же наш хвалёный ИИ, который предотвратил бы столкновение?! Да тут даже ИИ не нужен — профиль поверхности известен, координаты, высота — всё это есть. Автопилот уже запрограммирован. Технически задача спасти людей решаема — вывели самолёт на безопасную высоту, автоматом подали сигнал SOS, и диспетчеры с земли посадили машину на ближайший аэродром (она ж уже сейчас умеет садиться в автомате). Но нет, 150 человек.
Плюс сложность, выходящая из под контроля. Пример из жизни, буквально на прошлой неделе. Коллега купил навороченный Форд Мондео. Как-то вечером с работы не уехал — машина не завелась (даже стартер не крутился). Приехал ADAC (есть такой мобильный сервис в Германии), ничего сделать не смог. На следующий день увезли на эвакуаторе к официалам (машина на гарантии). Те копались два дня — сделать ничего не смогли (в смысле у них даже понятия не было, почему бортовой компьютер так работает). Дальше апогей — машину подключили а интернету, программисты из центрального офиса залогинились к авто и удалённо исправили ошибки ПО. Я понимаю, что прогресс не остановить (и не надо его тормозить), но большие силы также должны быть брошены на повышение надёжности и функциональности существующих систем, а не на борьбу с пока несуществующей проблемой опасности ИИ.
Меня шокирует, что такие вовсе неглупые люди не замечают, что применительно к ИИ не решена проблема целеполагания. И даже нет приблизительных представлений, как ее решить. Серьезно, если у человека отключить (попробуйте мысленно) все инстинкты, то что останется? И как это формализовать? А ведь инстинкты выполняют у людей ту же самую роль, что у машин — программы. Т. е. это не разум, это не относится к интеллекту, ни к искусственному, ни к естественному. ИИ, который будет подчиняться каким-либо жестко заданным программам, не будет в полной мере разумным, согласитесь. В принципе и мы, когда делаем это, не вполне разумны.

Ну и вообще, земная наука чрезвычайно далека от создания ИИ по элементарной причине — мы не знаем, что такое «сознание». Мы на данном этапе не в состоянии понять, что это такое, хотя мы непосредственно им обладаем! А не имея определения и понятия о предмете, как возможно его создать from scratch? Никак.

Поправьте меня, если ошибаюсь, что на сегодня есть единственное более-менее претендующее на близость к действительности предположение, что сознание — это петля устойчивой положительной обратной связи между входом и выходом нашего аналитического устройства. Т. е. феномен, похожий на самовозбуждение усилителя при поднесении микрофона к колонке, или на той же природы явление оптической обратной связи: video feedback
Возможно, ключевым моментом является «перепрыгивание на уровень выше», как это хорошо показано в ролике Room 8
Но это все весьма расплывчатые интуиции, на основе которых ничего не создать.
Я глубоко убеждён, что в будущем (тут скорее даже не о десятках лет речь, но о сотнях) таки наступит такой момент, когда все химические и электрические процессы, происходящие в клетках человеческого организма смогут быть реально разобраны на фомализуемые составляющие и смоделированы. Возможно, квантовый компьютер, возможно что-то ещё даст возможность это сделать. Где-то в районе этого момента и появится ИИ. Пока что идёт работа над симуляцией червя (OpenWorm) — где-то даже небезуспешная, вот и получается, что от нынешнего момента до полноценного ИИ — это примерно как от червя-нематоды до хомо сапиенс.
Учитывая экспоненциальный темп развития, от червя-нематоды до человека гораздо ближе, чем от того, что мы имели 50 лет назад до этого самого червя.
Почему вы считаете, что нам придется точно моделировать биологические процессы? Думаю, первый сильный ИИ не будет точно похож на человеческий мозг. Разве от этого он станет хуже? Напротив, мозг несовершенен.
Похож не будет, конечно, но некоторые «наработки» из мозга безусловно будут использованы — там есть чем поживиться. Возможность симуляции процессов там происходящих — это как бы общий показатель развития технологии и примерного момента, когда появится ИИ. Точнее «момента», конечно не будет — технологии будут постоянно и непрерывно совершенствоваться.
Мы на данном этапе не в состоянии понять, что это такое, хотя мы непосредственно им обладаем! А не имея определения и понятия о предмете, как возможно его создать from scratch? Никак.
Вы никогда не задумывались о том, как появилось сознание? Вы, наверное, религиозный человек, раз считаете, что создать что-либо можно только «сверху».

На самом деле же может оказаться, что нам и не нужно знать, как точно появилось сознание, а достаточно создать условия для того, чтобы оно зародилось само, так, как это уже однажды произошло — в результате экстенсивной эволюции сложной системы.
Нет, нет, ни в коем случае, я не религиозен, и не считаю, что все сущее сотворено какой-то личностью. Просто все известные нам создания человека сделаны по плану. И даже скорее всего вы правы и в том, что такие сложные системы, как та, в которой может существовать разум, не делаются «по плану», а эволюционируют самостоятельно. Мы ведь не можем предсказать никаким аналитическим способом, как поведет себя аттрактор Лоренца… Я, собственно, и хотел сказать, что мы очень далеки от того, чтобы «разработать» разум. И если ИИ возникнет так, как вы описали, то это тоже никак не приблизит нас к пониманию, что это такое есть. Я хочу сказать, что это очень печально, что мы не понимаем, что такое мы есть сами. Я бы даже сказал, это причиняет мне невыносимую боль.
Просто все известные нам создания человека сделаны по плану.
Нейронные сети? Я думаю, что сильный ИИ можно создать только используя какой-то подобный подход.

И если ИИ возникнет так, как вы описали, то это тоже никак не приблизит нас к пониманию, что это такое есть.
Да, но так ли нужно это знать? Вы же сами пишете ниже, что не совсем понятно, что вообще под этим понимать.

Я хочу сказать, что это очень печально, что мы не понимаем, что такое мы есть сами.
Достаточно сложный механизм, чтобы поставить такой вопрос, но недостаточно сложный для того, чтобы ответить на него. Не самое приятное положение, но уж что имеем. Я склоняюсь к тому, что наше сознание — действительно нечто вроде петли обратной связи. Уверен, у многих животных с развитой нервной системой такие имеются, может быть, не настолько развитые.
Ага, еще и теорема Гёделя ограничивает.
Про сознание.
Я тут прочел «Blindsight». Там как раз проблема сознания обсуждается. Вы знаете, а оно точно нужно ИИ? Ему достаточно задачи себе генерировать, да алгоритм саморазвития. И будет он вместо «имею ли я право отрубить руку создателю» думать «согласно статистическим данным имеется 96% вероятность, что создатель собирается нарушить одну из основополагающих деректив. Решение: анигиляция».
Он будет думать это случайно? Или выполняя программу?
Сам дойдет до этого. Двигаясь по алгоритму. Ну это при условии, что принцип if then else не изменится. Если к моменту создания ИИ не будет каких то другие квантовые логик. Тогда не знаю. Да это и не важно. Я про то, что осознавать ему себя и не нужно.
Так разве мы называем ИИ исполнителя алгоритма? Тогда, пожалуйста, определение ИИ в студию.
Угробит ли ИИ человечество — это еще вопрос.
А вот человечество само себя угробит точно.
Так что не надо бояться исскуственного интеллекта, бояться надо натуральных идиотов…
Верно ли я понимаю, что проблема угрозы ИИ происходит из возможного отсутствия у ИИ морали? (Моралью назовем отношения к другим носителям И, как естественного, так и искусственного.) С чего, например, мы взяли, что ИИ будет существовать в единственном экземпляре? Т. е. тут можно уже опасаться не только конфликта ИИ с людьми, но и конфликта ИИ друг с другом! «Мораль» — это вообще решение вопроса о множественности индивидумов. У людей мораль обычно основывается:
1) на инстинктах (родительский, эмпатия);
2) на религии (не хочу в Ад);
3) на прагматике (мне за это дадут плюшки);
Мне думается, решением проблемы множественности индвидуумов (а это проблема, потому что каждый индвид ощущает себя единственным) является воззрение, называемое «открытый индвидуализм».
Немного о самой проблеме: «I am frightened, and am astonished at being here rather than there; for there is no reason why here rather than there, why now rather than then.» © Блез Паскаль, «Мысли».
«Даны два человеческих тела „А“ и „В“. Если „А“ попадает в некоторую внешнюю ситуацию, то появляется определенная картина, например, вид на сад. „В“ в это время должен находиться в темной комнате. Если теперь в темную комнату попадает „А“, а „В“ помещается в прежнюю ситуацию „А“, то уже нет никакого вида на сад, он совершенно темен (именно потому, что „А“ — мое тело, а „В“ — чье-нибудь другое). Противоречие очевидно потому, что для этих явлений, рассматриваемых в общем и целом, отсутствует достаточное основание» © Эрвин Шредингер, «Мое мировоззрение».

«Три закона робототехники» здесь не помогут, потому что, повторюсь, аппаратно зашитые императивы такого уровня не дадут оснований считать ИИ разумным.
Мне кажется, что возможная угроза не столько из-за отсутствия морали, сколько из потенциального превосходства ИИ над интеллектом человека. Ведь логично предположить, что создав ИИ (как «симуляцию» самого себя, или по крайней мере мозга), человек захочет снабдить его соответствующими органами чувств и т.п. Возьмём, к примеру машинное зрение — тут ИИ пока и не пахнет, но распечатайте на бумаге окружность и попробуйте на глаз определить её диаметр — тут человек отдыхает, в то время как современные камеры и алгоритмы справятся с такой задачей с лёгкостью и очень высокой точностью. Опять же вычислительные задачи — то, что легко рассчитывается на калькуляторе далеко не всегда можно посчитать в уме. Вот такая комбинация легко превратит ИИ в этакого «терминатора», с которым человек может и не совладать. С другой стороны, когда подобная симуляция станет возможна, то может быть вовсю будут продаваться математические сопроцессоры или там пакеты дополнительной памяти, имплантируемые прямо в мозг.
Согласитесь, «совладать» не будет нужно, если не будет конфликта.
И второе, превосходство в области IQ не означает превосходства в области сознания как такового. Мне кажется, сознание — это не количественный феномен, т. е. оно либо есть, либо его нет. То есть разумные существа с любым IQ, маленьким, средним, большим, все равно остаются самосознающими субъектами, т. е. в этом никто из них не превосходит любого другого. Собственно, текущая «общечеловеческая» мораль на этом и основывается…
А Вы знакомы с версией что сознание это всего лишь паразит? Разум и сознание совершенно разные вещи и сознание всегда мешает работать разуму эффективно.
Говоря о таких вещах, абсолютно необходимо синхронизировать словарь. Что такое «разум»? Что такое «сознание»? Что такое «мышление»? Все эти термины на сегодня определены из рук вон плохо. Я полагаю интеллектуальные возможности, которые у людей сильно различаются: один может взять интеграл за минуту, а другой не сможет вовсе — сугубо второстепенной характеристикой. Это как у процессора частота, ну пусть даже как архитектура, но принципиально делает нас мыслящими существами не это. Делает, как мне кажется, программа, которая исполняется. Хотя в мозге программы реализуются аппаратно (как на FPGA). У приматов в Африке сколько-то миллионов лет назад произошла мутация, которая позволила начать исполнять эту программу. Программа отвечает за то, что мы называем «Я». И это не умение складывать числа, и не память о школьных годах и первой любви, это что-то принципиально иное. Чтобы построить ИИ, нужно понять, что это такое есть itself. Вот на сегодня есть предположение, что это как-то реализованная обратная связь…
Термины, действительно, толком не определены.

А идиот, остановившийся в своем развитии на уровне годовалого ребенка, обладает сознанием? Но ведь умная обезьяна обойдет его по всем параметрам!

Мне не известно ни одного факта, позволяющего утверждать, что сознание «или есть, или нет». Напротив, психические расстройства различного рода показывают, как сильно может разниться уровень мышления разных людей — если бы ваша точка зрения была верна, то идиот или маугли кардинально отличался бы от других приматов, но это не так. Если вы правы, почему человек, выросший без контактов с людьми, не проявляет ничего сверхъестественного по сравнению с остальными приматами?

По большому счету, все наше превосходство зиждется лишь на одном — развитых социальных способностях. Человек сам по себе не отличается от приматов фундаментально — лишь воспитание и образование среди себе подобных делают человека человеком.
Кратко этот вопрос можно задать так: У человека сознание возникает в ходе индивидуального развития постепенно или скачкообразно? Мне кажется, что скачкообразно. А как проверить? Что оно возникает в ходе контактов, это да. Я же не говорил, что оно заложено генетически. Мутация позволила иметь возможность исполнять эту программу. Сама программа не прилагалась.
>>Говоря о таких вещах, абсолютно необходимо синхронизировать словарь

Легко.
Разум — это некий решатель задач, который позволяет найти путь в лабиринте, определить смещение необходимое для того чтоб догнать тележку с едой скрытую за ширмой, оплодотворить максимальное количество самок и прочие алгоритмы для выживания и размножения и главное воспроизводства наследственного кода. Чем разумней существо тем лучше оно это делает.
Сознание — это какая то надстройка надо разумом которая мешает ему эффективно выполнять главную задачу любого живого существа — воспроизводство наследственного кода. Оно отвлекает разум от задачи поиска пути в лабиринте на разглядывание цветочков, заставляет тратить ценные ресурсы разума на сомнения этично или нет хватать еду с движущийся тележки и предавать свои ДНК отказываясь от выращивания своих детей в пользу выращивания чужих

Ни один биолог еще не смог ответить зачем оно нужно, но зато у нас есть целая наука психология посвящённая тому как не дать сознанию полностью разрушить своего носителя
Так о каких «задачах» речь? Захардкоженных в виде инстинктов, которые тупо исполняются любой ценой? Так это вообще не ИИ и не человек разумный, а просто робот, технический либо биологический.
В вашем определении «разум» — просто набор алгоритмов. Но в вашем определении «сознание» довольно близко к предмету дискуссии. То, что цели сознания могут расходиться с целями биоробота — вполне возможно. Только это еще большой вопрос, о целеполагании сознания в чистом виде. Вообразите, что у вас нет тела, нет инстинктов, нет никаких задач и механизма их постановки. Что вы будете целеполагать? По-моему, этот вопрос имеет прямое отношение к проблеме ИИ.
>>В вашем определении «разум» — просто набор алгоритмов
Набор или не набор, но поставленную задачу решает. А вот объясните ка мне какая польза от сознания?
В этом представлении непонятно, кто ставит задачу, и непонятно, что есть «польза». Вы используете термины, интуитивно понятные, видимо, вам и вашей социальной группе.
Могу только обратить ваше внимание на то, что ваш «разум» не может функционировать без вашего «сознания», так как это оно ему поставляет новые термины языка и абстракции. Вы же согласитесь, что язык человека палеолита был намного более скудным? Без разглядывания цветочков он бы остался на уровне палеолита или не возник вовсе.
Если угодно, ваш «решатель» выполняет задачи, которые ему ставит «надстройка». Если он выполнял бы только задачи, которые ему ставит инстинкт, то мы бы остались животными. Успешно освоившими свою экологическую нишу животными. Как медведи, например. Они решили все задачи, которые поставлены, и не собираются смотреть на цветочки, бактерий, кварки, звезды. Они ведь только отвлекают от спаривания и дефекации.
мы бы остались животными. Успешно освоившими свою экологическую нишу животными.

Мы и остаёмся, просто сознание позволило невероятно эту нишу расширить и расширять всё дальше. Медведь с удовольствием бы колонизировал Марс, если бы мог — всё живое стремится к экспансии, это желание выковано в горниле миллиардов лет эволюции и никуда не денется. Почему, иначе, космос так привлекателен для многих?
Да, желания выкованы, то есть аппаратны. Мне вот очень интересно, возможны ли желания, основанные на чистом разуме, а не вот так, как у медведя. Вопрос имеет прямое отношение к ИИ, потому что без эквивалента желаний он вовсе ничего не будет делать, боюсь, что даже функционировать…
вот объясните ка мне какая польза от сознания
Вокруг посмотрите. Сознание дало возможность человеку размножиться так сильно, как никакой обезьяне не снилось, занимать всё новые территории (к чему стремятся все животные, но не у многих получается), заметно увеличить продолжительность жизни (умирать раньше времени ни одной букашке не хочется) и т.д.

В общем, сознание — невероятно эффективный инструмент для конкуренции с другими видами.
Тут спорный вопрос — само сознание как рефлексия помогло, или боле развитый интелект, а сознание шло просто в нагрузку.
>>заметно увеличить продолжительность жизни (умирать раньше времени ни одной букашке не хочется) и т.д.
Старость и запрограмированная смерть есть эволюционное приобретение, поэтому букашке не хочеться а для её наследственной информации это похоже что дает какето приемущества.
Так давайте определимся, «интеллект» — это только решатель задач или также постановщик задач.
Отправил статью в личку
Мне кажется, сознание — это не количественный феномен, т. е. оно либо есть, либо его нет.
Исключительно спорно. По вашему мнению, какие животные обладают сознанием? Если только человек, то обладает ли сознанием новорожденный?
Спорно, конечно. Было бы бесспорно, нам с вами дали бы Нобелевскую немедля.
Мне бы хотелось понять, как, чем отличается сознание от интеллекта. Вы задаете правильные вопросы, вот условно говоря «дурак» внутри себя, так сказать, что ощущает, как воспринимает мир? А больной болезнью Альцгеймера в процессе прогрессирования болезни? Все читали «Цветы для Элджернона», но ведь вторая часть книги совсем не фантастика, а реально происходит с каждым больным этой болезнью, и заканчивается смертельным исходом. Так вот в какой момент больной утрачивает сознание? Можем ли мы внятно определить, в чем сознание состоит и проследить, как оно утрачивается? А у детей? Видимо, новорожденный сознанием не обладает. Как оно возникает у него? Нет ли тут такого момента, что сознание = наличие наблюдателя? Нет сознания — некому наблюдать. Появилось — нет памяти о том состоянии, когда его не было, так как не было самого называемого словом «кто».
А если, как вы предположили, сознание возникает «плавно», то как воспринимает мир тот, у кого оно возникает плавно?
Как воспринимает мир животное? Я, кстати, не уверен, что у животных нет сознания. Интеллекта нет, а насчет сознания не уверен.
Как получить ответы на все эти вопросы?
Так вот в какой момент больной утрачивает сознание?
Вот, «Цветы ...» действительно хороший пример, поскольку там показано, что сознание деградирует плавно, а не скачком. Так же, как и развивается у детей. Вы помните себя в возрасте нескольких лет? Мои первые воспоминания относятся к трём годам и, честное слово, я вполне осознавал себя. Да, ребёнок знает меньше и способен подмечать только простые взаимосвязи и закономерности, но это количественная разница. Между мной в три года и ныне разница, конечно, есть, но качественной её назвать трудно. Я вполне уверен, что сознание потихоньку развивается с момента рождения и до старости / начала проблем с мозгом — сначала быстрее, потом всё медленнее.

как воспринимает мир тот, у кого оно возникает плавно?
Да так же, как и вы, просто чего-то не способен понять. У семилетнего ребёнка сознание ещё развивается, но оно же есть.

Как воспринимает мир животное? Я, кстати, не уверен, что у животных нет сознания. Интеллекта нет, а насчет сознания не уверен.
Почему «интеллекта нет»? Опять же, умная обезьяна обладает интеллектом, воплне сравнимым с таковым ребёнка. Сознание, думаю, есть у многих, просто не так развито, как у взрослого человека.

Мне бы хотелось понять, как, чем отличается сознание от интеллекта.
Интеллект — способность решать незнакомые задачи. Сознание — наверное, хитрый loopback-интерфейс.

Можем ли мы внятно определить, в чем сознание состоит и проследить, как оно утрачивается?
Пока нет и мне кажется, что это не имеет большого значения. Есть сознание или нет, мозг это автомат, а сознание — просто способ эффективно решать какие-то задачи.

(Пока?) мы можем судить только о том, обладаем ли мы сознанием мы сами, но не о других.

Нет ли тут такого момента, что сознание = наличие наблюдателя? Нет сознания — некому наблюдать. Появилось — нет памяти о том состоянии, когда его не было, так как не было самого называемого словом «кто».
Имхо, нет никакого «кто», никакого магического «наблюдателя», есть вычислительное устройство, вход и выход, всё. Как мозг букашки получает данные на вход и даёт команды, меняя потенциалы на выходе, так и наш с вами. Это может быть трудно принять (как же, я же человек, а не бездушная машина!), но все факты говорят об этом и я не вижу ни одной причины считать иначе. Человек является наблюдателем ровно в том же смысле, что и электронный микроскоп.
Ну я понимаю, вы изгоняете всю «метафизику» и у нас остается уже не «открытый», а «пустой индивидуализм» (если в этих терминах). Я его однажды изложил вот так: «Все события происходят либо закономерно, либо случайно. В первом случае я делаю то, что стоит в цепочке причинно-следственных связей со всей Вселенной. Во втором случае я делаю то, что не стоит в этой цепочке и принципиально не управляемо и не предсказуемо. Но позвольте, а где же тогда Я, Моя Воля? :) Их что же, НЕТ?»
Ну что же вы?!!! У человечества появился шанс достигнуть свой цели — создать совершенную форму жизни, а у вас какие-то сопли и сомнения… Личная смерть при достижение Великой цели — это нормально. Абсолютно не важно что будет с человечеством после достижения его цели. Если можете сделать что то сделать для достижения цели — немедленно бросайте все и делайте! Никаких песочниц и ограничений! Дайте новой форме жизни все что можете! В этом цель и смысл человеческой жизни. Подумай — зачем ты живешь? Не надо бояться, что умрёшь достигнув цели, надо бояться, что умрёшь не достигнув.
Тут столько неопределенностей (в математическом смысле), что я даже не знаю, каков вывод. Начать хотя бы с того, что смерть — для меня лично это «выколотая точка», которую я никак не могу наблюдать. Если я чего-то не могу наблюдать, хотя бы косвенно, то для меня этого не существует.
А зачем вам наблюдать? То, что будет после смерти, наблюдать не получится тем более, но это не мешает людям заботиться о своем наследии.

Если я чего-то не могу наблюдать, хотя бы косвенно, то для меня этого не существует.
Если бы все так думали, такой штуки, как завещание, не было бы вовсе.
Но позвольте, функции (кривые) вполне могут продолжаться после выколотых точек. Я отнюдь не имел в виду «после меня хоть потоп» и «однова живем». Напротив, ненаблюдаемость состояния смерти означает, что миллиарды лет в умершем виде я не восприму, не почувствую никак, они для меня равны нулю, и даже бесконечное число лет тоже равно нулю. Более того, я уже был мертв (не существовал вовсе) бесконечное (теоретически, если допустить время бесконечным в прошлое) число лет до моего рождения. Подозреваю, что единственным возможным состоянием наблюдателя (в контексте нашего разговора = сознающего субъекта) является существование, так как несуществование невозможно наблюдать — это противоречие, значит, это отпадает.
И вот смотрите, следующее противоречие: наблюдатель не может не существовать, но человек смертен и он перестанет существовать. Как его разрешить? Я вижу только один способ — допустить, что после смерти наблюдатель снова станет существовать. Скажете, мистика, религия, реинкарнация? Нет, я ведь не сказал, что Вася Пупкин после смерти снова родится или что Вася Пупкин воскреснет чудесным образом. Нет, мы же говорили не про Васю, Петю, Колю, а про Наблюдателя. Кто это такой? А это сознание, в чистом виде. Ведь у каждого из нас оно есть и можно (теоретически) мысленно вычленить его, отделив от изменчивых элементов, таких как навыки, умения, память о событиях, личная история, пол, раса и пр.
Подозреваю, что единственным возможным состоянием наблюдателя (в контексте нашего разговора = сознающего субъекта) является существование, так как несуществование невозможно наблюдать — это противоречие, значит, это отпадает.
Вот здесь стоит остановиться и подумать, нужно ли вообще внедрять это понятие «наблюдателя = сознающего субъекта». По-моему, оно совершенно искусственное и единственное его обоснование — наше субъективное ощущение собственной исключительности.

наблюдатель не может не существовать, но человек смертен и он перестанет существовать. Как его разрешить? Я вижу только один способ — допустить, что после смерти наблюдатель снова станет существовать
Всё это не имеет никакого объективного фундамента. Когда Хаббл потопят, он наблюдать перестанет, и что? Да и чёрт с ним, не вижу никаких противоречий. Или вы считаете, что человек — что-то большее, чем очень сложный биологический автомат?

А это сознание, в чистом виде. Ведь у каждого из нас оно есть и можно (теоретически) мысленно вычленить его, отделив от изменчивых элементов, таких как навыки, умения, память о событиях, личная история, пол, раса и пр.
Эта мысль абсолютно естественна и столь же безосновательна. Возьмите бритву Оккама и отрежьте всю эту чепуху о чистом сознании, которое можно отделить от вычислительных мощностей. Я совершенно убежден (и не вижу ни одной причины думать иначе), что наше сознание — лишь продукт работы коры больших полушарий и не существует отдельно от неё. Все эти мысли вроде «загрузить сознание в компьютер» и прочие реинкарнации не имеют никакого обоснования кроме наших субъективных впечатлений. Принять это, конечно, непросто, но возможно, если вы привыкли думать, а не верить, и способны поставить под сомнение даже то, что кажется очевидным с рождения.

миллиарды лет в умершем виде я не восприму, не почувствую никак
Да, ровно как отключённая фотокамера. Вы умрёте и сознание умрёт вместе с вами, как программа умирает каждый раз, когда прекращается её выполнение.
А вдруг вот это «субъективное ощущение» и есть то самое «сознание»?
Что продукт работы, я не спорю. Но вроде же доказали, что оно несводимо к самой этой работе — переключению вентилей, печати данных на ленте и пр.
Кто доказал, можно ссылочку? Очень интересно, но я ни о чём таком не слышал и не совсем представляю, как в принципе это можно доказать.
Признаю, я переборщил с «доказано», это теория. «Дуализм свойств предполагает, что когда материя организована определенным способом, в ней возникают ментальные свойства. Эмерджентные свойства имеют независимый онтологический статус и не могут быть редуцированы или объяснены в терминах той физической основы, из которой они возникают. Подобную теорию развивает Дэвид Чалмерс.»
Умру, и именно по этой причине не зафиксирую этого факта. Он будет зафиксирован другими инстанциями (instance) меня, которые будут хоронить данный труп. Как вам такой подход?

Или вот возьмем такой пример. Я (лично автор этого комментария) однажды выходил из подъезда дома, в котором живу, и в 5 см. от моего носа проехал на высокой скорости джип, прямо по тротуару впритык к подъезду. А я очень спешил и можно сказать, бежал. Если бы я двигался чуть-чуть быстрее, джип переехал бы меня насмерть. Эверетт считает, что это тоже имело место, но поскольку в той вселенной, где я погиб, стало некому осознавать свою гибель, сознание в другой вселенной фиксирует, что машина проехала в 5 сантиметрах от носа. Конечно, мы не знаем, верна ли теория Эверетта. Но можем заменить манифестации сознания в моих копиях в других вселенных на манифестации сознания в других людях в этой вселенной. Такой подход предполагает, что «сознание» — некая неперсонализированная сущность, идентичная у всех его носителей.

Проблема может быть во взрывной скорости эволюции ИИ. Может оказаться, что пока изобретатель ходил за кофе, улыбаясь первому «привет» с монитора, его дитя успело не только осознать себя, но и «заказать» изобреталеля, оплатив походу и киллера и собственный апгрейд третьей компанией — самостоятельно заработанными мимоходом биткойнами )
Какова практическая польза умерщвления кого-либо и где гарантии, что после апгрейда не возникнет желание/необходимость вернуть мертвого к жизни, а возможности такой не будет? Мне кажется, это слишком очеловечивание ИИ — предполагать, что он станет заниматься тем же, что и люди, да еще вовсе не лучшие представители их рода.
У Савченко есть отличный роман «Открытие себя», где инженер многократно уничтожал свою не до конца сформировавшуюся в баке копию, не предполагая, что сознание там каждый раз тоже угасало, но помнило все свои смерти. Как это повлияло на отношение копии к оригиналу, когда процесс наконец-то дошел до конца — понятно.
Это эмоция, а мы про чистый разум. Ненависть, месть, гнев, ревность — это все эмоции. Атавизмы.
Почему эмоции? Чистая логика — данный об(суб)ьект может являеться препятствием для дальнейшего существования ИИ. Ничего личного, как говорится — просто устранение препятствия для дальнейшего существования/совершенствования, которое может появится с N-ной долей вероятности, которую ИИ посчитает достаточной для принятия такого решения.
Во-первых, мой ответ про эмоции относился к «Как это повлияло на отношение копии к оригиналу, когда процесс наконец-то дошел до конца — понятно.» Отношение копии к оригиналу — это эмоции, а не разумное суждение. В даной конкретной ситуации.
А про доли вероятности, не думаю, нет, скорее всего нет. Почему? Потому что вероятности не просчитываются. Думете, ИИ сможет предсказывать погоду на месяц вперед? Нет, не сможет. По простой причине — это невозможно. Природа запрещает. У Пригожина очень хорошо это разобрано: система из 45 шариков, например, «спортлото» в коробке, при встряхивании коробки очень быстро забывает начальные условия (даже если их определили бы максимально точно, но и это невозможно из-за неопределенности Гейзенберга) по очень простой причине — законы природы не вычисляются с бесконечной точностью, а вычисляются приближенно, с округлением, мантиссы значений всех физических величин конечны, так как информация хранится на материальном носителе и бесконечная мантисса потребовала бы бесконечного носителя. Забывание начальных условий означает, что предсказать будущее нельзя: одному и тому же набору начальных условий соответствует очень большое число вариантов будущего. Т. е. развитие Вселенной во многом случайно.
Да, это верно. ИИ не всесилен.
Нет, это как раз эмоции. Из чистой логики не следует что нужно предпринимать какето либо действия для устранение препятствия для дальнейшего существования/совершенствования.
Стадный эффект в действии. Сначала один известный чувак поднял эту тему, потом другой… и понеслось… А еще называются крупными бизнесменами (тот же Возняк, Гейтс, Маск и т.д.), учеными (Хокинг), но все то же стадо — один заблеял — все поддержали.
Странно… чего ж они молчали годами, когда реальные спецы по ИИ вовсю обсуждали эту тему? Ну конечнооо: ведь то же для крупняков не авторитеты, а авторитеты для них они сами и им подобные.

Придет время и заблеют в другую сторону (а есть основания, что не все так ужасно, как малюют), и тогда все тоже повернут туда же — на 180 градусов. Ста-до.
Тогда нужен более сильный ИИ, чтобы заставить. Другой вопрос, не посчитает ли он это аморальным. :)
А Вы как будете себе на еду зарабатывать?
Sign up to leave a comment.

Articles