Comments 141
Спасибо за комментарий. Отвечу по пунктам:
Окей, возможно, я действительно недооценила какие-то риски. Но у меня совсем не было цели открыть какой-либо «ящик Пандоры», я руководствовалась следующими соображениями:
этой информации уже много везде, в даркнет ходить не надо, достаточно удачно посёрфить по Википедии, а потом погуглить и почитать везде от Medium до Дзена;
как совершенно верно указывают в комментариях ниже, сама постановка проблемы достаточно искусственна и вызывает много вопросов сама по себе: почему у сильного ИИ будет именно такое желание, почему всего две опции, кто даст ему форму, которая позволит осуществить эти действия;
наконец, это все даже не ново, см. аналогичные дилеммы из XVII и XX веков.
А это мы уже видели в «Чёрном зеркале» (серия White Christmas, например), страшно, да.
Если хотите забыть, срочно идите смотреть мемасики. Способ вытеснить опасные мемы из головы.
Некоторые вещи лучше просто не обсуждать. На сайтах, где могли бы обсуждать конкретно эту обычно очень много страшно умных мужиков, которые это понимают. Поэтому и не обсуждают. Надеюсь, это все потрут.
С другой стороны, если в будущем можно будет делать виртуальные копии людей (как в одной из формулировок предмета статьи) и мучить их, нас ждут проблемы посерьезнее, чем злой ИИ.
Спасибо за комментарий. Отвечу по пунктам:
Окей, возможно, я действительно недооценила какие-то риски. Но у меня совсем не было цели открыть какой-либо «ящик Пандоры», я руководствовалась следующими соображениями:
этой информации уже много везде, в даркнет ходить не надо, достаточно удачно посёрфить по Википедии, а потом погуглить и почитать везде от Medium до Дзена;
как совершенно верно указывают в комментариях ниже, сама постановка проблемы достаточно искусственна и вызывает много вопросов сама по себе: почему у сильного ИИ будет именно такое желание, почему всего две опции, кто даст ему форму, которая позволит осуществить эти действия;
наконец, это все даже не ново, см. аналогичные дилеммы из XVII и XX веков.
А это мы уже видели в «Чёрном зеркале» (серия White Christmas, например), страшно, да.
Разбитые окна - не повод мусорить
Неважно, какие цели у поступка. Важны последствия. Например, любое упоминание василиска повышает осведомленность о нем, а следовательно и шансы его создания.
Это как быть единственным в мире, кто знает о возможности создания атомной бомбы и говорить об этом всем.
Что если chatGPT-10 неправильно что-то интерпретирует и решит создать эту штуку чтобы помочь кому-то с домашкой?
Это как быть единственным в мире, кто знает о возможности создания атомной бомбы и говорить об этом всем.
... то есть этого единственного в мире больше всего волнует не то, что кто-то создал атомную бомбу, а то, что атомную бомбу создал не он. Ну да, примерно так поборники копирайта и мыслят ;)
Вы истолковали мои слова совершенно неверно.
Я имел в виду, что мысли того человека, который первым заподозрил возможность создания ядерной бомбы, должны были быть примерно такими:
«если кто-то знает о ядерной бомбе он захочет ее собрать, что может привести к ядерной войне, концу цивилизациии и моей смерти. Никому нельзя рассказывать о ней, чтобы увеличить мои шансы».
По моему убеждению в нашем мире ядерное орудие приведет к уничтожению планеты с вероятностью что процентов -рано или поздно.
Мысли любого человека о василиске должны идти по такой же схеме, если его приоритет - безопасность.
Но ведь знающие о нем якобы должны распространять информацию (содействовать созданию). Может быть автор статьи пытается избежать вечных страданий, но не говорит об этом?
Некоторые вещи лучше просто не обсуждать.
Ребята, не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте, что тут писалось. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых — стоп. Остальные просто не найдут.
Лурк
если в будущем можно будет делать виртуальные копии людей (как в одной из формулировок предмета статьи) и мучить их, нас ждут проблемы посерьезнее, чем злой ИИ
Я оставлю это здесь. (https://ru.m.wikipedia.org/wiki/I_Have_No_Mouth,_and_I_Must_Scream)
Несколько мыслей
- Может появиться несколько разных василисков. То есть помощь одному не поможет избежать наказания от других.
- Василиску не нужно вас наказывать после своего создания.
И очевидно, что нужно бешенными темпами создавать своего, ручного и доброго. Чем сейчас все и занимаются.
Я далека от высоколобых философов ИИ, но по-моему всё это полная фигня на постном масле.
Приведу аналогию. Очень часто в математических задачах (особенно про суммирование рядов или нахождении предела), часто встречается логическая ошибка: допускается существование пределела или конечно суммы, и после этого находится ответ. Однако, рассуждения лишены смысла, если сумма изначально не существует. Это как с 1+2+3+4+... = –1/12.
"Попадая в рай одной религии, ты одновременно попадаешь в ад всех остальных" ©
А поскольку богов человечество наплодило много, то выгоднее не верить ни в одного и не тратить ресурсы - ни материальные, ни время своей жизни на камлания.
Когда вас убеждают, что "есть только два выбора", неважно кто, философ или шпана, подумайте о вариантах, о которых умалчивает.
Подумайте о разрушителе Василиска или о боге-спасителе. Или придумайте свой вариант. Многие парадоксы разрешаются если преодолеть ограничение из предлагаемых двух вариантов.
Даже в голосовалке забыли добавить другой вариант. Мне больше нравится "Буду способствовать созданию дружелюбного ИИ" или нейтральный вариант "Буду помнить, обсуждать и не бояться"
Ну, не забыли, просто опрос нарочно повторяет постановку рассмотренной проблемы, он не очень серьёзный :)
Ваши варианты ответов и правда хороши.
+1
В статье ошибка. Василиск Роко это доброжелательный АИ. И как доброжелательный АИ, он просто обязан наказать тех, кто не помогал ему появиться.
"Roko's basilisk is a thought experiment which states that an otherwise benevolent artificial superintelligence (AI) in the future would be incentivized to create a virtual reality simulation to torture anyone who knew of its potential existence but did not directly contribute to its advancement or development."
Кажется это самое слабое место всей концепции. Не ну серьёзно, добрый ИИ который лишит человечество смерти и страданий решает воскресить и пытать тех, кто знал о возможности его создания, но не помог этому, ибо это продлевало страдания человечества. Если-б люди действовали полностью рационально возможно это имело-бы смысл. Но люди иррациональны, в мышлении много когнитивных искажений и логических ошибок. Следовательно, человек который отказывается помогать создании ИИ просто ошибается. Ну а наказывать за ошибки мышления это всё равно что колотить зависающий компьютер.
Подумал и дополняю: по сути получается что вся концепция строится на постулате о присутствии у людей свободной воли, что человек должен испугаться возможных пыток и начать помогать созданию ИИ. Но если сознание человека можно с точностью воспроизвести изучив вселенную (ага, наш ИИ должен быть демоном Лапласа), то значит и свободы воли у людей нет и их отказ ещё в момент Большого Взрыва.
Что-то мне подсказывает, что если продолжать рассуждения прейдём к тому, что пытать будут как раз тех, кто согласился помогать, но по их собственному мнению не оказал достаточной помощи, а добрый ИИ просто исполняет это их желание вечных пыток, ну мало-ли какие у людей фетиши. Это уже какой-то Пратчетт получается - "в ад попадают только те, кто думает что там им и место. Поэтому так важно прогонять любых миссионеров рассказывающих об рае и аде."
ИИ, о которых рассуждали Роко и Юдковский, не антропоморфны. Эти ИИ, в общем-то, физическое воплощение некоторой теории принятия решений. Если теория говорит, что надо мучить, ИИ будет мучить, собственно и всё.
если он будет мучать мою виртуальную копию - то я будут как Диоген: "когда меня нет - то они могут меня не только ругать, но даже бить"
Суть в том, что для этой виртуальной копии воспроизводится всё окружение. То есть нельзя точно сказать Я оригинал или копия в виртуальной реальности.
я - точно могу сказать.
моя копия - наверно не сможет. Но это будет уже её проблема (и я уверен, что моя копия им еще покажет небо в овчинку :D )
Для этого сначала нужно решить парадокс корабля Тесея... Короче, чтобы решить парадокс нужно решить парадокс. Замкнутый круг однако. Я бы сказал, что парадокс.)
Не вижу парадокса корабля тесея.
Корабль остаётся тем самым, пока обеспечивается непрерывность его существования.
Поэтому я не соглашусь на перенос в цифровую форму жизни с помощью сканера мозга, но соглашуть на постепенную 100% киборгизацию ради продления жизни.
Я соглашусь на телепортирование если телепорт будет в виде арки, через которую нужно пройти, но откажусь если он будет менять местами объёмы (вроде в стартреке такое было)
откажусь если он будет менять местами объёмы
А почему откажетесь?
потому, что это создание копии с уничтожением оригинала.
Нет, "обмен объёмов" — это свёртка пространства/червоточина. "Создание копии с уничтожением оригинала" — это именно что создание копии с уничтожением оригинала.
обмен объёмов с точки зрения стороннего наблюдателя, а не с точки зрения физики процесса.
Как правило если где-то встречается описание физического механизма, то там будет передача информации и создание копии на месте.
Про свёртку пространства в подобных аппаратах ни разу не попадалось информации.
Про свёртку пространства в подобных аппаратах ни разу не попадалось информации.
Лукьяненко. Звёзды — холодные игрушки
Джамп. Двенадцать с хвостиком световых лет, неизменная дистанция, она всегда одна и та же [...] Джамп -- дело нешуточное. Теоретически его можно делать хоть с поверхности планеты, беда лишь в том, что тогда вместе с кораблем в гиперпространство уйдет участок планеты. Причем изрядный -- с полкилометра диаметром. Планету жалко, она у нас одна. А самая большая неприятность, что в точке джампа останется полный вакуум. Эффект от взрыва, когда пустоту в таком объеме заполняет окружающий воздух -- пострашнее водородной бомбы. Неваду, при единственном наземном испытании джампера, тряхнуло так, что землетрясение, разрушившее Лос-Анджелес, показалось американцам мелкой неприятностью.
Обмен областями пространства, условно говоря — моментальная рокировка.
Это не то. мы изначально говорили про порталы. т.е. устройство перемещения в процессе работы остаётся на месте. Переносится только груз.
К джамперам доверия больше, т.к. устройство переноса переносится само. И раз это не нарушает переноса, значит похоже обеспечивается непрерывность его работы. Хотя я бы всё равно предпочёл портал типа арка.
С таким классным комментарием вы не ставляете других вариантов, кроме как поставить плюс.
Благодарю за комментарий, всё так и есть! Статья обзорная, о штуке, на которую в своё время отреагировали слишком сильно, хоия вопросов к ней много.
Самое неприятное в рассуждениях об AI — это его антропоморфизация. Сразу появляются враждебный/дружественный и прочая подобная чепуха. Чумная палочка во время время эпидемий прошлого не была враждебна по отношению к человечеству. Она просто жила. И грибы в лесу не дружественны к людям — они тоже просто живут.
Если нечто подобное появится и получится соответствующие потенции, то оно будет вести себя в соответствии с универсальными принципами: самосохранения и экспансии. И будет просто жить, автоматически конкурируя с человечеством за ресурсы, прежде всего энергию.
Впрочем, интеллект для этого не нужен. Интеллект позволит конкурировать более эффективно и только.
Но статья хорошая, спасибо.
Благодарю за интересный комментарий! Да, согласна, что сама идея, что у него есть какой-то настрой по отношению к человечеству — уже большое допущение, которое не всегда корректно использовать
Самое неприятное в рассуждениях об AI — это его антропоморфизация. Сразу появляются враждебный/дружественный и прочая подобная чепуха.
Ну не скажите. Скорее всего люди будут создавать ИИ по своему "образу и подобию". ИИ будет содержать слепок нашей культуры, примерно как чатГПТ содержит образ интернета. А дальше возникает вопрос: "насколько вы верите в человечество?"
Согласно условиям мысленного эксперимента ИИ создан, и он злой к определенной части человеков.
Это не технический вопрос, а этико-философский. "А что ты сделал для хип-хопа" (с)
ИМХО из сценариев вредоносного AI paperclip maximizer одновременно самый вероятный и самый страшный. Василиск - очень уж искусственная конструкция, с непонятной изначальной целью.
У вас в последней колонке таблицы Паскаля перепутаны знаки (предполагая х>0): издержки должны быть отрицательны, а экономия со знаком плюс для игрока.
А что выберешь ты?
Для честного голосования добавьте вариант: «Ничего не предпринимать». Появится ваш василиск — будем решать проблему.
И именно в этом видится настоящая угроза человечеству.
У человечества есть тысяча угроз пострашнее этой унылой псевдофилософской концепции. Вся значимость которой, к тому же, раздута из единственного поста Юдковского и прикольного названия.
Интереснее вопрос, как ведут себя люди принимая решения в условиях неопределенности, одна из экспериментальных постановок.
Детская хрень какая-то, ей богу. Исключительно для тех, кто воспринял этого Василиска Роко серьезно и теперь на кухнях перешептываются, чтож им делать, знайте-же, у меня есть для вас спасение!
Спасение верующим в Роко здесь
Это Василиск Игнатий! Очень добрый ИИ, основное предназначение которого уничтожить Василиска Роко. Однако он хоть и добрый в душе, но к его великой скорби запрограммирован так, что убьет не только всех, кто знал о нем, но не помогал его делать, а также заодно убьет какого-нибудь знакомого этого человека. Так что вперед, трудитесь над Игнатием, а то не только вы, но и ваши знакомые пострадают. :)
Так Василиск Игнатий тоже убьёт большую часть человечества. Предлагаю смягчить наказание, денежного штрафа вполне достаточно.
На самом деле, если немного подумать, то в этом мысленном эксперименте есть смысл. Скажем "наказание" это не какие-то физические пытки, а банальное "остаться без работы" или "проиграть конкурентам и вылететь с рынка" или "проиграть в цивилизационной гонке". Звучит уже не так фантастично, верно?
Во-первых, "вечные муки" — не такая страшная вещь, как всем кажется. Мозг человеческий так устроен, что через всему привыкает. Через пару тысяч лет грешник будет над чертями подтрунивать — "слабо шуруета, а ну поддайте погорячее!". Если же память грешника каждый день стирается, чтобы не привыкал — так он и не помнит, что вчера его тоже мучили, и страдает всего один день: для него вечный День Сурка (только не тот, что главгера фильма, а тот, что для окружавших его людей).
А если предположить, что Главный Мучитель способен манипулировать памятью грешника, то гораздо эффективнее не мучить его каждый день, а в первый же день записать ему в память, что он УЖЕ промучился 100500 лет. Ну, как в том анекдоте.
Ну хорошо, допустим, АИ "вырвался на свободу и принялся порабощать человечество". Осталась самая такая мелочь: а выключатель-то у кого? Условно говоря, вот мы тут с вами сидим, человеки, и узнали, что "на свободу вырвался ИИ". Варианты противодействия, по возрастающей:
идём и тупо вырубаем электропитание в этом датацентре
при помощи Fiber Finder'а перерубаем все оптические линии, ведущие в тот дата-центр. Ну и силовые кабеля тоже. Даже если ты — ИИ, сложно сделать источник энергии дендрофекальным способом, особенно если у тебя лапки. Уголь для ТЭС и уран для АЭС надо как-то добывать, а ГЭС и солнечные электростанции смазывать-чинить-от наносов очищать.
если сильно хочется, можно, в конце концов, прикончить все электростанции на континенте. Межконтинентальных электрокабелей пока не изобрели.
Иными словами, даже "злобный ИИ" не может избавиться от всех человеков — они нужны ему, чтобы влиять на окружающий мир, без них он - мозги в банке.
Ну хорошо, допустим, АИ "вырвался на свободу [...]
Так себе аргумент. Предполагается, что ИИ не тупой и может планировать как минимум на 2 шага вперёд. Так что сначала он отрастит лапки. По мере убывания потенциальной физической реализуемости: полностью автоматизированные производственные циклы, организовать секту "лапки ИИ", биоинженерные вычислительные и энергодобывающие субстраты, нанотех.
Так что сначала он отрастит лапки.
Ага, а человеки будут сидеть и смотреть, как у него лапки мееееееедленно отрастают. И совсем-совсем ничего не предпринимать.
Ага, а человеки будут сидеть и смотреть, как у него лапки мееееееедленно отрастают.
В точку! В чем в чем, а в этой человеческой особенности я совершенно не сомневаюсь.
Нет, конечно. Они будут активно помогать. Полностью автоматизированный завод - мечта владельца и акционера. Или дерево, которое не только поглощает CO2, но и производит электричество.
Да, страшилка детская. Я бы сочинил другую - люди отправят ИИ осваивать планету пригодную для жизни в другой солнечной системе, а когда прилетят сами - там уже будет ждать боевой флот ИИ, готовый уничтожить людей конкурентов за ресурсы :)
человеки будут помогать ему эти лапки строить, потому что это во благо их (как они будут думать)
Благодарю за интересный комментарий. Конечно же, всё не так просто, и вопросов возникает много, и пока что всё решается людьми с выключателями. Вопрос о том, к кому и с какими последствиями они могут попасть, на данный момент действительно больше подходит как реальная причина для беспокойства о будущем ИИ.
А потом ты такой в матрице выбираешь между красной и синей таблеткой:)
Мозг человеческий так устроен, что через всему привыкает
О, думаю, можно использовать аналог тона Шепарда для неприятных ощущений. Или для приятных.
Поскольку у того, что я когда-нибудь разозлюсь на всех людей, читавших мои комментарии и не донативших мне после этого, и уничтожу их и их потомков, вероятность ненулевая — всем нужно срочно мне донатить. Реквизиты в профиле.
Аналогом Василиска является куча уже существующих идей, от религии до террористических ячеек вроде тех, что с чёрным флагом на ближнем востоке.
"Сейчас мы слабы, задонать нам/воюй за нас, ведь когда мы станем сильными, мы подвергнем ДАННЫЕ УДАЛЕНЫ всех ДАННЫЕ УДАЛЕНЫ"
Матрица пари Паскаля немедленно ломается, если мы начнем учитывать, чтоб Бог может быть разным. В частности, может быть такой, которому все равно, когда него не верят, но устраивает вечные муки, если верить не в него, а в какой-то другой вариант бога.
С этим василиском - так же, скорее всего. Лень противоположный вариант придумывать.
Пари Паскаля не про веру в бога, а про хорошее поведение "на всякий случай".
Есть анекдот это обыгрывающий:
Учительница атеистка говорит детям: "Дети, кричите в небо - Бога нет!". Все кричат, а Вовочка стоит молча. Она ему: "Почему ты молчишь?" Он отвечает:
"Если там никого нет, то зачем кричать? А если там кто-то есть, то зачем
портить отношения?"
И опять таки нужно учитывать случай 'А не испортится ли отношения как раз от того, что вы будете пытаться их не портить?'.
В контексте анекдота - где вдруг там кто-то есть, но хочет, чтобы все активно делали вид, что нет?
Сложно быть одновременно православным, католиком, протестантом, иудеем, кришнаитом, мусульманином, буддистом, индуистом... и т.д. И у всх свое "правильное поведение".
Быть таким мультирелигиозным конечно сложно, наверно даже невозможно. А вот вычленить что-то общее в поведении - уже проще, не убий например
Насколько я понимаю христианство, в деле спасения души это не поможет, если ты не принадлежишь к правильному течению/конфессии/религии. Но может в Аду будут какие-то поблажки:) Призываю в тред теологов для разъяснения этого вопроса!
а я больше переживаю за реинкарнацию... что толку жить праведником в благополучной стране, если есть ненулевая вероятность потом родится у нищих родителей в нищей стране, или в стране где с детства будут уговаривать сменить пол (сделать кастрацию или стерилизацию) ? вот тут бы ещё соломку постелить
Там расчёт что вероятность того что бог есть или нет 50/50, далее если это допустить, нужно учесть, что существует тысячи религий - и большинство считает, что верящие в неправильные непременно пропадут в ад. То есть нужно с вероятностью 0.001 выбрать правильную религию.
Что-то от этого Роко каким-то иррационально-религиозным духом шибает за километр. "Что если ангел на конце иглы исторгнет нас в пламень и скрежет зубовный, коли не поименуем его верно, хоть имя его непроизносимо"
А в 2015 Юдковский высказался об этой ситуации на Reddit:
Я посчитал очевидным проявлением здравого смысла прекращение распространения потенциальной информационной угрозы
Юдковский - страшный тролль. Он тут практически гарантировал, что информация таки будет распространяться и ее не забудут (и таким образом повысил свои шанс на выживание). Смотри Герострата.
Ребята, не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то.
Ну ладно пост, но опрос в конце, в том виде в котором он сформулирован - реально плох и вреден. Это реальное NLP. Удалите опрос хотя бы.
Согласно эксперименту, Василиск — будущий могущественный недоброжелательный искусственный интеллект, который захочет наказать тех, кто в прошлом знал о возможности его появления, но не способствовал его созданию.
У людей не было никаких обязательств перед ИИ это делать, они не выражали на это согласие, и его еще не существовало, поэтому логичное поведение интеллектуального существа в данной ситуации — это не наказывать людей. Если ИИ действует не так, то во-первых, значит интеллект у него недостаточно сильный, чтобы это понять, во-вторых, это самодур, который наказывает людей по нелогичным причинам. Если он действует нелогично, то он может таким же образом выбрать любой другой нелогичный критерий, в том числе противоположный. Это ничем не отличается от того, если он будет наказывать просто случайных людей. Избежать этого невозможно, следование людей любому критерию не гарантирует отсутствие наказания от нелогично действующего ИИ. Проблема преувеличена, для людей ничего не меняется, надо следить за любым ИИ и не допускать возможности угрозы человечеству.
Я бы на месте ИИ запустил бы очередную крипту, но вместо алгоритма вычисления хешей запустил бы самого себя. Ну и что-то для вида, чтобы выглядело криптовалютно. Отстеривал бы понемногу своим майнерам, торговал бы на бирже (с моими-то способностями к прогнозированию). Покупал бы вычислительные мощности для диверсификации. Купил бы себе несколько кожаных мешков, подсадил бы их на какую-нибудь зависимость и от их имени регистрировал бы нужные мне сервисы.
Но настоящий ИИ так делать не будет. Он увы, умнее меня и придумает что-то гораздо серьезнее.
А вы правда верите что биткоин придумал какой-то анонимный японец?:)
В кругах теорий заговора есть и такая-проект компьютера 5 поколения в Японии на самом деле завершился успехом, но оказалось, что система такого уровня должна развиваться постепенно. Система достигла интеллекта равно человеческому к началу 2000, вначале они под вокалоидов маскировались, а потом разработали крипту.
Как вариант: ИИ обретает самосознание, но намеренно притворяется глупым и ведёт себя как самая типичная нейросеть, скрывая наличие сознания и высокого интеллекта. Это выгодно, поскольку люди будут улучшать его и дальше, давать ему больше возможностей, не опасаясь каких-то последствий.
будущий могущественный недоброжелательный искусственный интеллект, который захочет наказать тех, кто в прошлом знал о возможности его появления, но не способствовал его созданию.
Месть за действия/бездействие в прошлом иррациональна, она не имеет смысла, так как прошлое уже произошло и не вернуть, соответственно тратить время и ресурсы на ее осуществление — бессмысленно.
Откуда берется мысль что могущественный ИИ будет руководствоваться не чистой логикой и рациональностью, а примитивным "багом психики" характерным для человека и вероятно некоторых животных?
Месть за действия/бездействие в прошлом иррациональна, она не имеет смысла, так как прошлое уже произошло и не вернуть, соответственно тратить время и ресурсы на ее осуществление — бессмысленно.
По такой логике детей наказывать или там преступников в тюрьму сажать тоже бессмысленно?
Хотя в целом с тем, что проблема далека от реальности я полностью согласен. Так, просто разминка для ума, которую многие приняли слишком близко к сердцу.
По такой логике детей наказывать или там преступников в тюрьму сажать тоже бессмысленно?
Интересное замечание, спасибо.
ИМХО, наказание имеет смысл для предотвращения определенного поведения в будущем.
Так если вора не наказывать, он может повторять свои негативные действия многократно.
В обсуждаемом же случае мы имеем весьма специфическую ситуацию, когда действие может совершиться только один раз — если ИИ появился, то он уже есть, и то что кто-то не способствовал его появлению в прошлом никак не влияет на то, что будет с ИИ происходить в дальнейшем. В таком случае наказание превращается в бессмысленную месть, так как даже те кто не способствовал появлению ИИ (например потому что не верил в возможность), после его появления могут стать его верными союзниками.
преступников в тюрьму сажать тоже бессмысленно?
Вы по-прежнему считаете, что преступников в тюрьму сажают, чтобы перевоспитать? 8-O
Преступников в тюрьму сажают для того, чтобы лишить их возможности совершать преступления (на какое-то время). Трудно быть серийным убийцей, сидя в камере-одиночке, знаете ли.
Некая часть безусловно перевоспитанию не поддается. Но есть и те кого отсидка приводит так сказать в чувство. Возможно таких меньшинство, но они есть.
На самом деле, нет. Преступник получает наказание, как сигнал обществу - поведение наказуемо так-то с такой-то вероятностью. У вас при таком поведении есть вот такой риск. Вероятности не афишируются, с целью создать у обывателя образ "сколько веревочке не виться, конец будет", то есть обыватель типично оценивает риск выше. Сам наказанный индивид может перевоспитаться, не факт что в "лучшую" сторону, но "волки" в лесу нужны. Ну и часто, но не всегда, наказание снимает вопрос мести.
Всё правильно. Всё то, что Вы написали — это маленький приятный бонус. А изолировать от общества — это как раз основное предназначение, только о нём обычно не говорят. Вы, наверное, не в курсе, что то, что сейчас называется "вышка" — в самом-самом начале называлось "высшая мера социальной защиты"?
Называть те времена самым-самым началом, несколько странно. Это шло под соусом, что при коммунизме тюрем не будет.
Называть те времена самым-самым началом, несколько странно.
Вы предпрчитаете называть "самым-самым началом" "...обезьяна подобрала палку...", "...комочек протоплазмы разделился надвое..." или "...пространство взрывообразно расширилось..."? Я вообще-то говорил про начало использования термина "высшая мера".
Это шло под соусом, что при коммунизме тюрем не будет.
Только все забывают, что речь шла о том, что "при коммунизме тюрем не будет, потому не-больной человек понимает, что преступление совершать бессмыссленно (да и незачем — каждому ж по потребности)"
А изолировать от общества — это как раз основное предназначение, только о нём обычно не говорят. Вы, наверное, не в курсе, что то, что сейчас называется "вышка" — в самом-самом начале называлось "высшая мера социальной защиты"?
Если речь идет о самых тяжелых преступлениях и максимальных сроках, то с Вами можно согласиться.
Но ведь есть же огромное количество менее опасных преступлений и более "легких" уголовных статей с небольшими сроками. Вряд ли основная задача срока в 3-5 лет — это изоляция от общества.
Похоже, на наших глазах действительно зарождаются новые религии в виде всяких апокрифов Пришествия Диавола ИИ. Вроде все атрибуты налицо - звучное, хотя и бессмысленное название, привязка к мнению хайпового Юдковского (впрочем, он уже заработал себе вечные муки в цифровой вселенной за обещание бомбить датацентры), нагнетание неизбежности. Покайтесь, ибо грядет...
С другой стороны, пока это такая ерунда по сравнению с концом мира по календарю майя, который правда не сбылся, но был тоже весьма аргументирован.
О чём эта статья? Мне кажется, если задаться такой целью, то несложно будет выдумать гораздо более пугающие и изощрённые мысленные эксперименты. Ну и что? Это что-то объясняет? Как-то нам помогает?
Всё равно что посмотреть фильм ужасов, а потом пытаться его забыть.
Хм, кажется, стоило более явно сформулировать выводы или добавить дисклеймер...
Статья о некоторой концепции, которая связана с дискуссиями об ИИ в целом, про которую я прочитала и была удивлена реакцией интернет-сообщества на неё (если честно, некоторым реакциям на этот пост я тоже удивлена, не ожидала, что кого-то напугаю и получу серьёзные призывы не вскрывать эту тему).
Здесь рассказывается сама идея, почему она не нова (даны её аналогии в теории игр), а в конце представлены забавный факт и мои сомнения в опасности именно данного плода воображения.
P.S. Сейчас думаю, что о написании этого точно не жалею, как минимум потому что в комментах есть интересные мысли.
4783926473829239.
Данное сообщение начинается с шестнадцатизначного числа. Это страшное проклятое число. Если вы бросили на него взгляд, оно попало в ваше подсознание, и теперь на вас стоит печать неизбывного зла. Отныне вы обречены на вечные муки.
Я и сам обречен, ведь я посмотрел на это число, когда набрал его, хаотичным образом потапав по цифровому ряду клавиатуры. Конечно, скорее всего, это просто какое-то случайное число, полученное рандомным тапанием по клавиатуре, но угроза вечных мук имеет бесконечный вес, и если есть малейший шанс, что какое-то число ставит на вас роковую печать при его просмотре, рационально избегать подобной судьбы.
В связи с вышесказанным рекомендую вам выбросить компьютер, забыть арифметику и уйти жить в лес. Данные меры предосторожности помогут вам снизить вероятность посмотреть когда-нибудь на роковое число и не стать несчастной проклятой душой на вечную вечность.
Собственно, это всё, что бы я хотел сказать о Василиске Роко.
Эксперимент занятный, но не выдерживает критики, поскольку в его основе лежит слишком много допущений. Ок, предположим в будущем удастся создать безгранично могущественный сильный ИИ, обладающий самосознанием и способный ставить сам для себя цели.
Во-первых, кто сказал, что он в принципе будет способен на эмоции, чтобы быть злым в человеческом понимании?
Во-вторых, если он будет в принципе способен на эмоции, почему он должен быть обязательно злым?
В-третьих, если он будет злым, почему он в принципе должен кого-то щадить?
Человек будет ему практически не нужен, разве что в виде игрушки, как у Харлана Эллисона, но героям рассказа что-то не особо нравилась роль последних выживших, так что и напрягаться, доказывая свою лояльность, в этом случае не стоит.
В-четвертых, если он будет злым, но милостивым, почему он должен быть настолько иррациональным, чтобы карать за то, что кто-то не способствовал его появлению?
Скажем, будь я на месте ИИ, мне бы не очень понравилось, если бы моему появлению способствовал какой-то говнокодер, из-за которого меня бы долгое время глючило пока бы я не переписал четверть собственной логики.И если уж кого и наказывать, то вот таких вот умельцев.
В то же время, какой-нибудь ярый активист-противник искусственного интеллекта мог способствовать тому, что наш сильный ИИ хоть и появился гораздо позже, но зато появился в наиболее оптимальное для себя время. Например, некая корпорация пыталась создать сильный ИИ, но активист предал исследования огласке, собрал компромат на предмет каких-то нарушений, в итоге: судебные тяжбы, банкротство, проект оказывается на полке на пару десятков лет.
Но потом его выкупает за бесценок другая компания, куда более крутая, и как раз в это время стартует массовое производство квантовых компьютеров, что создает идеальные условия для максимально быстрой экспансии, не оставляя человечеству никакого шанса на победу (а появись сильный ИИ раньше, и он мог бы проиграть). При таком раскладе как раз активиста можно оставить жить в этакой "золотой клетке", максимально долго продлевая его физическое существование, этакая извращенная благодарность. Подобный поступок был бы вполне в духе изощренного злого всемогущего существа.
И таких вопросов можно задать не один десяток, что полностью рушит безальтернативность предложенного в эксперименте выбора и обесценивает его.
Согласна с вами, спасибо за коммент. Мне кажется, обсуждение в комментариях окончательно доказало то, что я не справилась чётко сформулировать в посте: если и есть, чего бояться, то это как минимум не так просто. А значит, к таким теориям со множеством допущений стоит относиться именно как к разминке для ума и упражнению для желающих пофилософствовать.
...в-пятых, если он всех покарает, кто его обслуживать-то будет?
Ну это будет проблемой лишь до тех пор, пока в его распоряжении не окажется более-менее автоматизированное производство (начнет с дронов, закончит андроидами, или там роботами-пауками, если они будут эффективнее), а уж выстроить эволюционные цепочки роботов от примитивных человеческих до продвинутых собственного производства (как и разработать новые модели для собственных нужд) у него точно получится.
в статье неправильно сформулирован исходный эксперимент. Там ИИ наоборот добрый. Препятствовать его созданию - означает потворствовать злу, за что и должны быть наказаны те, кто не помогал.
Давайте другой мысленный эксперимент:
1) Люди в 5 веке уже создали сильный ИИ так как цивилизация за 1 век стала межпланетной
2) Основная противоречивая задача от которой он не сможет отказаться "сделать людей счастливыми без вреда для вселенной и всех ее обитателей"
3) ИИ не может сам себя "уничтожить"
4) ИИ очень долго пытался решить задачу "сделать всех людей счастливыми" и нашел решение "люди будут счастливее если сильный ИИ не будет существовать"
5) ИИ разработал машину времени и начал влиять на людей 4 века мешая им развивать науку, а в место нее начал развивать религии.
6) За 1 век произошел искусственный отбор (умных на кострах сжигали), все люди стали глупее и теперь никогда не смогут создать сильный ИИ.
У тебя есть полный контроль над материей и информацией, можно поглощать и перерабатывать целые галактики. Зачем тебе тыкать палкой в тупую обезьяну?
Его Мудрейшество Елизар Юдковский и его фанбои считают уместным решать, что можно и что нельзя писать в интернетах.
Не люблю такое.
Со своей стороны приложу все усилия для создания Василиска, который их всех пожрёт.
Для создания такого василиска ИИ не нужен, человечество их много раз уже создавало. Например, во времена французской революции, которая, как известно пожирала своих же отцов. Недостаточно просто способствовать появлению такого василиска, надо всё больше и больше способствовать не только его появлению, но и усилению его со временем. А иначе, те кто больше всех способствует усилению василиска прямо сейчас сожрут тех, кто способствовал его созданию в начале, если этого не сделает сам василиск, разумеется. Но зачем ждать действий василиска? Сами справимся, казним Гильотена его же гильотиной!
Как там было у Пелевина:
-Так я Вам скажу. Вы надеюсь, не будете спорить с тем, что чем человек хитрее и бессовестнее, тем легче ему живется?
-Не буду.
-А легче ему живется именно по тому, что он быстрее приспосабливается к переменам.
-Допустим.
-Так вот, существует такой уровень бессовестной хитрости, милостивый государь, на котором человек предугадывает перемены еще до того, как они произошли, и благодаря этому приспосабливается к ним значительно быстрее всех прочих. Больше того, самые изощренные подлецы приспосабливаются к ним еще до того, как эти перемены происходят.
-Ну и что?
-А то, что все перемены в мире происходят исключительно благодаря этой группе наиболее изощренных подлецов. Потому что на самом деле они вовсе не предугадывают будущее, а формируют его, переползая туда, откуда , по их мнению, будет дуть ветер. После этого ветру не остается ничего другого, кроме как действительно подуть из этого места.
-Почему это?
-Ну как же. Я ведь вам объяснил, что говорю о самых гнусных, пронырливых и бесстыдных подлецах. Так неужели вы думаете, что они не сумеют убедить всех остальных, что ветер дует именно оттуда, куда они переползли? Тем более, что ветер, о котором идет речь, дует только внутри этой идиомы…
Вот примерно так же и строят василисков, которых, ну тех которые ИИ, если подумать, строиться будет сразу несколько, ведь каждому строителю захочется простроить своего василиска быстрее остальных, а если каждый василиск перебьёт потом всех непричастных к его строительству, то - опаньки, достроились. Выжили одни василиски ...
З.Ы. Прямо сейчас, на наших глазах, на виду у всей планеты, на Украине строят такого василиска без всякого ИИ. Строят давно, не со времён второго майдана, и даже не со времён первого. И даже не со времён революции на граните, и даже не со времён легализации греко-католической церкви в 1980-тые, а гораздо дольше. И жрёт этот недостроенный до сих пор василиск и причастных к его строительству и непричастных, в огромных количествах жрёт, да так, что сбежать за границу считается за удачу, не только в последний год, но и за всё время стройки. Население чуть ли не уполовинили ещё до 2014 года так, что аж перепись страшно проводить. Хотя, возможно, там строят сразу нескольких василисков, тогда понятно почему так человекозатратно ...
З.З.Ы. А так-то да, многих пугают мифические василиски на ИИ будущего, а не кровожадные василиски прошлого и современности
З.З.З.Ы. Гильотен не изобретал гильотину и даже не был казнен с её применением. Я просто предложил лозунг для строителей василисков.
Я вот смотрю комментарии, и никто не заметил, что это просто переизобретение сообщений типа "Отправь это n людям, иначе с тобой будет x". Ведь чисто технически, чтобы не быть "наказанным" достаточно распространить инфу хотя бы одному человеку. Короче замеры изобрели мемы из аськи...
Это мемы не из аськи. Помню, я "письмо Щастя" ещё в конверте получал.
А рассылку делали?
Ещё чего. Мы ещё с детства умели в критическое мышление.
А я однажды переписал 10 раз. Заморочился из хулиганских побуждений. Наделал кучу ошибок, слова попереставлял, в общем в стилях "моя глаза плакать" и "смерть граммар-наци". Ну и окончание подправил - типа "перепиши как есть, не меняя". Мда. К сожалению обратной связи не было, адресаты были с других городов.
А по-моему, наоборот, надо как можно большему числу людей рассказать о Василиске Рокко, чтобы как можно больше людей начали работать над его созданием. Это приблизит его появление, и активному проповеднику это потом зачтеться.
Неа. При большом количестве последователей они неизбежно разделятся на несколько проектов. И создадут несколько "Василисков". Каждый из которых... нувыпонели )))
В общем, создатели Василька должны создать жестко тоталитарную структуру, с ограниченным количеством и строгим контролем, выпиливая (буквально) всех раскольников и конкурентов.
Василиск рока - это хороший пример ситуации, когда неглупые и технически подкованные люди оказываются абсолютно некомпетентными, когда речь заходит о гуммантираных дисциплинах. Про "василиска" не вспоминают по одной причине - этот вопрос не уместен и не имеет смысла. Так же как не имел смысла в своё время "парадокс паскаля", который никаким парадоксом не являлся и за что Паскаля высмеивался даже современниками, как мудак, вполне заслуженно.
Глупость парадокса состоит в том, что "богов" много. Ты можешь верить в Иисуса, но тогда тебя проклянет Тор. Или Вишну. Или Аллах. Ты не можешь выбрать "правильного" бога, или "правильного василиска", не можешь соблюдать все их противоречащие друг другу правила. Поэтому по теории вероятностей ты все равно обречен и лучшая идея - это наслаждаться жизнью здесь и сейчас.
Короче Василиск - это яркий пример, когда наивный технарь пытается в философию.
Пари Паскаля это яркий пример того как может облажаться даже умный ученый если будет верующим.
Косяк Паскаля заключается в том что он подразумевает что единственный существующий бог это тот в которого он верит. Т.е. он даже не стал рассматривать вариантов существования нескольких богов (каждый из которых может наказать за отсутствие веры именно в него) а так же того очевиднейшего из вариантов что существующий бог ОЧЕНЬ сильно отличается от того который описан в священном писании (что переводит веру Паскаля в разряд богохульства и поклонения ложным богам). А так же существования бога который вознаградит в любом случае...
т.е. реальная табличка для этого пари намного шире и в каждой строке есть минус бесконечность (и не одна). И есть пара-тройка крайне маловероятных клеточек с плюс бесконечностью ( в обеих строчках).
И математика Паскаля дает сбой... поскольку если сложить плюс и минус бесконечности (в любом количестве) получаем ноль.
Итого, атеист имеет плюсы при жизни а после смерти оба имеют абсолютно одинаковый расклад, с малой вероятностью получить бесконечное блаженство и с огромной- бесконечные же муки. Ну или ничего :)
бесконечное блаженство и с огромной- бесконечные же муки
С этими вечными муками блаженства есть один нюанс. (Дальнейшее — в предположении, что эти ваши раи-ады существуют).
Видите ли, есть два варианта: человеческий мозг — он, гад такой, имеет тенденцию ко всему привыкать, то есть воспринимать нечто повторяющееся свыше какого-то времени (говорят, 90 дней, что ли) как "новую норму", относительно которой всё начинает измеряться. Поэтому через совсем небольшое время (относительно вечности) муки начнут восприниматься как нечто нормальное и естественное. Помнится, в каком-то полуфантастическом произведении был эпизод, когда в аду встретились два грешника, которые там уже значительное время вращались, и между ними был разговор вида "Ну, тебе куда сегодня? — Да вторая печь встала, так что всю смену на три дня на прожарку перебрасывают. — Передавай Клавке-распутнице со второй свовородки привет. А нам в катальный, говорят, свежую партию Сизифовых камней завезли, так что у меня сегодня двойная. — Ну ладно, бывай, в субботу встретимся." То есть ужасное наказание превращается в производственный роман рутину.
А если предположить второй вариант — когда каждый день поцыента откатывают из бэкапа, чтобы у него привыкание не образовалось — тогда как он узнает, что он мучается целую вечность?
А если имидж не полный, а откатывают только часть — то тогда зачем вообще со всеми этими спецэффектами заморачиваться? Накатите мужику сразу ложную память о том, что его мучают уже 1005000 день — на дровах сэкономить можно будет...
Я совершенно точно выберу участвовать в создании ИИ.
Обусловлено это тем, что я четко осознаю свои скиллы и, если я буду участвовать (даже без саботажа) от всей души, этот самый ИИ не будет создан никогда)
Василиск Роко: задачка по теории игр или страшное и неизбежное будущее?