О, нет. Если человек болен, часть процессов его организма нарушена. Но не все. Убить его — мало, что усугубить нарушение, так еще и нарушить те, что еще работают. Так что, эвтаназию такой робот сделать не даст и сам не убьет.
Верно, создать набор полный и исчерпывающий заранее невозможно. Потому я и стою за минимум базовых для всех роботов и уточняющие правила для отдельных их категорий.
Фокус в том, что десятка правил на всех не хватит. Вы же сами упоминали разные типы вреда, который меньше, чем приносимая в результате польза, например. И базовые запреты позволят выставить основные рамки, а уточнения позволят принимать решение о том, сработает в данном случае этот запрет, или нет. Учитывая, что вряд ли будет так уж много универсальных роботов, которые будут специализированы для любой ситуации, создавать громоздкий комплекс правил и запретов, в который придется втиснуть очень много информации просто нерентабельно, да и замедлит он принятие решения неслабо, просто потому, что поиск допустимости применения тех или иных запретов будет идти — как? Древовидно? А если есть база и десять исключений, их перебрать куда проще, сопоставив с имеющейся ситуацией.
робот будет приносить вред человеку одним своим существованием. Есть у нас в мозгу такая загогулина, которая заставляет к ним относиться, как к нежити — с настороженностью и агрессией. И это не изменить. К тому же, робот все же, предположительно, сильнее человека, прочнее его, бустрее и может принести вред по неосторожности, а его самостоятельное целеполагание может привести его к постановке цели, при достижении которой будет нанесен кому-то вред.
Любому человеку будет вреден удар по нему железной рукой, например. Степень вреда разная, от синяка до перелома, но вред будет. Польза же вряд ли. Если только польза для тренирующегося бойца, но там роботов незачем использовать. Ну, и поговорка эта относится скорее к условиям внешней среды и употреблению различных еды и напитков. Здесь, да, сильно индивидуально.
А незачем создавать миллион для всех, когда можно создать базу для всех, а исключения — для каждого вида по-отдельности. И получим не миллион исключений, а, скажем, по десятку для каждого вида роботов. Дело в том, что невозможно создать полный набор правил заранее. Их придется обновлять и дополнять при появлении нового применения роботов. И выгоднее, в том числе, по затратам времени и усилий, взять робота, уже неспособного причинить вред, и смягчить уточнением десяток ситуаций, либо даже ужесточить.
Кстати говоря, хотя Азимов и не продумывал техническую сторону вопроса, но он вполне продумал идейную, описав ее с разных сторон в полной серии книг про роботов, не помню название серии, увы.
Ну, "вред" я вам формализовал. Что до "свободы", так я и предлагаю вам сперва ее формализовать, что вполне возможно, а потом оперировать этим понятием в дискуссии. Просто для того, чтобы мы говорили с вами об одном понятии.
Нет, не логичнее. Все равно придется в него заносить определенные стандартные запреты, которые помешают, например, применить к человеку усилие, выше определенного уровня, даже при его спасении. Я ж говорю: это аналог БИОСа. Зачем делать его, если можно просто для каждого компьютера прописать в ОС все вводы-выводы?
И, кстати, не неполноценность законов, а их базовость. Государственные законы тоже обрастают уточнениями и поправками, но база остается прежней.
Свобода? А это что? Давайте определимся, что это такое сначала, и зачем нужно. Не бывает, знаете ли, "просто свободы", бывает "свобода от" и "свобода для".
А вот тут и вступают упомянутые софтверные уточнения, свои для каждого отдельного робота. Робот-водитель, к примеру, будет учитывать перегрузки при торможении и относительный вред или пользу от них, зато не будет учитывать укол иглой. Робот-санитар напротив, укол иглой будет выпускать в пределы допустимого, но не будет совершенно допускать, скажем, хирургии, которую в любом случае лучше оставить людям. И так далее.
Что до фобий и прочего… Ну, психологам тоже чем-то зарабатывать надо, пусть их. Да и не так страшен психоз, как его усиление. А усиление будет от самого факта наличия человекоподобных роботов, например, да и от самого машинного ИИ тоже. И никак этого не изменить.
М-м… В принципе, психологический вред — штука относительная. Так что, его обойдем и будем считать, что он не существует. А с финансовым проще: его как раз иожно запрограммить прямыми запретами на какую-то деятельность, не обязательно в БМИОС выносить.
Что до облучения, так тут мы и видим во-первых, допустимый разброс, во-вторых, софтверное уточнение ситуаций с таким разбросом. ну, и вдобавок, если не хочется разброс делать, так не допускайте робота к лечению раковых больных, только к обслуживанию и перевозке.
Нарушение свободно протекающих в нормально функционирующем здоровом организме процессов.
Дальше формализируем "нормально функционирующий", "здоровый" через средние параметры организма и допустимый разброс этих параметров.
Каналов коммуникации мало, еще нужны коммуникационные алгоритмы, а с ними будет сложнее.
Не в какой-то мере, а в практически полной. Человек, не имеющий эмоций, это инертный человек, у которого не работают ни система дофаминового поощрения, ни система адреналиновых всплесков, ни прочие гормональные системы, результат работы которых мы называем эмоциями и чувствами. Однако, без этих механизмов не будет ни любопытства, например, ни стимула к совершенствованию навыков, ни многих других реакций.
Если ИИ будет минимизировать ущерб без разделения, то мы и приходим к тому, что эффективнее всего спеленать, устроить миостимуляцию и принудительное кормление. У ИИ не будет никаких сопереживаний, которые возникают физиологически из принципа "поставить себя на место оппонента", никаких этических норм, которые вирабатываются, опять же, исходя из весьма абстрактных принципов, каковые вряд ли будут доступны ИИ, основанному на алгоритмах.
Зависеть будет от того, как задача будет поставлена и какие ограничители будут выставлены. Какие приоритеты при решении задачи будут введены.
Не всегда камеры ограничены стенами. Животное, вышедшее из заповедника, становится объектом охоты, его передвижения в итоге ограничены. Да и площадь все же не та, что в дикой природе. Ни миграцию устроить, ни с соседним прайдом иногда даже разойтись.
А заповедники — не камеры? Камеры, только размером побольше. Да и зоопарки существуют. Но тут срабатывает кроме интеллекта еще и симпатия — разновидность эмпатии. Чистый интеллект ее лишен, и ему будет гораздо выгоднее ресурсно содержать животное, чей генофонд надо сохранить, либо в виде набора клеток, либо в виде спеленутого животного с электростимуляцией мышц и питанием через трубку.
Все начинается с идеала. В его книгах высказаны идеи, которые, при их реализации, дадут нужный результат. Да, техническую сторону он не продумывал, но разве все разработки начинались с технической стороны?
Не для дауна, скорее, сверхрационального… ну, скажем, аутиста. Но почему вы полагаете, что ИИ не будет таковым аутистом? У него нет эмоций, у него нет социальности, эмпатии, которые и заставляют учитывать потребности и интересы других людей. У него есть только интеллект — счетная машина, способная к самосовершенствованию. И роботу наплевать на ваши предпочтения, если они идут вразрез с его инструкциями и оптимальным методом достижения целей. Если же говорить о примере, то читали ли вы эту книгу? Там очень неплохо описана ситуация, как раз, достижения роботом запрограммированной цели, невзирая на предпочтения людей.
В этом суть опасений: ИИ будет сверхрациональным, иным он и быть не может, если только мы не создадим не компьютерный ИИ, а белковый организм, развивающийся подобно человеку. И то: нам придется заложить в него все то, на что эволюция для нас потратила сотни тысяч лет, чтобы он вписался в социум. Если же это будет сверхрациональный компьютер, то он будет скорее руководствоваться принципом меньшего вреда, чем учитывать интересы людей. И согласно этому принципу вполне допустимо, например, истребить большую часть человечества, чтобы оставшаяся часть — человечество, собственно, оставшееся, — могла бы жить припеваючи. Ресурсов тогда хватит, контроль будет упрощен, а истребленные уже не будут ни голодать, ни болеть.
Фокус в том, что десятка правил на всех не хватит. Вы же сами упоминали разные типы вреда, который меньше, чем приносимая в результате польза, например. И базовые запреты позволят выставить основные рамки, а уточнения позволят принимать решение о том, сработает в данном случае этот запрет, или нет. Учитывая, что вряд ли будет так уж много универсальных роботов, которые будут специализированы для любой ситуации, создавать громоздкий комплекс правил и запретов, в который придется втиснуть очень много информации просто нерентабельно, да и замедлит он принятие решения неслабо, просто потому, что поиск допустимости применения тех или иных запретов будет идти — как? Древовидно? А если есть база и десять исключений, их перебрать куда проще, сопоставив с имеющейся ситуацией.
робот будет приносить вред человеку одним своим существованием. Есть у нас в мозгу такая загогулина, которая заставляет к ним относиться, как к нежити — с настороженностью и агрессией. И это не изменить. К тому же, робот все же, предположительно, сильнее человека, прочнее его, бустрее и может принести вред по неосторожности, а его самостоятельное целеполагание может привести его к постановке цели, при достижении которой будет нанесен кому-то вред.
Кстати говоря, хотя Азимов и не продумывал техническую сторону вопроса, но он вполне продумал идейную, описав ее с разных сторон в полной серии книг про роботов, не помню название серии, увы.
И, кстати, не неполноценность законов, а их базовость. Государственные законы тоже обрастают уточнениями и поправками, но база остается прежней.
Что до фобий и прочего… Ну, психологам тоже чем-то зарабатывать надо, пусть их. Да и не так страшен психоз, как его усиление. А усиление будет от самого факта наличия человекоподобных роботов, например, да и от самого машинного ИИ тоже. И никак этого не изменить.
Что до облучения, так тут мы и видим во-первых, допустимый разброс, во-вторых, софтверное уточнение ситуаций с таким разбросом. ну, и вдобавок, если не хочется разброс делать, так не допускайте робота к лечению раковых больных, только к обслуживанию и перевозке.
Дальше формализируем "нормально функционирующий", "здоровый" через средние параметры организма и допустимый разброс этих параметров.
Не в какой-то мере, а в практически полной. Человек, не имеющий эмоций, это инертный человек, у которого не работают ни система дофаминового поощрения, ни система адреналиновых всплесков, ни прочие гормональные системы, результат работы которых мы называем эмоциями и чувствами. Однако, без этих механизмов не будет ни любопытства, например, ни стимула к совершенствованию навыков, ни многих других реакций.
Если ИИ будет минимизировать ущерб без разделения, то мы и приходим к тому, что эффективнее всего спеленать, устроить миостимуляцию и принудительное кормление. У ИИ не будет никаких сопереживаний, которые возникают физиологически из принципа "поставить себя на место оппонента", никаких этических норм, которые вирабатываются, опять же, исходя из весьма абстрактных принципов, каковые вряд ли будут доступны ИИ, основанному на алгоритмах.
Зависеть будет от того, как задача будет поставлена и какие ограничители будут выставлены. Какие приоритеты при решении задачи будут введены.
В этом суть опасений: ИИ будет сверхрациональным, иным он и быть не может, если только мы не создадим не компьютерный ИИ, а белковый организм, развивающийся подобно человеку. И то: нам придется заложить в него все то, на что эволюция для нас потратила сотни тысяч лет, чтобы он вписался в социум. Если же это будет сверхрациональный компьютер, то он будет скорее руководствоваться принципом меньшего вреда, чем учитывать интересы людей. И согласно этому принципу вполне допустимо, например, истребить большую часть человечества, чтобы оставшаяся часть — человечество, собственно, оставшееся, — могла бы жить припеваючи. Ресурсов тогда хватит, контроль будет упрощен, а истребленные уже не будут ни голодать, ни болеть.