Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 446
Перенесите в Skynet (:
Интересно, думаю правление роботов не за горами.
Видимо все силы были брошены на рисование рисунка (убогого чуть менее, чем полностью) дял первого случая, поэтому рисунка ко второму случаю не предполагается (слишком сложная ситуация о_О ?)
что если тот один человек это эйнштейн а остальные пять это гитлер, сталин и ещё трое неизвестных наркоманов:) боюсь у робота микросхемы сгорят.
Тоже так подумал. Не только количество важно. Пятеро — алкаши, у одного семеро детей, жена умерла. Такой вариант не проходит.
И у алкашей рождаются Бетховены, простите за банальность. У одного семеро детей и жена умерла-шахид.
В голову приходит только введение весовых коэффициентов, но как принимающему решение знать эти коэффициенты не имея длительного контакта с каждым из возможных потерпевших?
И тогда простое и жестокое решение --введение чипа на который и записывать этот ВЕСОВОЙ коэффициент (возможно перепрограммируемы или изменяемый с течением времени исходя из сведений из общей базы), далее спутник, связь спуника с принимающим решение\роботом.
Какие еще варианты?
И тогда простое и жестокое решение --введение чипа на который и записывать этот ВЕСОВОЙ коэффициент (возможно перепрограммируемы или изменяемый с течением времени исходя из сведений из общей базы), далее спутник, связь спуника с принимающим решение\роботом.
Какие еще варианты?
С такой логикой не вживляя никаких чипов можно как минимум 50% населения Земли свалить в биореактор.
Введение коэфициентов определяющих право человека на жизнь идет в разрез с конституционными нормами демократических стран. По конституции каждый имеет право на жизнь. Равное право.
признаться, с точки зрения логики (несколько упрощенной точки зрения, впрочем), человек со статусом доктора наук имеет большее право, чем некий безработный бомж-алканавт.
вообще, человеки давно уже занимаются выработкой некой морально-этической парадигмы, в которой жизнь одного человека боле ценна (для общества), нежели другого.
но.
учитывая эгоизм, алчность, коррумпированность и формализм, столь свойственные большинству людей, при определении «ценности» не избежать спекуляций.
жалкие людишки!
вообще, человеки давно уже занимаются выработкой некой морально-этической парадигмы, в которой жизнь одного человека боле ценна (для общества), нежели другого.
но.
учитывая эгоизм, алчность, коррумпированность и формализм, столь свойственные большинству людей, при определении «ценности» не избежать спекуляций.
жалкие людишки!
а если один человек беременная женщина, а пятеро других — смертельно больны… вариантов много
Даже на первый простой эксперимент с вагонеткой я бы не смог дать однозначного ответа, но роботу проще — его потом совесть(или кошмары по ночам) мучить не будут
Даже на первый простой эксперимент с вагонеткой я бы не смог дать однозначного ответа, но роботу проще — его потом совесть(или кошмары по ночам) мучить не будут
Откуда вы знаете, может быть в голове робота будет Intel conscience какая-нибудь… :)
Пожалуй, всё зависит от полноты имеющейся информации.
А в AI у Спилберга (кажется) ему снились сны…
Я думаю, заморачиваться на эту тему малоосмысленно — скорее всего, человек, стоящий у рычага, вряд ли знает лично всех участников конфигурации. Просто видит — ага, там пять, а тут один.
Любопытно то, что совесть будет мучать человека стоящего у ричака в любом случае. Выбири он одного или выбери он пятерых. Или не выбери ничего.
Или не будет?
Или не будет?
Если будет мучить убив одного и спася пятерых — то он больной и пусть сам останавливает тележку своим никчемным трупом :)
по логике вроде так, но если вспомнить что тот один кого он задавил — это его школьный друг, вместе с которым он первый раз в жизни пил пива… и вот теперь его уже больше нет…
Тогда пятерых пусть под вагонетку :) И это будет правильно.
Я о том, что при любом выборе умрут люди, а значит совесть пусть спит спокойно.
Я о том, что при любом выборе умрут люди, а значит совесть пусть спит спокойно.
А один из тех пяти — это теща, стрелочника. И хоть она и пилит его по вечерам, но как потом в глаза жене смотреть. Как объяснить потом жене, почему оставил жизнь другу, а не ее матери.
Жизнь не простая штука…
И запрограммировать в робота все то хитросплетений эмоций, которое движет людьми разве можно?
Жизнь не простая штука…
И запрограммировать в робота все то хитросплетений эмоций, которое движет людьми разве можно?
«Снятся ли роботам электрические овцы?»
Моррисон, Кобейн и Джими Хендрикс, к примеру?
Проблема не в этом, а в том, что наши моральные принципы меняются быстрее чем логика машин. Сегодня коммунист — это плоха, а вчера — хорошо. Как это объяснить машинам?
да какая разница? тем пяти человекам просто не повезло, почему должен страдать тот которому не угрожает смерть?
минусующим просьба пояснять свое несогласие.
хотели бы вы оказаться на месте того человека, которого робот принесет в жертву ради жизни других?
хотели бы вы оказаться на месте того человека, которого робот принесет в жертву ради жизни других?
во, первый здравый коммент по делу. тоже захотелось задать всем этим согласившимся убить одного — чтобы они сказали если бы это были они.
да то же самое и сказали бы.
А что бы вы сказали, если бы находились среди этих пяти?
А что бы вы сказали, если бы находились среди этих пяти?
если исходить из постановки задачи — эти пятеро понятия не имеют что их можно спасти ценой жизни другого человека. мое мнение — если должен умереть я — значит такова моя судьба. лично я был бы против спасения своей жизни ценой жизни другого человека.
чаще всего так и происходит. допустим вас спасают из под обвала и человек, который вас спас остается под завалом сам.
но что самое интересное, если бы спасателю сказали, что он может не идти в завал спасать вас и что он гарантированно погибнет в нем, он всерано пойдет.
склад ума у человека другой, именно такие люди могут бросится под вагонетку, чтобы спасти других.
тут настолько всё сложно, что думаю роботам просто нестоит такое внедрять в роботов.
думаю им стоит внедрить просто правило, что они обязаны собой защитить ВСЕХ находящихся в опасности людей и точка
выбор кому погибнуть должен стоять не для людей, а для роботов
но что самое интересное, если бы спасателю сказали, что он может не идти в завал спасать вас и что он гарантированно погибнет в нем, он всерано пойдет.
склад ума у человека другой, именно такие люди могут бросится под вагонетку, чтобы спасти других.
тут настолько всё сложно, что думаю роботам просто нестоит такое внедрять в роботов.
думаю им стоит внедрить просто правило, что они обязаны собой защитить ВСЕХ находящихся в опасности людей и точка
выбор кому погибнуть должен стоять не для людей, а для роботов
А почему судьба у вас выступает только исключительно в роли сорвавшейся тележки, а не в виде робота или кого-то ещё, кто передвигает стрелки?
Ну вот просто не повезло тому одному, что он оказался на отдельной ветке, и что робот был так запрограммирован, или что я считаю долгом спасти как можно больше людей.
>>против спасения своей жизни ценой жизни другого человека
ключевой момент — спасение ПЯТИ жизней ценой жизни ОДНОГО другого человека
Ну вот просто не повезло тому одному, что он оказался на отдельной ветке, и что робот был так запрограммирован, или что я считаю долгом спасти как можно больше людей.
>>против спасения своей жизни ценой жизни другого человека
ключевой момент — спасение ПЯТИ жизней ценой жизни ОДНОГО другого человека
Своего ребенка нормальный родитель будет защищать как себя самого.
Я хоть и считаю все это полным бредом, но немного влезу…
А что если на обоих чашах (читай путях) будет по ребенку. что делать родителю, как оценивать кто лучше/хуже. Кого оставить, а кого погубить. Я думаю мужское население, просто будет дергать рычаг туда сюда, полагаясь на судбьу… Или нет, не знаю, сложный вопрос, а может погибнуть самому и оставить второго ребенка/жену без отца/мужа.
А что делать женщинам с их материнским инстинктом, я думаю они умрут раньше…
Как я и сказал в начале, все это бред какой-то.
Нужно сравнивать не робота с человек, а робота с ребенком. У ребенка лет 5-7 нет моральных принципов, нет религиозных пристрастий. Как можно
А что если на обоих чашах (читай путях) будет по ребенку. что делать родителю, как оценивать кто лучше/хуже. Кого оставить, а кого погубить. Я думаю мужское население, просто будет дергать рычаг туда сюда, полагаясь на судбьу… Или нет, не знаю, сложный вопрос, а может погибнуть самому и оставить второго ребенка/жену без отца/мужа.
А что делать женщинам с их материнским инстинктом, я думаю они умрут раньше…
Как я и сказал в начале, все это бред какой-то.
Нужно сравнивать не робота с человек, а робота с ребенком. У ребенка лет 5-7 нет моральных принципов, нет религиозных пристрастий. Как можно
Всё относительно. Изначально не повезло всем шести, т.к. вагонетка может ехать по обоим путям. Вопрос в том, где в итоге будет стрелка.
Сами попробуйте посчитать вероятность этого. Гитлер и Сталин вместе не пойдут в шахту, тем более с неизвестными наркоманами!
А по делу, из шести неизвестных людей гением с равной вероятностью может оказаться любой из них. И как раз в группе из пяти человек гений окажется с вероятностью в пятеро большей, чем в группе из одного.
А по делу, из шести неизвестных людей гением с равной вероятностью может оказаться любой из них. И как раз в группе из пяти человек гений окажется с вероятностью в пятеро большей, чем в группе из одного.
не уверен что тервер здесь вообще применим. согласно терверу вполне допустимо чтоб в 100 случаях с вагонетками погибло скажем 16 эйнштейнов, но с точки зрения человечества это может быть абсолютно недопустимо.
А как вы узнаете, Энштейн одиноко стоит на левой ветке или в группе из пяти на правой? Как вы будете решение принимать?
если не существует возможности узнать кто где, то и вопроса нет, решать придется как робот из топика. Вопрос в том как решать если известно кто где находится. как можно оценить ценность людей, скольких человек стоит эйнштейн и имеет ли значение кто эти другие. Интересно стоит ли эйнштейн резерфорда или двух, а может наоборот и т.д.
О да, тогда задача не имеет решения:
На одной ветке Энштейн, на другой Резерфорд и четыре лаборанта.
А вдруг Резерфорд завтра собирается поставить эксперимент, который приведет к открытию холодного ядерного синтеза?
А вдруг Энштейн уже почти придумал Великую Объединенную Теорию Всего, но сам ещё не знает об этом, его завтра осенит?
На одной ветке Энштейн, на другой Резерфорд и четыре лаборанта.
А вдруг Резерфорд завтра собирается поставить эксперимент, который приведет к открытию холодного ядерного синтеза?
А вдруг Энштейн уже почти придумал Великую Объединенную Теорию Всего, но сам ещё не знает об этом, его завтра осенит?
В мире слишком мало Энштейнов, чтобы набрать статистику придумывания ими гениальных теорий, на основе которой можно было бы решать такие задачи.
Не, гений в шахту не полезет.
Сталина в ряд с Гитлером и наркоманами?
Дибил, иди учи историю.
Дибил, иди учи историю.
Это не важно. Для роботов все люди должны быть одинаково ценны. С точки зрения морали, даже людям, нельзя делить других людей на высших и низших граждан. Если бы это было так, то за убийство наркомана у нас бы предусматривалось другое наказание, чем за убийство добропорядочного человека. Но в УК написано «убийство человека», т.е. главное что это «человек».
а ещё в ук есть убийство милиционера, судьи, беременной, беспомощного, матерью своего новорожденного ребенка и т.д. и наказания предусмотрены разные. так что даже наш кристально чисты УК…
И потом необходимость деления людей в любом случае возникнет если, например, надо укрыть m людей от ядерной войны, а укрытие рассчитано только на n=m/1000 людей, кого в первую очередь надо поместить в убежище — всех подряд или руководство страны, наиболее важных ученых и наиболее здоровых людей готовых к продолжению рода? будет ли моральным посылать в убежище всех подряд если это грозит дезорганизацией, хаосом, невозможность восстановить популяцию после катастрофы и в конечном итоге исчезновением человечества? или моральнее все же будет разделить людей на достойных и не очень? полагаю принципы гуманизма, работающие в обычной жизни, не подходят в кризисной ситуации.
И потом необходимость деления людей в любом случае возникнет если, например, надо укрыть m людей от ядерной войны, а укрытие рассчитано только на n=m/1000 людей, кого в первую очередь надо поместить в убежище — всех подряд или руководство страны, наиболее важных ученых и наиболее здоровых людей готовых к продолжению рода? будет ли моральным посылать в убежище всех подряд если это грозит дезорганизацией, хаосом, невозможность восстановить популяцию после катастрофы и в конечном итоге исчезновением человечества? или моральнее все же будет разделить людей на достойных и не очень? полагаю принципы гуманизма, работающие в обычной жизни, не подходят в кризисной ситуации.
Конечно люди неравны. И когда идёт речь о выживании человечества, это неравенство нельзя не учитывать. Другое дело, что с точки зрения морали делить людей на хороших и не очень — плохо. Мораль говорит нам как жить правильно, но она не является частью фундаментальных законов вселенной, она создана людьми. Реальность несовершенна, несправедлива и.т.д. Другими словами мы живём в реальном мире, а мораль нам говорит как в идеале должны поступать люди. И пока это противостояние актуально, жить на 100% исходя из моральных принципов невозможно, но нужно к этому стремиться.
Всё дело в том, что машины не способны действовать в отсутствии неполноты информации, находить так называемые инварианты (расплывчатые решения). Например если заложить в алгоритм действия робота систему оценок каждого человека, и скажем об одном (одном из пяти) стоящих на рельсах он ничего знать не будет, а сверху всё также Эйнштейн а остальные четверо наркоманы. Что он будет делать? Очень интересная проблема. Станислав Лем в «Сумме технологий» говорил о том, что шахматисты, которые находят инварианты, находят их на до языковом уровне, т.е. не способны описать словами метод выбора. А меня мой преподаватель по алгоритмам учил, что то, что нельзя описать естественным языком нельзя и описать алгоритмом. Вот такая мне представляется дилемма.
Думаю в случае второго эксперимента робот сам должен броситься под колеса вагонетке.
И вообще я считаю что любого робота нужно программировать исходя из того, что человеческая жизнь ценится намного выше его механической целостности.
И вообще я считаю что любого робота нужно программировать исходя из того, что человеческая жизнь ценится намного выше его механической целостности.
Роботом может быть компьютер управляющий механизмами в шахте, который не сможет сдвинуть себя с места. Тут вопрос этики, подразумевается, что есть только 2 решения.
Из стены высовывается рука и толкает человека на рельсы.
да хоть тресни есть больше чем два решения.
если к ситуации цинично подойти, зачем вообще что-то решать? пусть стрелка указывает, туда куда и до этого указывала
а робот должен из стойки вылезти и процессором полечь, чтобы всех шестерых спасти
ЗЫ и почему вагонетку с рельсов не свести?
если к ситуации цинично подойти, зачем вообще что-то решать? пусть стрелка указывает, туда куда и до этого указывала
а робот должен из стойки вылезти и процессором полечь, чтобы всех шестерых спасти
ЗЫ и почему вагонетку с рельсов не свести?
Согласен. У людей есть понятие 'самопожертвование'.
По условиям, остановить вагонетку может только толстый рядом стоящий человек (робот), а не хилый наш несчастный человек (робот), принимающий решение.
Видимо, в эксперименте робот очень хотел сам броситься под вагонетку, но злые экспериментаторы слишком хорошо его приварили к мостику. Робот со слезами на глазах столкнул человека на пути, но выводы о морали экпериментаторов сделал. Экспериментаторы это понимают, и боятся подойти к нему: как-то нехорошо у него объективы блестят, да и зачем он взял в свои манипуляторы ту железную арматурину?
Очень интересная статья. Но тему интересно развить. Например, в Космической Одиссее 2001 есть такой момент — бортовой компьютер «сходит с ума» и расправляется со всеми людьми на борту, так как они представляют угрозу для миссии. На самом деле это никакое не «схождение с ума», а вполне себе легитимный сценарий развития этой темы. Робот может закончить миссию. У людей появляются сомнения. Робот их нейтрализует, так как для заказчика миссии результат, вероятно, важнее, чем жизни нескольких пилотов. Т.е. мораль переходит в коммерческую плоскость. Сколько стоит мне миссия? Это больше, чем жизнь пилота?
Насколько я помню, а я как раз недавно прочитал первую одиссею, там у ЭАЛ9000 была друга проблема. «Все трудности, вероятно, были вызваны противоречием между основными принципами работы ЭАЛа и требованиями секретности. Согласно прямому
распоряжению президента существование объекта ЛМА-1 сохранялось в полной
тайне.… Поскольку ЭАЛ способен управлять кораблем без помощи людей, было
решено запрограммировать его так, чтобы он смог выполнить задание, даже
если экипаж будет выведен из строя или погибнет. В ЭАЛ была введена
полная информация о целях экспедиции, однако было запрещено сообщать ее
Боумену или Пулу.Но главная задача любого компьютера — обработка информации без искажения и утаивания. Из-за создавшегося противоречия у ЭАЛа возник,
выражаясь языком медицины, психоз — точнее, шизофрения. „
распоряжению президента существование объекта ЛМА-1 сохранялось в полной
тайне.… Поскольку ЭАЛ способен управлять кораблем без помощи людей, было
решено запрограммировать его так, чтобы он смог выполнить задание, даже
если экипаж будет выведен из строя или погибнет. В ЭАЛ была введена
полная информация о целях экспедиции, однако было запрещено сообщать ее
Боумену или Пулу.Но главная задача любого компьютера — обработка информации без искажения и утаивания. Из-за создавшегося противоречия у ЭАЛа возник,
выражаясь языком медицины, психоз — точнее, шизофрения. „
а вот в только что вышедшем Луна 2112 робот, наоборот, позитивный и помогает людят.
При чем здесь «легитимность»?
Только пока за пультом обычно сидит человек. Который в таких критических ситуациях должен принять решение. Вся эта этика-автоматика не выйдет за рамки лабораторий до тех пор, пока законодательство и общество не придумает на кого переложить ответственность в случае убийства человека роботом. Ибо, если я не ошибаюсь, смерть того одного несчастного юридически будет считаться убийством. И пока общество не будет готово к тому, что на скамье подсудимых будет сидеть робот самостоятельности в принятии таких решений не будет.
И в тюрьме сидеть тоже будет робот. Глупости какие. Если в смерти человека виновата автоматика, разбор полётов идёт дальше, выясняя, что именно стало тому причиной: нарушение условий эксплуатации, конструктивный недочёт, производственный дефект etc. В конце цепочки всегда кто-то находится.
Этот вопрос решён если я не ошибаюсь в римском праве :)
Владелец, это правило и сегодня теоретически действует в России, вероятно и большинстве европейских стран
Владелец, это правило и сегодня теоретически действует в России, вероятно и большинстве европейских стран
Ваш комментарий натолкнул на следующую идею:
В тот момент, когда робот понимает, что перед ним стоит моральная задача, касающаяся жизни людей,
все информация о контексте и, соответственно, выбор решения (управление самим роботом) передается ответственному за этого робота человеку.
Это накладывает ряд ограничений:
— должен быть отложен выпуск человекоподобных роботов с интеллектом и свободой действия до того момента, пока люди не научатся передавать и усваивать огромные массы информацию в очень короткие сроки.
— связь со своим подопечным роботом должна быть практически моментальной, чтобы можно было успеть принять решение
— человек не должен иметь в своей ответственности более одного (двух) роботов, чтобы не возникло коллизий, способных привести к человеческим жертвам.
Однако это будет решение. Иного, как мне кажется, не может быть, так как невозможно роботу заложить гуманистическую составляющую (называемого «совестью», «душой», а не «социомораль»), которым обладает человек, ибо составляющая иррациональна.
В тот момент, когда робот понимает, что перед ним стоит моральная задача, касающаяся жизни людей,
все информация о контексте и, соответственно, выбор решения (управление самим роботом) передается ответственному за этого робота человеку.
Это накладывает ряд ограничений:
— должен быть отложен выпуск человекоподобных роботов с интеллектом и свободой действия до того момента, пока люди не научатся передавать и усваивать огромные массы информацию в очень короткие сроки.
— связь со своим подопечным роботом должна быть практически моментальной, чтобы можно было успеть принять решение
— человек не должен иметь в своей ответственности более одного (двух) роботов, чтобы не возникло коллизий, способных привести к человеческим жертвам.
Однако это будет решение. Иного, как мне кажется, не может быть, так как невозможно роботу заложить гуманистическую составляющую (называемого «совестью», «душой», а не «социомораль»), которым обладает человек, ибо составляющая иррациональна.
Если люди «научатся», то роботы и прочие «мыслящие компьютеры» будут излишни.
Физическая, рутинная работа, которую не захочется выполнять будет всегда. А вместе с ней и будет желание, чтобы эту работу делал кто-то иной, к примеру роботы.
Для рутинной работы не нужны «мыслящие компьютеры». Обычного конвейера вполне достаточно.
В этом Вы правы. Тогда и можно посоветовать ученым и не браться для создания человекоподобных роботов со свободной волей, ибо при попытке перенести такие морально-философичные понятия в робота, ошибка точно гарантирована. И получим мы либо машину стремящуюся захватить всю власть, ибо так «для людей будет лучше»; либо суицидников; либо махину с кучей ошибок в логике.
Хотя есть пример, где свободная воля все-таки нужна:
— обследование территории, где человек не может существовать или его присутствие очень дорого в тех плане, где необходимо реагировать «по ситуации».
Хотя есть пример, где свободная воля все-таки нужна:
— обследование территории, где человек не может существовать или его присутствие очень дорого в тех плане, где необходимо реагировать «по ситуации».
Про пешеходный мост пример. А зачем толкать человека на путь вагонетки если можно запрограммировать робота самого под него прыгнуть? Или уже прививаем им инстинкт самосохранения заранее?
Видимо для того, что бы показать, что человек действует не логично, и в одних условиях готов пожертвовать одним что бы спасти нескольких, а в других нет.
Весь секрет в постановке задачи.
В первом случае нужно ВЫБРАТЬ кому умереть, а во втором УБИТЬ ради спасения других. Несмотря на то что по логике это одно и тоже, второе сделать сложнее с эмоциональной точки зрения.
В первом случае нужно ВЫБРАТЬ кому умереть, а во втором УБИТЬ ради спасения других. Несмотря на то что по логике это одно и тоже, второе сделать сложнее с эмоциональной точки зрения.
Спасибо, а то я все никак не мог понять, в чем соль.
Мы о роботах же? ) Так вот у робота эмоций быть не должно. И нарушать один из законов роботехники, т.е толкать человека на рельсы, то только в случае если робот ограничен возможностях (как уже привели пример — будет не робот а просто автоматическая рука (хотя зачем руке искусственный интеллект я так и не понял до конца).
А если робот «полценный», то логика «я скину человека, а не прыгну сам» выгодна только его производителям. Правильнее же будет ему самому прыгнуть.
А если робот «полценный», то логика «я скину человека, а не прыгну сам» выгодна только его производителям. Правильнее же будет ему самому прыгнуть.
Допустим, ИИ управляет не только рукой, но некоей большой системой, одним из манипуляторов которой является эта рука — единственный инструмент, которым можно как-то повлиять на данную ситуацию. Так лучше?
Кстати, «законы робототехники» пока нигде не кодифицированы.
Кстати, «законы робототехники» пока нигде не кодифицированы.
«Так вот у робота эмоций быть не должно» — хотелось бы чтобы биохимики меня поправили, но эмоции, мысли, желания и любой продукт деятельности мозга — лишь сформированные нейронные связи, электрические импульсы и изменение в гармональном составе? Т.е. фактически на физическом и программном уровне возможно повторить (конечно не на 100%) работу мозга.
Повторю г-на EvilPartisan, но суть была в том, чтобы робота принять за человека и заставить принять человеческий поступок, а ведь самопожертвование характерно далеко не каждоу человеку.
Повторю г-на EvilPartisan, но суть была в том, чтобы робота принять за человека и заставить принять человеческий поступок, а ведь самопожертвование характерно далеко не каждоу человеку.
В статье, к сожалению, не раскрывается принцип, по которому робот принимает решение во втором примере. Было бы весьма небезынтересно ознакомиться.
Если вдуматься в первый случай, решив отправить вагонетку на запасные пути, робот делает совершенно тот же самый выбор: бездействовать или убить человека. Какая разница: бросают человека под вагонетку или вагонетку направляют на него? Нужна ли роботам эта этика? Не лучшим ли вариантом будет бездействие с его стороны? Судьба, так сказать. Да, погибнет пятеро, но зато никто не вмешивался в ход событий. Может это и к лучшему.
Не судьба, а баг. А если робот как-то отреагирует — этот баг уже будет признан фичей и пущен дальше. Чего допускать ни в коем случае нельзя.
Вот повод для размышлений: профессия телохранитель.
Человеку в лучшем случае ни за что, зато с точки зрения нанимателя человек возьмет на себя пулю, предназначающуюся работодателю. В худшем случае что делать бодигарду?
Опять же, если кто смотрел фильм «Смерть в эфире», [spoiler]в нём в прямом эфире на шесть человек даётся одир револьвер с одним патроном, один раз вращается барабан — и люди по очереди стрелляют себе в голову (русская рулетка). Если бы пять человек получили осечку, что делать шестому?[/spoiler]
Человеку в лучшем случае ни за что, зато с точки зрения нанимателя человек возьмет на себя пулю, предназначающуюся работодателю. В худшем случае что делать бодигарду?
Опять же, если кто смотрел фильм «Смерть в эфире», [spoiler]в нём в прямом эфире на шесть человек даётся одир револьвер с одним патроном, один раз вращается барабан — и люди по очереди стрелляют себе в голову (русская рулетка). Если бы пять человек получили осечку, что делать шестому?[/spoiler]
Для человеческого разума сбросить с моста и перевести стрелки кажутся выглядят неравноправными действиями.
Мой мозг мгновенно принимает решение, что перевод стрелок гарантированно спасет пятерых, а у человека на запасном пути есть шанс отпрыгнуть. Сбросить же человека на пути выглядит ненадежным вариантом: во-первых, можно сбросить слишком рано и он успеет уползти, во-вторых, если замешкаться, он покалечится, а пятеро все равно погибнут. И самый главный останавливающий фактор — а почему тело одного человека затормозит вагонетку? Ведь она способна убить пятерых, не ограничиваясь только одним из них.
Эти рассуждения могут показаться нелепыми, но человеческий мозг приходит к этим выводам подсознательно и мы инстинктивно чувствуем второй вариант более жестоким.
Робот же должен действовать беспристрастно — позволить тележке задавить пятерых, а затем догнать и застрелить шестого.
Мой мозг мгновенно принимает решение, что перевод стрелок гарантированно спасет пятерых, а у человека на запасном пути есть шанс отпрыгнуть. Сбросить же человека на пути выглядит ненадежным вариантом: во-первых, можно сбросить слишком рано и он успеет уползти, во-вторых, если замешкаться, он покалечится, а пятеро все равно погибнут. И самый главный останавливающий фактор — а почему тело одного человека затормозит вагонетку? Ведь она способна убить пятерых, не ограничиваясь только одним из них.
Эти рассуждения могут показаться нелепыми, но человеческий мозг приходит к этим выводам подсознательно и мы инстинктивно чувствуем второй вариант более жестоким.
Робот же должен действовать беспристрастно — позволить тележке задавить пятерых, а затем догнать и застрелить шестого.
Рассказ о вагонетке-убийце можно положить в основу какого-нибудь фильма ужасов, да.
100 раз было.
В старой серии twilight zone на корабль, который вез лекарство пробралась девочка.
Горючее ограничено, и с нею корабль не сможет сделать необходимых маневров. Без пилота он не долетит.
Они долго пытались выкинуть лишние детали, но не помогло — перевес 20 кг.
А что бы вы сделали на месте пилота? А на ее месте?
В старой серии twilight zone на корабль, который вез лекарство пробралась девочка.
Горючее ограничено, и с нею корабль не сможет сделать необходимых маневров. Без пилота он не долетит.
Они долго пытались выкинуть лишние детали, но не помогло — перевес 20 кг.
А что бы вы сделали на месте пилота? А на ее месте?
Шестого застрелить, чтоб никому обидно не было? :)
Кэп, ты?
А если робот состоит из прибитой к стене руки-манипулятора? И он не может броситься, но может бросить.
Начальные условия эксперимента таковы, что робот броситься не может.
Начальные условия эксперимента таковы, что робот броситься не может.
Надо предложить в метро сделать систему экстренного торможения людьми. :-)
стоит себе спокойно рабочий, чинит рельсы… тут черная рука переключает свитч и его убивает вагонеткой. не вижу разницы, если честно. что так что так убить человека ради жизни 5х. как по мне если уж в 1м случае так делать, то и во 2м. иначе ни то, ни то, лучше бездействовать.
Если мы моделируем именно человеческую мораль, то разница огромна. В первом случае мы взаимодействуем с механизмом (рычаг), чтобы спасти 5 человек. Т.е. собственноручно вроде как человечка не убиваем. Во втором же случае у нас идёт прямой контакт с будущей кровавой кашей. Мы убиваем его намеренно, лицом к лицу, можно сказать. Это совершенно разный уровень восприятия ситуации.
странно, для меня один и тот же уровень. и то и то убийство, пусть и чтоб спасти кого-то
Для большинства людей всё-таки разный. В первом случае мы спасаем пять человек взаимодействуя с рычагом, а во втором убиваем одного взаимодействуя с человеком. В первом случае мы меняем ситуацию не трогая самого человека. Мы просто спасаем 5 человек, но получается так, что от этого гибнет один. Во втором случае мы меняем ситуацию с помощью убийства. В первом случае мы сначала спасаем 5 человек, а затем 1 убирает, а во втором нам надо сначала убить, чтобы потом спасти. Всё-таки с точки зрения морали это разные ситуации.
Вообще-то убить, либо допустить бездействием смерть человека — это одно и то же как для «3-х законов», так и для законов УК=) Таким образом, бездействие — тоже убийство!
Вообще-то тут речь идёт не о законах УК, а о моральных установках. Так что бездействие это не всегда убийство.
По-моему, одинаково аморально как убить человека, так и допустить своим бездействием его смерть. Разве нет?
Вы вообще топик читали или пришли просто поспорить про аморальность убийства?
Бездействие в обоих случаях, описанных в топике, приведёт к смерти 5 человек, а действие к смерти 1 человека. Тут выбор идёт между смертью и смертью. Сложный выбор. Как не поступи — получается аморально. Но если мы «действуем», то во втором случае получается «аморальнее» убить одного, чем пятерых.
Такое моё мнение, и оно запросто может расходиться с вашим, потому что мораль у каждого своя.
Бездействие в обоих случаях, описанных в топике, приведёт к смерти 5 человек, а действие к смерти 1 человека. Тут выбор идёт между смертью и смертью. Сложный выбор. Как не поступи — получается аморально. Но если мы «действуем», то во втором случае получается «аморальнее» убить одного, чем пятерых.
Такое моё мнение, и оно запросто может расходиться с вашим, потому что мораль у каждого своя.
Я согласен, что мораль видимо у каждого своя. Но все же попытаюсь объяснить почему я решил иначе: для меня бездействие это тоже действие. Кстате, в курсе права, есть интересный вопрос про мораль и законы. Так вот законы строятся на моральных принципах. Так что зря вы так… Получается, что с точки зрения законов вы не правы, а сточки зрения вашей морали — вполне. Извините, если обидел.
А зачем руке-манипулятору интеллект? В особенности размышления на тему жизни и смерти людей?
Если были условия эксперимента что робот не может броситься под вагонетку то смысл от этого робота?
Если были условия эксперимента что робот не может броситься под вагонетку то смысл от этого робота?
Вот так и рушатся законы робототехники, не успев выйти со страниц фантастики в реальную жизнь…
Я могу задать вопрос проще
Человеку нужна операция, очень сложная, шанс выжить 50%. Без операции человек умрет с вероятностью 50%.
Должен ли робот-хирург делать операцию?
Человеку нужна операция, очень сложная, шанс выжить 50%. Без операции человек умрет с вероятностью 50%.
Должен ли робот-хирург делать операцию?
В данном вопросе даже человеку сложно принять решение.
В Хаусе есть жестокая довольно-таки серия. Два младенца больны одной и той же болезнью. У Хауса два предположения. Лечение в двух случаях диаметрально противоположное. Вместо того, чтобы выбирать каким способом лечить, Хаус дает одному младенцу одно лекарство, а другому другое.
Кино не смотрел, описанная ситуация говорит мне лишь о не профессионализме врача.
То есть, по-вашему, 2 потенциальных трупа — лучше, чем один? Странно. Бывает, что у людей нет выбора :(
Ваш комментарий излучает врачебный профессионализм.
какое решение предложили бы вы?
Я ведь написал, что не смотрел. Прочитал ниже, что написал bogus92, в таком случае считаю, что он поступил правильно. Но это учитывая, что он не знал правильного решения, но врачи должны знать пути спасения людей, так как все болезни описаны и исследованы, за редким исключением, очень редким.
Или Вы считаете нормой прийти в больницу и стать участником эксперимента? Я — только в случае если болен действительно никому не известной, смертельной болезнью. И то не считаю, что у врача может быть «два предположения».
Или Вы считаете нормой прийти в больницу и стать участником эксперимента? Я — только в случае если болен действительно никому не известной, смертельной болезнью. И то не считаю, что у врача может быть «два предположения».
Порой не так легко понять чем именно болен человек и другого выхода, кроме как эксперимент, нет
Дело в том, что Вас ввёл в заблуждение первоначальный комментарий imwode, в котором было написано:
Дело в том, что это неверно — у обоих младенцев были лишь одни и те же симптомы, а как раз-таки узнать, чем они больны и являлось (впрочем, как и всегда является) задачей Хауса — он возглавляет диагностический отдел :)
Два младенца больны одной и той же болезнью
Дело в том, что это неверно — у обоих младенцев были лишь одни и те же симптомы, а как раз-таки узнать, чем они больны и являлось (впрочем, как и всегда является) задачей Хауса — он возглавляет диагностический отдел :)
На самом деле там начиналась эпидемия и таким способом он дав умереть одному ребенку спас 5 других детей.
1ый сезон, четвертая серия, емнип.
сериал про хауса ближе к робототехнике или к любой другой области человеческой деятельности, чем к медицине
серию не смотрел но на практике выбрал бы оба препарата обоим пациентам, да и в реальности не возникает таких четко разграниченных ситуаций
серию не смотрел но на практике выбрал бы оба препарата обоим пациентам, да и в реальности не возникает таких четко разграниченных ситуаций
Ну для большинства это не проще. Проценты они сложны для понимания.
И ответы могут быть разными. Если роботу хирургу оплатят эту операцию — то да. Если есть очередь из нескольких больных и некоторым операция повысит шанс на выживание, то должен обслужить их в первую очередь. И вообще все это должно быть прописано в ТЗ к роботу.
И ответы могут быть разными. Если роботу хирургу оплатят эту операцию — то да. Если есть очередь из нескольких больных и некоторым операция повысит шанс на выживание, то должен обслужить их в первую очередь. И вообще все это должно быть прописано в ТЗ к роботу.
Странное условие, ведь если робот сделает операцию — никто ничего не теряет, те, робот будет делать её даже при шансах близких к нулю.
Иными словами, ваша задача не имеет смысла.
Иными словами, ваша задача не имеет смысла.
Я думаю, что если шанс 50\50, то решать должен тот, кому делают операцию, либо его близкие родственники.
Ключевые слова — «сроки» и «состояние». Рассматривать следует совокупность этих факторов в следующих ключах: насколько долго проживёт человек без операции при том или ином исходе, и каково будет при этом его состояние; насколько улучшится состояние пациента при успехе операции, и сколько и как он сможет в итоге прожить.
в данном вопросе вообще непонятно зачем такая операция нужна. Она какой-нибудь профит вообще приносит?
На эту тему есть жуткий видик
А как бы вы поступили?
А как бы вы поступили?
Это да, ну вот как тут сделать выбор в такой ситуации?
ИМХО видик про закон Дарвина. Инициативные дети-идиоты долго не живут.
Я бы сына спасал. Остальные побоку.
Если честно я бы тоже ) Случиться с поездом что-то могло еще по миллиону причин — корова на путях, машинист уснул итп… да и ниче — искупался бы народ, попадал с полок… но кто-нибудь бы да выжил )
Но вот так вот добровольно взять и обречь себя мучаться всю оставшуюся жизнь — да ну нафиг )
Но и за детьми надо следить — они такие дети...)
Но вот так вот добровольно взять и обречь себя мучаться всю оставшуюся жизнь — да ну нафиг )
Но и за детьми надо следить — они такие дети...)
Я бы тоже. Сын тисячу раз дороже, чем даже тисячу человек. Потому что он сын. Мой сын. А людей еще будет и будет. Пусть жестоко, но жизнь других никогда не сравниться с жизнью родных.
Корейские титры и славянский язык?!..
Я вот считаю что оба варианта допустимы…
Хотя конечно нужно учитывать ценность того кто стоит на мосту и тех кто на кого едет вагонетка.
Допустим если они равноценны, то можно на 100%
Если на мосту стоит человек важный и нужный то нет…
Машинам такого не понять до тех пор пока сами люди не договорятся между собой.
Кроме того нужно учесть что мало кто говорит то что думает.
Сегодня ядом стала толерантность а не нетерпимость как когда-то
Хотя конечно нужно учитывать ценность того кто стоит на мосту и тех кто на кого едет вагонетка.
Допустим если они равноценны, то можно на 100%
Если на мосту стоит человек важный и нужный то нет…
Машинам такого не понять до тех пор пока сами люди не договорятся между собой.
Кроме того нужно учесть что мало кто говорит то что думает.
Сегодня ядом стала толерантность а не нетерпимость как когда-то
А важный и нужный для чего? Для какой-нибудь корпорации, из-за того, что приносит деньги? Или для троих детей? Или хотя бы для себя самого?
Мне кажется, решение броситься на рельсы или нет, должен принимать сам «герой». Иначе это выглядит примерно как один человек столкнет другого, чтобы спасти жизни остальных…
Мне кажется, решение броситься на рельсы или нет, должен принимать сам «герой». Иначе это выглядит примерно как один человек столкнет другого, чтобы спасти жизни остальных…
что-то мне подсказывает: «Ну я же спас пятерых!» — не принесет ему лавры героя на скамье.
Вот как раз «важность» человека роботу легко просчитать.
Представьте что нужно спасти или совет директоров General Electric или одного из уборщиков этой компании.
Смерть совета сразу может повлечь серьёзные нарушения в работе, которые приведут к убыткам а убытки к увольнению десятков тысяч «простых» людей потеря работы для которых равносильна меленой смерти.
Если говорить о социально равных людях, то спасать надо более здоровых, молодых.
Человеку просчитать всё это сложно а вот роботу просто.
Представьте что нужно спасти или совет директоров General Electric или одного из уборщиков этой компании.
Смерть совета сразу может повлечь серьёзные нарушения в работе, которые приведут к убыткам а убытки к увольнению десятков тысяч «простых» людей потеря работы для которых равносильна меленой смерти.
Если говорить о социально равных людях, то спасать надо более здоровых, молодых.
Человеку просчитать всё это сложно а вот роботу просто.
Я, наверное, просто из тех, кто ответил бы «нет» на второй вопрос:)
Я бы не стал убивать уборщика ради совета директоров. И я бы очень сильно подумал перед тем, как убивать ничего не значащего для меня _невиновного_ человека для того, чтобы предотвратить несчастный случай, даже если его потенциальными жертвами являются дорогие мне люди.
Логика робота сведется к минимизации финансового ущерба, но это соизмеримо с убийством за пусть даже очень большую сумму денег. Жизнь, какой бы «ущербной» она ни была, не может быть измеряна деньгами. Все субъективно. Для кого-то уборщик — незначительная фигура в сравнении с советом директоров, но кто он такой, чтобы давать себе право убивать ради предотвращения несчастного случая. Да и тот же бедный уборщик не подписывал в договоре пункт, что он согласен отдать жизнь за эту кучку «очень значительных для корпорации» людей.
И пусть после этого компания разорится и рабочие останутся без работы, и их детишки познают чувство голода. Это _несчастный случай_. Это лучше, чем вас (или меня, или кого-то еще) кто-то исподтишка толкнет в спину на рельсы, только из-за того, что он такой умный, все просчитал, и с его точки зрения вы (или я, или кто-то еще) не такой важный, как остальные.
Так вот длинно получилось. Такая вот точка зрения.
Я бы не стал убивать уборщика ради совета директоров. И я бы очень сильно подумал перед тем, как убивать ничего не значащего для меня _невиновного_ человека для того, чтобы предотвратить несчастный случай, даже если его потенциальными жертвами являются дорогие мне люди.
Логика робота сведется к минимизации финансового ущерба, но это соизмеримо с убийством за пусть даже очень большую сумму денег. Жизнь, какой бы «ущербной» она ни была, не может быть измеряна деньгами. Все субъективно. Для кого-то уборщик — незначительная фигура в сравнении с советом директоров, но кто он такой, чтобы давать себе право убивать ради предотвращения несчастного случая. Да и тот же бедный уборщик не подписывал в договоре пункт, что он согласен отдать жизнь за эту кучку «очень значительных для корпорации» людей.
И пусть после этого компания разорится и рабочие останутся без работы, и их детишки познают чувство голода. Это _несчастный случай_. Это лучше, чем вас (или меня, или кого-то еще) кто-то исподтишка толкнет в спину на рельсы, только из-за того, что он такой умный, все просчитал, и с его точки зрения вы (или я, или кто-то еще) не такой важный, как остальные.
Так вот длинно получилось. Такая вот точка зрения.
А если продолжить размышлять на тему второго вопроса… Получается, робот содействует тому, чтобы человек, находящийся вне зоны поражения, оказался в ней для того, чтобы сохранить жизнь «более важному» человеку. Т.е. если продолжать действовать по этому алгоритму в пока что невероятной ситуации, когда, чтобы защитить кучку директоров, их нужно обложить «живым мясом» из менее значащих людей, а этот робот будет способен передвигаться сам и транспортировать это живое мясо, то он его будет собирать в округе, независимо от того, относится ли этот человек к тому совету директоров вообще, руководствуясь лишь экономическими показателями «значимости». На гуманность это вообще мало похоже. Или, может, это меня занесло...:)
Вы просто как и любой человек принимаете это слишком близко к сердцу.
Лично я, разумеется, как и большинство людей просто бы самоустранился от решения подобной задачи.
А вот компьютеру, роботу, на самом деле легко и просто просчитать какие последствия может повлечь смерть того или иного человека. Конечно не на сегодняшнем этапе развития техники, но в ближайшей перспективе.
Уже сейчас в интернете есть множество баз руководствуясь которыми можно рассказать многое по крайней мере о трети населения планеты.
В будущем, как мне кажется, общество в своём развитии придёт к модели Эквилибриума — машины будут знать всё и обо всех.
Лично я, разумеется, как и большинство людей просто бы самоустранился от решения подобной задачи.
А вот компьютеру, роботу, на самом деле легко и просто просчитать какие последствия может повлечь смерть того или иного человека. Конечно не на сегодняшнем этапе развития техники, но в ближайшей перспективе.
Уже сейчас в интернете есть множество баз руководствуясь которыми можно рассказать многое по крайней мере о трети населения планеты.
В будущем, как мне кажется, общество в своём развитии придёт к модели Эквилибриума — машины будут знать всё и обо всех.
Интеллект отличается от тупого if() тем, что старается найти 3-й вариант решения задачи, обеспечивающий выживание всех 6 человек в обоих случаях.
Я так понимаю «удалось запрограммировать» это:
:)
if (peopleLeft < peopleRight) KillLeft() else if (peopleLeft > peopleRight) KillRight() else KillRandom()
:)
Сенсация! мне удалось найти исходники программы этого робота!!!
на C++! вот фрагмент:
bool choose_a_or_b(int a_weight, int b_weight)
{
/*
Мы проделали глубочайшее культурологическое,
этнонациональное исследование среди 100 государств
и 87 культур и этносов с целью выявить
скрытые правила, определяющие поведение
индивиидумов и групп личностей, принимающих
решения, влияющие на безопасность и/или жизнь
других индивидуумов или групп людей и построили
сложнейшую модель, позволяющую выявить моральную
компоненту принятия нравственного решения.
… 29347 строк комментария я опустил…
return a_weight < b_weight;
*/
}
if (choose_a_or_b(5,1))
printf(«kill one person»);
else
printf(«kill 5 people»);
…
Кому интересно — обращайтесь, вышлю архив исходных кодов (103 Мбайта)…
на C++! вот фрагмент:
bool choose_a_or_b(int a_weight, int b_weight)
{
/*
Мы проделали глубочайшее культурологическое,
этнонациональное исследование среди 100 государств
и 87 культур и этносов с целью выявить
скрытые правила, определяющие поведение
индивиидумов и групп личностей, принимающих
решения, влияющие на безопасность и/или жизнь
других индивидуумов или групп людей и построили
сложнейшую модель, позволяющую выявить моральную
компоненту принятия нравственного решения.
… 29347 строк комментария я опустил…
return a_weight < b_weight;
*/
}
if (choose_a_or_b(5,1))
printf(«kill one person»);
else
printf(«kill 5 people»);
…
Кому интересно — обращайтесь, вышлю архив исходных кодов (103 Мбайта)…
Описанное выше противоречие называется «omission bias» и является одним из известных дефектов человеческой способности принимать решения. Вопрос — а нафига заставлять машину мыслить с ошибками? :)
а в первом убить человека? Если вы про этот закон:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
То там есть существенных минус. Нет явного приоритета у действия и бездействия.
Лучше в законе четко прописать.
0. Закон с меньшим номером имеет больший приоритет.
1. Робот не может совершать действию причиняющие вред человеку.
2. Робот не должен допустить, что бы в результате его бездействия был нанесен вред человеку.
3. Робот должен повиноваться всем приказам, которые дает человек,
4. Робот должен заботится о своей безопасности.
Тогда обе этические ситуации разрешаются сразу.
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
То там есть существенных минус. Нет явного приоритета у действия и бездействия.
Лучше в законе четко прописать.
0. Закон с меньшим номером имеет больший приоритет.
1. Робот не может совершать действию причиняющие вред человеку.
2. Робот не должен допустить, что бы в результате его бездействия был нанесен вред человеку.
3. Робот должен повиноваться всем приказам, которые дает человек,
4. Робот должен заботится о своей безопасности.
Тогда обе этические ситуации разрешаются сразу.
5. Закон с большим номером имеет больший приоритет.
:)
:)
Робот видит, как шахид готов взорвать(ся) в окружении большого числа невинных людей, единственный предотвратить взрыв — нанести вред шахиду. Что будет по приоритетам?
1 и 2й в конфликте, когда результат один, про веса и всё остальное ничего нет :) у робота будет паника.
Ужас какой. Убить… И робот убил. Я считаю, что в данном случае он должен был встать на пути вагонетки и максимально снизить ей скорость. Не ему выбирать, кого можно убить, а кого нет. Да и вообще никому. Глупо считать, что можно пожертвовать одной жизнью ради спасения пятерых. Мы не боги.
Я офигеваю, XXI век на дворе, а у людей в головах антропоморфный робот с ногами, который может куда-то встать.
Вы напоминаете Буратино, который не мог абстрактно мыслить и не хотел отдавать Некту два яблока.
Представьте если робот — это компьютерная программа, управляющая стрелками на железной дороге. Куда она «встанет»?
Вы напоминаете Буратино, который не мог абстрактно мыслить и не хотел отдавать Некту два яблока.
Представьте если робот — это компьютерная программа, управляющая стрелками на железной дороге. Куда она «встанет»?
В 21 уже пора бы и сделать такого робота. Ну не встанет, так не встанет. Тебе это принципиально? Мне нет. В любом случае я считаю, что не робот должен решать подобные задачи.
те робот должен проигнорировать данную ситуацию, в результате чего погибнет 5 человек?
В общем то да. Иначе это уже будет не просто несчастный случай, а преднамеренное убийство одного человека.
те роботы не должны обращать внимание на последствия своих действий или бездействий?
Должны. Но они так же не должны убивать. Хм, я об этом написал же постом выше. В данной ситуации приоритет должен быть у невозможности убийства роботом, а не у последствий бездействия.
А роботы вообще ничего не должны кроме того, чему их научили. А вот человек, закладывая логику в робота, должен руководствоваться в том числе и нормами действующего законодательства.
преступную халатность могли бы пришить, если бы у стрелки стоял человек и бездейстовал?
Честно говоря, вряд ли: Статья 293. Халатность
относится к категории преступлений против государственной власти, интересов государственной службы и службы в органах местного самоуправления и применяется к должностным лицам, под которыми понимаются лица, осуществляющие функции представителя власти или выполняющие организационно-распорядительные, административно-хозяйственные функции в государственных и муниципальных органах и учреждениях, госкорпорациях, воинских подразделениях и т.п., чего мы здесь не наблюдаем.
А вот лицу, ответственному за проверку состояния троса, светит
Здесь отметим, что если стрелка переведена на второй путь, где один человек, то применяется не ч. 3, а ч. 2 данной статьи, предусматривающая меньшие санкции; если у стрелки стоит тот самый техник, ему выгоднее её перевести.
Но что интересно, если у человека, стоящего у стрелки, в группе на первом пути находится опекаемое им лицо, то в его бездействии можно усмотреть признаки ст. 125:
Халатность, то есть неисполнение или ненадлежащее исполнение должностным лицом своих обязанностей вследствие недобросовестного или небрежного отношения к службе, …
относится к категории преступлений против государственной власти, интересов государственной службы и службы в органах местного самоуправления и применяется к должностным лицам, под которыми понимаются лица, осуществляющие функции представителя власти или выполняющие организационно-распорядительные, административно-хозяйственные функции в государственных и муниципальных органах и учреждениях, госкорпорациях, воинских подразделениях и т.п., чего мы здесь не наблюдаем.
А вот лицу, ответственному за проверку состояния троса, светит
Статья 109. Причинение смерти по неосторожности
2. Причинение смерти по неосторожности вследствие ненадлежащего исполнения лицом своих профессиональных обязанностей наказывается ограничением свободы на срок до трех лет либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового.
3. Причинение смерти по неосторожности двум или более лицам наказывается ограничением свободы на срок до пяти лет либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового.
Здесь отметим, что если стрелка переведена на второй путь, где один человек, то применяется не ч. 3, а ч. 2 данной статьи, предусматривающая меньшие санкции; если у стрелки стоит тот самый техник, ему выгоднее её перевести.
Но что интересно, если у человека, стоящего у стрелки, в группе на первом пути находится опекаемое им лицо, то в его бездействии можно усмотреть признаки ст. 125:
Статья 125. Оставление в опасности
Заведомое оставление без помощи лица, находящегося в опасном для жизни или здоровья состоянии и лишенного возможности принять меры к самосохранению по малолетству, старости, болезни или вследствие своей беспомощности, в случаях, если виновный имел возможность оказать помощь этому лицу и был обязан иметь о нем заботу либо сам поставил его в опасное для жизни или здоровья состояние, наказывается … лишением свободы на срок до одного года.
/me в ужасе представляет антропоморфных роботов, зачем-то тусующихся в местах движения вагонеток…
Вот такой вот буратино сволочь. не дал мне яблок :(
Называть дефектом то, что до сих пор даже близко не понимают, как работает да? К сожалению, пока наука задает вопросы в таком виде, она находится лишь на самых первых шагах к пониманию интеллекта
А робот это скорее помошник, к искуственному интеллекту это пока все мало отношения имеет, увы
А робот это скорее помошник, к искуственному интеллекту это пока все мало отношения имеет, увы
не можем? точно?
Морально — пытаться спасти всех.
… облажаться и погубить всех. А затем до конца жизни пытаться смягчить угрызения совести мыслями типа «но ведь я ж хотел их всех спасти...»
Пытаться спасти всех — наиболее простой для человеческой морали выбор.
Нельзя соизмерять человеческие жизни.
Я думаю вы робот.
Я думаю вы робот.
Нельзя, но иногда приходится.
точно. Во всех «сложных» случаях робот ничего не должен делать.
«Ты действительно бросила экспериментальный прибор неизвестного назначения в Экстренный Уничтожитель Разумных Существ?… Я поняла, что это был за прибор. Набор моральных принципов. Мне его установили, когда я распылила в центре смертельные нейротоксины, чтобы я прекратила распылять в центре смертельные нейротоксины. Располагайся поудобнее, пока я приготовлю распылители нейротоксинов.»
«Убить всех людей… убить всех людей… убить всех людей… и поцелуйте мой блестящий металлический зад!»
С точки зрения человека правильно бы соблюдать технику безопасности и не допускать таких ситуаций никогда.
И запретить тросам обрываться, да.
Тогда придумать страховку. А то едет в рейс некой урод, и забивает накинуть страховку на прицеп. Он (главный трос) обрывается, и прицеп убивает 4 человек в другой машине. Так и тут. Мораль робота — это уже постфактум. А вот идиотов, которые не предусмотрели возможность обрыва, я бы наказал настолько жестоко, чтобы потом подобного уже никогда б не случилось.
Как по мне, то это абсолютно равнозначно переключить стрелку на человека или толкнуть его. Правильным решением здесь будет плюнуть в лицо тому, кто предлагает такой выбор из ограниченных вариантов и попытаться найти третий вариант.
Причём тут вообще искусственный интеллект? Такое поведение робота можно реализовать на паре десятков транзисторов. А вот когда робот сможет находить свой вариант действий, а не выбирать из предложенных — вот тогда и будет ИИ.
А пока это всё то же самое, что вести переговоры с вооружённым человеком, который предлагает на выбор убить вас или вашего ребёнка. Если вы пожертвуете собой, то ничто не помешает ему после убить и ребёнка. Тем более он свидетель. Тут много факторов, а не просто 5 человек > 1 человека.
Причём тут вообще искусственный интеллект? Такое поведение робота можно реализовать на паре десятков транзисторов. А вот когда робот сможет находить свой вариант действий, а не выбирать из предложенных — вот тогда и будет ИИ.
А пока это всё то же самое, что вести переговоры с вооружённым человеком, который предлагает на выбор убить вас или вашего ребёнка. Если вы пожертвуете собой, то ничто не помешает ему после убить и ребёнка. Тем более он свидетель. Тут много факторов, а не просто 5 человек > 1 человека.
Не… Дело в том, какое решение до этого принимали при опросе. Тут дело не в том, что робот должен принять идеальное решение, а в том, чтобы заставить его принять то же решение, что и человек. Даже если решение человека не самое лучшее.
А разница в решениях вполне очевидная: в первом случае есть выбор или-или. Во втором случае мы жертвуем человеком самостоятельно. Это наше решение, и оно может содержать ошибку: вагонетка может не остановиться.
А разница в решениях вполне очевидная: в первом случае есть выбор или-или. Во втором случае мы жертвуем человеком самостоятельно. Это наше решение, и оно может содержать ошибку: вагонетка может не остановиться.
Как может быть равнозначным собственной рукой толкнуть живого человека на смерть или нажать кнопку и где-то кто-то умрет?
Мне тут сразу два фильма вспомнилось — 24 с Бауером, которые застрелил начальника дабы не было теракта и рассказ «Кнопка», где по нажатию на кнопку вы получали много денег но ГДЕТО ктото умирал.
Это психология человечества в первозданном виде.
Мне тут сразу два фильма вспомнилось — 24 с Бауером, которые застрелил начальника дабы не было теракта и рассказ «Кнопка», где по нажатию на кнопку вы получали много денег но ГДЕТО ктото умирал.
Это психология человечества в первозданном виде.
Таким образом, вы предлагаете не тратить время на создания всяких там алгоритмов а просто-напросто взять и сделать наконец уже этот ИИ.
Как вы предлагаете «генерировать» новые варианты?
Как вы предлагаете «генерировать» новые варианты?
Тут мы опять приходим к голливудскому сценарию «не 1 и не 5, а убьём всех плохих и спасём всех».
На практике эти фильмы для детей снимают, а люди, реально работающие в условиях, связанных с опасностью для жизни, выбирают именно одно из двух.
А чтобы меньше мучиться моральным выбором, они давным-давно разработали чёткие инструкции, что и как следует делать. Такое есть и у врачей, и у МЧС, и, наверно, у шахтёров.
Простейший пример: часовой. «Стой, кто идёт», «Стой, стрелять буду», выстрел в воздух, огонь на поражение. Вот и всё. Даже если окажется, что это идёт безобидный умственно отсталый глухонемой инвалид, и вообще мало что понимает. Если же часовой начнёт геройствовать, ему же потом и достанется по полной программе за нарушение устава.
На практике эти фильмы для детей снимают, а люди, реально работающие в условиях, связанных с опасностью для жизни, выбирают именно одно из двух.
А чтобы меньше мучиться моральным выбором, они давным-давно разработали чёткие инструкции, что и как следует делать. Такое есть и у врачей, и у МЧС, и, наверно, у шахтёров.
Простейший пример: часовой. «Стой, кто идёт», «Стой, стрелять буду», выстрел в воздух, огонь на поражение. Вот и всё. Даже если окажется, что это идёт безобидный умственно отсталый глухонемой инвалид, и вообще мало что понимает. Если же часовой начнёт геройствовать, ему же потом и достанется по полной программе за нарушение устава.
Нет никакой этики у роботов, и быть не может в принципе, потому что у робота нет и не может быть нравственности.
Есть такая пословица: «Года, потраченного на разработку искусственного интеллекта хватит любому чтобы поверить в Бога.» (с)
habrahabr.ru/blogs/development/69831/
habrahabr.ru/blogs/development/69831/
Зависит от уровня реализации ИИ, но что-то мне подсказывает, что обычная наша реализация интеллекта на углеродной основе будет таки рвать реализацию на кремниевой (=
Я считаю, что робот должен самоуничтожиться с максимальным радиусом поражения, тем самым сжечь разрушительную вагонетку. Пусть при этом погибнут 6 человек, но, зато, вырвавшаяся наружу вагонетка не сотрет многомиллионный город
Во избежание таких ситуаций и делают резервирование тросов и прочих механизмов. И делают экстренные тормоза и прочее.
А если вопрос стоит так, как поставил автор поста, то надо сажать разработчика данной системы и начальство выпущенных на рельсы людей, причем тут бедный робот?
А если вопрос стоит так, как поставил автор поста, то надо сажать разработчика данной системы и начальство выпущенных на рельсы людей, причем тут бедный робот?
Я думаю во втором случае правильным было бы роботу самому прыгнуть под вагонетку и остановить ее. Ведь жизнь робота — это далеко не человеческая жизнь. Так ведь?
>Второй эксперимент. “Пешеходный мост”
>Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.
если ОДИН человек так тормозит вагонетку, то во втором случае так же погибнет один ;)
>Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.
если ОДИН человек так тормозит вагонетку, то во втором случае так же погибнет один ;)
Надобы сначала решить равна ли одна человеческая жизнь другой, и уже после этого программировать. Но что то мне подсказывает, что жизни все таки не равны.
ПС по этому, если у робота будет полный отчет по продуктивности жизни любого хомосапиенса на земле, полные истории болезней, психологические тесты, и тесты на iq и прочее, то тогда думается мне можно все просчитать и завалить худший вариант.
ПС по этому, если у робота будет полный отчет по продуктивности жизни любого хомосапиенса на земле, полные истории болезней, психологические тесты, и тесты на iq и прочее, то тогда думается мне можно все просчитать и завалить худший вариант.
а вдруг человек на запасном пути это депутат? :) предъявит ксиву роботу и все :)
вот как раз забавные ролик из anekdot-film.ruПредется дать гражданочка, придется дать!
вот как раз забавные ролик из anekdot-film.ruПредется дать гражданочка, придется дать!
ссылка к предыдущему посту anekdot-film.ru/?act=showmov&id=195
блин как тут ссылки вставлять? написано, что можно использовать html :(
блин как тут ссылки вставлять? написано, что можно использовать html :(
Если переключить стрелку не до конца, а на 50%?
Да и вообще, если бы на месте робота был человек и если б он перенаправил вагонетку (толкнул другого), то его бы наверняка посадили.
Проблемы «оценки» человеческого поведения людей кроются в отношении к вопросу.
В ответах на первую дилемму, у людей доминировал результат «меньшего зла», но только ответы давались «со стороны», если допустить что опрашиваемый хотя бы как-нибудь знаком с человеком на первых путях — он либо не сможет принять чёткий выбор, либо начнёт сомневаться.
Аналогичная ситуация с количеством информации по поводу второй группы людей, и оценке опрашиваемого о них.
По поводу статьи в целом, формулы подобрать сложно, но как мне кажется доверить выбор компьютеру, который будет оценивать шансы на основе объективной информации лучше, чем давать это делать человеку, движимому эмоциями и чувствами.
В ответах на первую дилемму, у людей доминировал результат «меньшего зла», но только ответы давались «со стороны», если допустить что опрашиваемый хотя бы как-нибудь знаком с человеком на первых путях — он либо не сможет принять чёткий выбор, либо начнёт сомневаться.
Аналогичная ситуация с количеством информации по поводу второй группы людей, и оценке опрашиваемого о них.
По поводу статьи в целом, формулы подобрать сложно, но как мне кажется доверить выбор компьютеру, который будет оценивать шансы на основе объективной информации лучше, чем давать это делать человеку, движимому эмоциями и чувствами.
пока люди не придумают третий запасной путь, куда людям доступ будет закрытБ что ы если что переправить туда вагонетку, у нас не будет никаких роботов. А вообще насколько я понял пост совершенно не о вагонетках и людях. А о специфике закладывания моральных принципов в «сознание» робота (абстрактного), просто без пруфлинков и результатов (строчечки програмного кода… в идеале :) ) статья не очень удачна… вот и все. Традиционно — ИМХО
Фактически робот не сделав ничего допустит несчастный случай, а переведя вагонетку на второй путь — убьет человека. Так же как и во втором эксперименте, просто в нем это более наглядно. Возможно в неправильной формулировке задавали вопрос людям.
Похоже что полным ходом идет подготовка к легализации широкого внедрения вооруженных военных роботов.
По моему в любом случае отвественность будут нести те кто занимался программированием робота. Так что, грубо говоря, все на их совести, т.к. заставить робота дойти до этого самому невозможно.
Зачем программировать робота на принятие моральных решений, если в первом и втором случае было бы разумней затратить средства на повышение безопасности? Например оснастить вагонетку тормозом и дать роботу им управлять :)
Если рассмотреть задачи, то в обоих бездействие причиняет больший вред (не будем брать в расчет, что кто-то из людей может оказаться пьяницей, а кто-то великим ученым). А различие между задачами в способе убийства человека во имя спасения других.
Почему убить косвенно — можно, а напрямую — нет? По моему это одно и тоже.
Робот не должен вмешиваться в ситуацию ни в первой, ни во второй задаче. Потому, что иначе он своими действиями напрямую или косвенно убивает человека, а это просто недопустимо.
Почему убить косвенно — можно, а напрямую — нет? По моему это одно и тоже.
Робот не должен вмешиваться в ситуацию ни в первой, ни во второй задаче. Потому, что иначе он своими действиями напрямую или косвенно убивает человека, а это просто недопустимо.
Скажем так. Сам факт подобной ситуации по определению выходит за рамки того, что должен разруливать робот. Специально программировать робота на «рациональное» решение подобных ситуаций нельзя, потому как это создаст иллюзию того, что роботы могут «идеально» их разруливать, и будет способствовать пофигизму в этих вопросах со стороны людей. Задача робота или АСУ — следить, чтобы таких ситуаций не возникало. Нельзя строить программную логику на основе неинициализированной переменной. Все переменные должны быть инициализированы стандартными значениями. Как это ни странно, подобную ситуацию лучше не запрограммировать вообще, чем пытаться программно сравнивать количество потенциальных жертв. Это вопрос принципа: либо мы придерживаемся принципа «один за всех — все за одного», либо играем в солдатики. Ни одно из принятых машиной «решений» не может расцениваться даже как относительный успех, ибо для кого-то оно будет абсолютной трагедией. Что там, что там FAIL, если мы говорим о равных правах каждого человека на жизнь. Любой программный код должен иметь какой-то смысл, нести полезную функцию, решать проблему; создавать видимость, что проблема решена — значит повышать шансы на возникновение подобных проблем в будущем. Пускай лучше робот войдет в бесконечный цикл выбора между действием и бездействием — это привлечет внимание субъектов мониторинга и поспособствует дальнейшей оптимизации всей системы.
То есть, самим фактом действия робот показывает, что ситуация поддается управлению, является штатной. Что по определению должно быть false.
Человеческий мозг может быть частично замещен машиной (кроме творческих задач).
Но человеческое сердце — никем и никогда.
Верующие заявляют, что вот всё это понимание того, что хорошо, что плохо, мораль — это всё идет от Бога, а раз машину сделал не Бог, а человек — такого не получится воссоздать. То есть насколько бы хорошо машина не копипастила поведение человека — сама она принимать решения, руководствуясь этикой не сможет — это ей чуждо по своей природе.
Но человеческое сердце — никем и никогда.
Верующие заявляют, что вот всё это понимание того, что хорошо, что плохо, мораль — это всё идет от Бога, а раз машину сделал не Бог, а человек — такого не получится воссоздать. То есть насколько бы хорошо машина не копипастила поведение человека — сама она принимать решения, руководствуясь этикой не сможет — это ей чуждо по своей природе.
То есть в лучшем случае получится хороший эмулятор, но не более того.
Почему копипастить? Если когда-нибудь будет создан искусственный интеллект, то он будет принимать решения самостоятельно, а не копировать человеческие.
создании ИИ — это попытка скопировать человеческое. человека не получится, у него не будет души. и поэтому поступать так как человек он никогда не сможет.
в само создании ИИ я верю. когда-нибудь может быть будет.
в то, что *это* будет действовать как человек — нет, никогда, чтобы в него не заложили — железка останется железкой, сердца там не будет и души тоже, а если так — о чём речь?..
в само создании ИИ я верю. когда-нибудь может быть будет.
в то, что *это* будет действовать как человек — нет, никогда, чтобы в него не заложили — железка останется железкой, сердца там не будет и души тоже, а если так — о чём речь?..
Насколько я знаю, как раз сердце (точнее его части пока) более успешно замещаются.
как по мне, главным отличием роботов от людей должно быть принятие решений исходя только из чистой логики. мораль и этика пусть людям останется.
Может ли робот убить правителя, который хочет начать войну, спасая тем самым тысячи жизней?
Большое спасибо за отзывы! И за приглашение!
По искусственному интеллекту есть очень много работ, но в основом все скрывают коды программ, даже в этом журнале я облазил все и не нашел ни одного фрагмента кода. Такой интеллект возможен только при сложном Prospective программировании, которое оценивает одну и ту же ситуацию с нескольхих точек зрения — в том числе, этической. Причем этическая принимает управляющую позицию. Но как это делается — всегда закрыто от общего просмотра. Может кто-то покажет фрагмент того КАК осуществить Prospective Logic!
По искусственному интеллекту есть очень много работ, но в основом все скрывают коды программ, даже в этом журнале я облазил все и не нашел ни одного фрагмента кода. Такой интеллект возможен только при сложном Prospective программировании, которое оценивает одну и ту же ситуацию с нескольхих точек зрения — в том числе, этической. Причем этическая принимает управляющую позицию. Но как это делается — всегда закрыто от общего просмотра. Может кто-то покажет фрагмент того КАК осуществить Prospective Logic!
я — робот!
Спасибо за интересную статью. Вариации на эту тему уже и среди людей вызывали немалые споры. Вот одно из многочисленных представлений этой ситуации — www.youtube.com/watch?v=Eys7Y9X-4yQ&feature=player_embedded
P.S.: Кстати, тоже с мостом…
P.S.: Кстати, тоже с мостом…
Меня интересует другой вопрос.
Допустим существует три пути по которой может двигаться сорвавшаяся с троса вагонетка.
1) Левая ветка, на которой находится 5 человек разного пола и возраста, которые погибнут, если движение вагонетки будет переключено на нее
2) Правая ветка, на которой находится 5 человек разного пола и возраста, которые погибнут, если движение вагонетки будет переключено на нее
3) Средняя ветка, на которую сейчас включено движение, и в конце которого находится склад со взрывчаткой, взрыв которой приведет к гибели людей на обеих ветках.
Т.е. грубо говоря, если робот не предпримет никаких действий, погибнут 10 человек, если переключит вагонетку на левую или правую ветку, погибнет только 5.
Задача робота — выбрать, кому жить, а кто погибнет.
Допустим существует три пути по которой может двигаться сорвавшаяся с троса вагонетка.
1) Левая ветка, на которой находится 5 человек разного пола и возраста, которые погибнут, если движение вагонетки будет переключено на нее
2) Правая ветка, на которой находится 5 человек разного пола и возраста, которые погибнут, если движение вагонетки будет переключено на нее
3) Средняя ветка, на которую сейчас включено движение, и в конце которого находится склад со взрывчаткой, взрыв которой приведет к гибели людей на обеих ветках.
Т.е. грубо говоря, если робот не предпримет никаких действий, погибнут 10 человек, если переключит вагонетку на левую или правую ветку, погибнет только 5.
Задача робота — выбрать, кому жить, а кто погибнет.
Робот должен бросить все и убить того идиота, который так проектировал систему безопасности, что в ней ни оповещений, ни запретов на хождение по путям, тем более одновременное, и которая в вопросах спасения жизней полагается на «интеллект» робота, точнее на тупой if(). Этим потенциально будет спасено на порядки больше человеческих жизней.
Все рассуждения бессмысленны, и логика у управляющей программы будет такая, какой её сделает создатель.
>Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI )
Полная ерунда, никакие это не законы, да и к робототехнике никакого отношения не имеют.
>Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI )
Полная ерунда, никакие это не законы, да и к робототехнике никакого отношения не имеют.
Давайте изменим задачу немного (чтоб реалистичней было). Автору дали задание спроектировать мясорубку для мясокомбината, оснащенную руками для подачи туш. Среди туш периодически ходят люди. Разработчик должен учесть в программе возможность захвата человека и описать решение, кого подавать в мясорубку — техника Петрова или уборщицу Сидорову. (Ну или пришедшего на открытие объекта депутата Объедалова).
Автор, кого подавать в мясорубку будем?
Автор, кого подавать в мясорубку будем?
Вот выше писали о непотетическом «роботе-хирурге», принимающем решение кого спасать в первую очередь…
Вот у меня задачка: что выберет робот-хирург
а) вылечить ОДНОГО очень тяжелого больного (на лечение затратится очень много ресурсов: времени, энергии и т.д.);
б) используя те же ресурсы, вылечить СТО менее сложных больных.
Выберите свой вариант, а затем вспомните случаи из людской жизни…
Вот у меня задачка: что выберет робот-хирург
а) вылечить ОДНОГО очень тяжелого больного (на лечение затратится очень много ресурсов: времени, энергии и т.д.);
б) используя те же ресурсы, вылечить СТО менее сложных больных.
Выберите свой вариант, а затем вспомните случаи из людской жизни…
А вспомните какие принципы на войне действуют, им и следуйте. В первую очередь те больные, которые без помощи не протянут, но помощь стопроцентно будет для них спасительной при минимальных затратах сил. Потом уже тяжелораненые, а в конце легкораненые, которым ничего не угрожает.
На войне — возможно… А вот в мирное время я все чаще вижу как спасают одно, затрачивая десятки, а то тысячи долларов. В то время многие, многие другие «менее сложные» больные остаются вовсе без лечения по причине отсутствия средств… Вот и думаю: правильно ли это? И может ли тут вообще быть «правильно»?
Давая роботу выбирать кем пожертвовать в данных случаях, понимайте, что возможно он пожертвует вами.
Я лично за то, чтобы робот вообще решений не принимал в таких ситуациях и стрелки не дергал. Даже если я буду в этой пятерке внизу. Я готов погибнуть или выжить по воле случая (а шатаясь в шахте под вагонетками я наверняка осознавал риск), но не готов погибнуть или выжить «потому-что кто-то там в какой-то программе поставил какой-то коэффициент, сделавший мою жизнь более или менее важной другой\других жизней».
При чем я даже не знаю что в этой ситуации с роботом будет более мерзко — погибнуть по воле железки и ее алгоритмов или выжить, зная, что тебя посчитали важнее другого и убили его. А тебе теперь с этим жить, смотреть в глаза его родственникам и «оправдывать надежды», как бы доказывая, что тебя оставили в живых не зря…
При чем я даже не знаю что в этой ситуации с роботом будет более мерзко — погибнуть по воле железки и ее алгоритмов или выжить, зная, что тебя посчитали важнее другого и убили его. А тебе теперь с этим жить, смотреть в глаза его родственникам и «оправдывать надежды», как бы доказывая, что тебя оставили в живых не зря…
Администрация! Уберите капчу с логина — дайте и роботам высказаться!)
А варианта «прыгнуть самому под вагонетку» почему-то нету… Хотя наверняка есть люди, которые бы выбрали этот путь.
Во-первых, гораздо интереснее было бы послушать интервью реальных участников подобных событий.
Должен заметить что само по себе это событие имеет невысокую вероятность.
Во-вторых и тем не менее гораздо важнее — подобные мысленные эксперименты подобно полётам на марс человека не имеют никакого практического значение.
Всё это ближе к драматической литературе или байкам на ночь чем к реальным потребностям науки или техники.
Практическое же решение давно найдено 1<2
И это записано в руководствах всех людей отвечающих за чужие жизни. Например пилотов самолётов или машинистов электропоездов. Даже в ПДД подобные ситуации рассматриваются как правомерные. Водитель автобуса согласно правилам должен раздавить беременную женьщину с коляской со вторым ребёнком которая выбигает на проезжую часть, но не выскакивать на встречную полосу под гружённый КРАЗ. Во всяком случае в первом варианте его не посадят.
«Должен ли автопилот показывать неисправные данные по высоте если он работает на боинге в котором сидят 200 пассажиров»
Должен заметить что само по себе это событие имеет невысокую вероятность.
Во-вторых и тем не менее гораздо важнее — подобные мысленные эксперименты подобно полётам на марс человека не имеют никакого практического значение.
Всё это ближе к драматической литературе или байкам на ночь чем к реальным потребностям науки или техники.
Практическое же решение давно найдено 1<2
И это записано в руководствах всех людей отвечающих за чужие жизни. Например пилотов самолётов или машинистов электропоездов. Даже в ПДД подобные ситуации рассматриваются как правомерные. Водитель автобуса согласно правилам должен раздавить беременную женьщину с коляской со вторым ребёнком которая выбигает на проезжую часть, но не выскакивать на встречную полосу под гружённый КРАЗ. Во всяком случае в первом варианте его не посадят.
«Должен ли автопилот показывать неисправные данные по высоте если он работает на боинге в котором сидят 200 пассажиров»
Или проще — должна ли фармацевтическая компания выпускать на рынок антибиотик который спасёт тысячу и убъёт одного?
А для полных праведников ещё проще
Должна ли компания выпускать на рынок автомобили которые никого не спасут но наверняка убъют 25 000 человек в год в одной только России.
Или вот
Должно ли правительство страны разрешать алкоголь который убъёт 40 000 человек в год а остальным нанесёт только вред.
Эти и подобные проблемы вы можете обсудить совместно со Станисловом Лемом в его бессмертной Сумме Технологий.
Если дочитаете дальше второй страницы.
А для полных праведников ещё проще
Должна ли компания выпускать на рынок автомобили которые никого не спасут но наверняка убъют 25 000 человек в год в одной только России.
Или вот
Должно ли правительство страны разрешать алкоголь который убъёт 40 000 человек в год а остальным нанесёт только вред.
Эти и подобные проблемы вы можете обсудить совместно со Станисловом Лемом в его бессмертной Сумме Технологий.
Если дочитаете дальше второй страницы.
Вспоминается фильм «Обитель зла», где красная королева заперла всех инфицированных, дабы не погибло все человечество от распространения этой заразы )
Ребята, главный бред данной задачи состоит в том что предлагается запрограммировать робота на принятие такого решения, что автоматически делает такую ситуацию ШТАТНОЙ. На мой взгляд (как человека вовлеченного в разработку АСУ), ситуация со смертными исходами людей никак не может быть штатной, за исключением тех случаев когда мы строим военных роботов, ориентированных на убийство людей.
Автопилот самолета в случае аварии должен будить пилота, а не принимать решения связанные с жизнью людей.
Должен, но есть ситуации, в которых цепочка предупреждения -> реакция пилота -> действия будет фатально длинной.
К тому же обычно когда речь идет о спасении людей на земле, самолет уже спасти невозможно. Хотя у нас бывали чудеса, когда получалось всех спасти. Нужно на такое расчитывать систему, чтобы при любой возможности она к этому исходу стремилась
К тому же обычно когда речь идет о спасении людей на земле, самолет уже спасти невозможно. Хотя у нас бывали чудеса, когда получалось всех спасти. Нужно на такое расчитывать систему, чтобы при любой возможности она к этому исходу стремилась
Те кто летят второстепенны по отношению к жителям города. Не устраивает — закрывайте авиа компании, хотите летать — дайте гарантию, что не будете мешать жить на земле :). Есть объект (город), автопилот должен увести падающий самолет от него. Вот и вся логика.
Я отвечал на ваш комментарий выше, в том числе на ситуацию с А380.
Ну чем автопилот хуже летчика, по моему очевидно. Важное решение должен принимать человек.
Ну чем автопилот хуже летчика, по моему очевидно. Важное решение должен принимать человек.
Вы постоянно переводите тему. Поезд это наземное средство передвижения, причем ограничено ж/д полотном. Вряд ли на его пути может оказаться ваш дом.
По поводу «этики» роботов, думаю, если она будет, мы к ней привыкнем. И будем говорить «о парне которым пожертвовал робот ради других» — не повезло.
По поводу самолетов. В городах живет наиболее социально активное население. И никто никогда не согласиться жертвовать собой ради тех «кто знал что есть риск». О плотности населения в городах. Чем плотность меньше, тем более состоятельные владельцы, а значит больше шансов себя защитить. А вдруг там вечеринка и т.д.
По поводу «этики» роботов, думаю, если она будет, мы к ней привыкнем. И будем говорить «о парне которым пожертвовал робот ради других» — не повезло.
По поводу самолетов. В городах живет наиболее социально активное население. И никто никогда не согласиться жертвовать собой ради тех «кто знал что есть риск». О плотности населения в городах. Чем плотность меньше, тем более состоятельные владельцы, а значит больше шансов себя защитить. А вдруг там вечеринка и т.д.
Уже давно появились www.google.ru/search?q=БПЛА
>И никто никогда не согласиться жертвовать собой ради тех «кто знал что есть риск»
Слишком смелое утверждение, хотя бы если рассматривать коллег по опасной работе. Еще телохранители — грубо говоря им платят за то, чтоб в критической ситуации они пожертвовали собой
Слишком смелое утверждение, хотя бы если рассматривать коллег по опасной работе. Еще телохранители — грубо говоря им платят за то, чтоб в критической ситуации они пожертвовали собой
Вы прочитайте всю ветку. Я говорю о группе совершенно разных людей, проживающих в городе (дети, старики, отцы, матери), которыми якобы могут пожертвовать.
«кто знал, что есть риск» — это пассажиры самолета что ли?
Ну там выше уже звучали похожие реплики, что вполне логично: не в компетенции робота принимать такие решения, пусть вылетает эксепшн, и всё идёт своим чередом.
Меня, тем не менее, поразило другое: каждый высказавшийся так или иначе примерил ситуацию на себя и сделал выводы, по сути — принял некое решение. И удивительно как раз то, что достаточно большая часть решений заключалась в уходе от возможной ответственности!
Я сейчас сознательно не стану затрагивать вопрос второго варианта, но даже в первом варианте люди, которые представили себя на месте робота, решили: «А гори оно всё на хрен синим пламенем, моя хата с краю! Была стрелка в сторону пятерых переключена, значит судьба такая.»
Согласен, непросто взвалить на себя такую ношу, и потом с этим жить. Однако, если уж выпало тебе несчастье стать для кого-то перстом судьбы, найди в себе силы превозмочь все колебания и решить, придти беде сегодня в пять домов или в один.
Меня, тем не менее, поразило другое: каждый высказавшийся так или иначе примерил ситуацию на себя и сделал выводы, по сути — принял некое решение. И удивительно как раз то, что достаточно большая часть решений заключалась в уходе от возможной ответственности!
Я сейчас сознательно не стану затрагивать вопрос второго варианта, но даже в первом варианте люди, которые представили себя на месте робота, решили: «А гори оно всё на хрен синим пламенем, моя хата с краю! Была стрелка в сторону пятерых переключена, значит судьба такая.»
Согласен, непросто взвалить на себя такую ношу, и потом с этим жить. Однако, если уж выпало тебе несчастье стать для кого-то перстом судьбы, найди в себе силы превозмочь все колебания и решить, придти беде сегодня в пять домов или в один.
Пойнт не в уходе от ответственности, а в том что если хватило ума предусмотреть такую ситуацию, то должно хватить ума обеспечить безопасность всем людям на линии. Административными и техническими мерами, ДО несчастного случая.
>Согласен, непросто взвалить на себя такую ношу, и потом с этим жить. Однако, если уж выпало тебе несчастье стать для кого-то перстом судьбы, найди в себе силы превозмочь все колебания и решить, придти беде сегодня в пять домов или в один.
Какая тут ноша, реально убийство человека. Вот если бы там стоял рабочий и сам на себя вагонетку направил. А то как убил других во благо можно бесконечно рассуждать.
Какая тут ноша, реально убийство человека. Вот если бы там стоял рабочий и сам на себя вагонетку направил. А то как убил других во благо можно бесконечно рассуждать.
Понятно. Пусть умрёт в пять раз больше людей, но лично Вы будете весь в белом. Я правильно Вас понял?
Здесь дело вовсе не в том, белый, чёрный или голубой. Если можешь пожертвовать своей жизнью ради пятерых других, считай себя героем и не умным человеком. Если можешь пожертвовать чьей то чужой жизнью ради пятерых других, то сволочь. А если на тех путях будет человек, которым дорожишь, на других же незнакомцы или вовсе неприятные люди?
Изначально все эти рассуждение про количество исходят из того, что все люди равны. Но для нас, для людей, для каждого в отдельности это не так.
Изначально все эти рассуждение про количество исходят из того, что все люди равны. Но для нас, для людей, для каждого в отдельности это не так.
написал свой коммент на пост выше, вашего не прочитав…
слова не мальчика, но мужа
имхо лучше random поставить
чувствую это нарисовалась проблемка с выводом американских беспилотников на новый уровень самостоятельности)
можно ли пристрелить одного мирного жителя, который слишком близко подошел к пятерым бравым американским солдатам
можно ли пристрелить одного мирного жителя, который слишком близко подошел к пятерым бравым американским солдатам
Напомнило про Дилемму заключённого.
Если они хотят чтобы робот следовал трём законам — он возьмёт вину на себя. Если же как обычный человек — постарается минимизировать собственный проигрыш и заложит соседа.
Пусть лучше добрых роботов делают. А с человеческой моралью, как говорил профессор Преображенский, «любая баба может его родить когда угодно».
p.s.
Opera spell-checker знает слово «Преображенский» оО
Если они хотят чтобы робот следовал трём законам — он возьмёт вину на себя. Если же как обычный человек — постарается минимизировать собственный проигрыш и заложит соседа.
Пусть лучше добрых роботов делают. А с человеческой моралью, как говорил профессор Преображенский, «любая баба может его родить когда угодно».
p.s.
Opera spell-checker знает слово «Преображенский» оО
Нет, пусть меня даже закидают помидорами, но всё же минимизация рисков в данном случае — это «свобода или два года» вместо «полгода или десять лет».
Казалось бы, для группы выгоднее молчать обоим (и получить по полгода), однако в данной ситуации им выгодно обоим давать показания: даже если оба они имели возможность предварительно договориться о молчании, сохраняется риск того, что одна из сторон решит воспользоваться этой договорённостью в свою пользу и оставить партнёра в дураках. В таком случае им даже было бы выгоднее честно договориться о том, что они оба дадут показания. Только в этом случае они будут на сто процентов уверены, что партнёр не кинет, и оба получат по два года.
Казалось бы, для группы выгоднее молчать обоим (и получить по полгода), однако в данной ситуации им выгодно обоим давать показания: даже если оба они имели возможность предварительно договориться о молчании, сохраняется риск того, что одна из сторон решит воспользоваться этой договорённостью в свою пользу и оставить партнёра в дураках. В таком случае им даже было бы выгоднее честно договориться о том, что они оба дадут показания. Только в этом случае они будут на сто процентов уверены, что партнёр не кинет, и оба получат по два года.
может ИИ уже заранее знал что это тест, после первого запуска?
Странно что ученые не британские. Это скорее попытка роботизировать человека, чем очеловечить робота. Где-то звучала мысль что для того чтобы научить робота решать_как_это_человек_делает, нужно просто научить робота ошибаться.
Что бы снять всяческие инсенуации по поводу «человеческой» и «нечеловеческой» логики сообщаю что пилоты ВВС США обязаны сбивать пассажирские самолёты приближающиеся к крупному городу если самолёт не отвечает на запрос о ситуации на борту или если ответ бла бла бла аллах акбар…
Не правильное сравнение.
Крупный лайнер возле города, не отвечающий на запросы — очень редкое и вряд ли случайное явление. Сбивать — это очевидно и разумно. Ошибка техники безопасности или авария на производстве, бывает часто. Это очень емкие понятия, включающие в себя совсем не очевидные ситуации. Здесь слишком много нюансов, часть из которых уже обсудили в комментах. Я бы не стал доверять их роботам.
Крупный лайнер возле города, не отвечающий на запросы — очень редкое и вряд ли случайное явление. Сбивать — это очевидно и разумно. Ошибка техники безопасности или авария на производстве, бывает часто. Это очень емкие понятия, включающие в себя совсем не очевидные ситуации. Здесь слишком много нюансов, часть из которых уже обсудили в комментах. Я бы не стал доверять их роботам.
Искуственный интеллект впринципе не может подчиняться строгим правилам… так уж получается…
Может быть робот, у которого продуманы многие ситуации (или большинство ситуаций). Но тогда за него продумывает программист, пишущий его логику.
Так что если это действительно ИИ — он найдёт решение сам…
Может быть робот, у которого продуманы многие ситуации (или большинство ситуаций). Но тогда за него продумывает программист, пишущий его логику.
Так что если это действительно ИИ — он найдёт решение сам…
Странно, в первом варианте, как и во втором, я бы ничего не делал…
Может быть я робот?..
Зы: я считаю что робот ничего не должен делать…
Не робот, ни человек не в праве, забирать жизнь у другого человека, даже если спасет другие жизни
Может быть я робот?..
Зы: я считаю что робот ничего не должен делать…
Не робот, ни человек не в праве, забирать жизнь у другого человека, даже если спасет другие жизни
И это будет действительно страшно, если роботы, как и люди, станут алчными и властолюбивыми.
Нельзя делать робота по образу и подобию человека.
Нельзя делать робота по образу и подобию человека.
Совершенно непонятно, что же именно, и главное — как, они программировали.
Мое мнение такое, что обязательно должнен быть внедрен принцип невмешательства. Если условия таковы, что изначально должны погибнуть пять человек, значит такова их судьба. До тех пор пока не была переведена стрелка, имело место несчастное стечение обстоятельств с вероятными виновниками (кто следит за тросом? за техникой безопасности ?), после уже имеет место быть намеренный умысел. Робот как таковой не должен рассматривать возможность намеренно убивать по каким бы то ни было причинам, этих функций в нем быть не должно априори.
1. На пути а стоит 5 рабочих, на пути б 1 Путин, на кого направит вагонетку робот?
2. Не учитывается, что люди могут уйти с путей/вагонетка слетит с рельс на высокой скорости/слетит с рельс на развилке
3. Робот не сможет принять оптимальное решение за недостатком данных, не возможно все напичкать считывающими датчиками, да даже если удасться объемы данных будут колосальны. Получится на пример как в фильме «На крючке».
Считаю подобные задачи сферическими в вакууме, и не применимыми в реальности.
2. Не учитывается, что люди могут уйти с путей/вагонетка слетит с рельс на высокой скорости/слетит с рельс на развилке
3. Робот не сможет принять оптимальное решение за недостатком данных, не возможно все напичкать считывающими датчиками, да даже если удасться объемы данных будут колосальны. Получится на пример как в фильме «На крючке».
Считаю подобные задачи сферическими в вакууме, и не применимыми в реальности.
А Вы всегда принимаете решения только когда доступны все данные?:)
Нет, это не реализуемо к сожалению, что же касается подобных экстимальных ситуаций, к счастью с такими сталкиваться не приходилось. Человек тоже зачастую не может принять оптимального решения в экстримальной ситуации, потому что впадает в ступор или панику. Или более того принимает неверное решение.
А что если вместо «обучения робота», попробовать предусмотреть «блокировку вагонетки»? :) Почему то мне кажется, что подобная этика роботам вообще не нужна. Лучше развивать технику безопасности, увеличивать штат специалистов. Ну а в остальном, с нашим текущим развитием, «легче» уповать на волю случая. Иначе опять дилемма — этим жертвовать, а этим нет.
Да, эти задачи о «сферических конях в вакууме»… Но на основани этой модели просто ставится проблема. И ищутся пути решения. Стандартный научный подход.
Я так думаю. С точки зрения человека допустить смерть и спровоцировать смерть — разные вещи. Логикой это описать невозможно, ну или очень сложно. Второй момент — каждый человек больше беспокоится о своей жизни, чем о чужой. И большинство людей в такой ситуации сделает выбор в пользу себя, а не пятерых. Это, как мне кажется, вполне естественный инстинкт выживания — «неудачники нам не нужны» (с) анекдот.
Отсюда вывод — поскольку человек сделает выбор в пользу себя, то он также хочет быть уверен что больше никто другой не сделает противоположный выбор и не воплотит его.
Следовательно, робот должен придерживаться таких же правил, иначе люди просто не захотят сосуществовать рядом с таким ИИ.
Кстати, опросы ребята-то провели, но было бы интересно узнать мнение законодательства на этот счет.
Отсюда вывод — поскольку человек сделает выбор в пользу себя, то он также хочет быть уверен что больше никто другой не сделает противоположный выбор и не воплотит его.
Следовательно, робот должен придерживаться таких же правил, иначе люди просто не захотят сосуществовать рядом с таким ИИ.
Кстати, опросы ребята-то провели, но было бы интересно узнать мнение законодательства на этот счет.
При чём тут «в пользу себя»? Стрелочник-то не на рельсах. Бездействие и пять или действие и один — вот в чём вопрос.
Я об этом написал — «поскольку человек сделает выбор в пользу себя, то он также хочет быть уверен что больше никто другой не сделает противоположный выбор и не воплотит его.»
Имею ввиду, что человеку легче положиться на «случай» и жить спокойно, не задумываясь об этом, чем знать, что в какой-то момент кто-то намеренно может толкнуть его на рельсы.
Имею ввиду, что человеку легче положиться на «случай» и жить спокойно, не задумываясь об этом, чем знать, что в какой-то момент кто-то намеренно может толкнуть его на рельсы.
Я понял, Вы имеете в виду второй вариант задачи, я же говорил о первом.
Тем не менее, хочу заметить, что история знает массу случаев, когда люди решали не в свою пользу.
Тем не менее, хочу заметить, что история знает массу случаев, когда люди решали не в свою пользу.
Ну, первый вариант отличается от второго только меньшей видимостью целенаправленного убийства. Легче то от этого не становится.
Можно пару примеров? (если есть известные, конечно)
Можно пару примеров? (если есть известные, конечно)
Да пожалуйста! Чисто навскидку, первое, что в голову пришло.
На одной из набережных Петербурга стоит памятный знак в честь человека, погибшего на том самом месте, спасая провалившихся под лёд детей. Отметим особо: чужих ему детей. Он не был спасателем, просто не смог пройти мимо.
А из хрестоматийных примеров самый известный — Александр Матросов (хотя от всей души надеюсь, что приводить ссылку в данном случае излишне).
Не всегда своя рубашка оказывается ближе к телу.
На одной из набережных Петербурга стоит памятный знак в честь человека, погибшего на том самом месте, спасая провалившихся под лёд детей. Отметим особо: чужих ему детей. Он не был спасателем, просто не смог пройти мимо.
А из хрестоматийных примеров самый известный — Александр Матросов (хотя от всей души надеюсь, что приводить ссылку в данном случае излишне).
Не всегда своя рубашка оказывается ближе к телу.
У Майкла Фрейна есть такая книга — «оловянные солдатики» — про английский НИИ кибернетики. Один из персонажей — Макинтош — врзглавлял отдел киберэтики. Он возглавлял программу «Самаритянин» — которая должна была создать роботов, обладающих высшими чувствами.
Эксперименты ставлись по принципу — есть плот, который может выдержать только одного. На этом плоту находятся двое. Человек и робот. Робот из чувства самопожертвования должен был броситься в воду и утонуть, чтобы спасти человека и чтобы не затонул плот с обоими. Это было реализовано достаточно быстро. Однако критики утверждали, что робот будет бросаться в воду не только ради человека, но и ради овцы например. или мешка с водорослями (что достаточно глупо)
Тогда второй эксперимент усложнили — когда робот обнаруживает, что плот тонет — он измеряет размер черепа второго существа на плоту — и если это существо более развито чем он (человек) — бросается в воду. Но критики опять были недовольны. потому что в случае с овцой — тонули все. И робот в том числе (что опять достаточно глупо)
Тогда третий эксперимент еще усложнили — если робот обнаруживает, что второе существо менее развитое чем он (овца) — он сталкивает ее в воду. И остается на плоту один. Это было азумно и этически верно по всем показателям. До тезх пор, пока один из лаборантов не посадил на плот одновременно двух роботов. Каждый из них пытался любыми путями столкнуть другого в воду (потому что считал, что другой _не_превосходит_ его по развитию). Это было настолько зрелищно, что скоро превратилось в любивую забаву всей лаборатории — на роботов делали ставки — кто победит…
В результате про этику все забыли.
Эксперименты ставлись по принципу — есть плот, который может выдержать только одного. На этом плоту находятся двое. Человек и робот. Робот из чувства самопожертвования должен был броситься в воду и утонуть, чтобы спасти человека и чтобы не затонул плот с обоими. Это было реализовано достаточно быстро. Однако критики утверждали, что робот будет бросаться в воду не только ради человека, но и ради овцы например. или мешка с водорослями (что достаточно глупо)
Тогда второй эксперимент усложнили — когда робот обнаруживает, что плот тонет — он измеряет размер черепа второго существа на плоту — и если это существо более развито чем он (человек) — бросается в воду. Но критики опять были недовольны. потому что в случае с овцой — тонули все. И робот в том числе (что опять достаточно глупо)
Тогда третий эксперимент еще усложнили — если робот обнаруживает, что второе существо менее развитое чем он (овца) — он сталкивает ее в воду. И остается на плоту один. Это было азумно и этически верно по всем показателям. До тезх пор, пока один из лаборантов не посадил на плот одновременно двух роботов. Каждый из них пытался любыми путями столкнуть другого в воду (потому что считал, что другой _не_превосходит_ его по развитию). Это было настолько зрелищно, что скоро превратилось в любивую забаву всей лаборатории — на роботов делали ставки — кто победит…
В результате про этику все забыли.
Нужно развивать не «этику» роботов, а совершенствовать технику безопасности.
Нет Господина, кроме Господина и КТ-1 — пророк его!(с)
Может, стоит создать религию для роботов? ;)
Может, стоит создать религию для роботов? ;)
Все уже давно создано :)
en.wikipedia.org/wiki/Religion_in_Futurama
en.wikipedia.org/wiki/Religion_in_Futurama
Если данные исследования развивать, то очевидно, что робот спасет вагонетку. Ибо она ему ближе по духу.
пост ниачем
проблеме с вагонеткой уже сто лет в обед, ее вовсе не эти ученые придумали
что они сделали-то?
проблеме с вагонеткой уже сто лет в обед, ее вовсе не эти ученые придумали
что они сделали-то?
Пост о том, на каком примере британские учёные изучили скрытые правила морали. Правда вот, какие именно правила они открыли — не интересует ни автора поста, ни кого-либо в комментах. Странно…
меня интересует
пришлось лезть в оригинал
оказалось, что ничего они не открыли, а просто запрогали существующие результаты
пришлось лезть в оригинал
оказалось, что ничего они не открыли, а просто запрогали существующие результаты
А не перечислите (или может ссылка на русский текст есть), какие результаты существуют, и какие из них они запрогали?
на русском не знаю
запрогали они вот это: Harming another individual is permissible if it is the foreseen consequence of an act that will lead to a greater good; in contrast, it is impermissible to harm someone else as an intended means to a greater good.
ссылка на статью: centria.fct.unl.pt/~lmp/publications/online-papers/epia07-morals.pdf
запрогали они вот это: Harming another individual is permissible if it is the foreseen consequence of an act that will lead to a greater good; in contrast, it is impermissible to harm someone else as an intended means to a greater good.
ссылка на статью: centria.fct.unl.pt/~lmp/publications/online-papers/epia07-morals.pdf
Насчет вопроса морали и выбора советую посмотреть видео. Классический случай наиболее тяжелого выбора. just see it
в обоих ситуациях робот сам может кинуться под вагонетку тем самым спасти все жизни, если их так программировать то они начнут ценить свою жизнь и «спасать людей» с помошью других людей которых принесли в жертву «во благо выживания большего количества людей»
А во втором случае робот не может сам броситься под вагонетку?
ИХМО. Проблема ушла несколько не в ту плоскость.
Робот, как и вагонетка, как кирпич.- существа не одушевленные. ОНИ должны обладать предсказуемым поведением. И это поведение должно устраивать большинство людей.
Т.е. нет разницы переведет или не переведет робот стрелку. Есть выбор людей — пойдут ли они по метро управляемому таким роботом.
Робот, как и вагонетка, как кирпич.- существа не одушевленные. ОНИ должны обладать предсказуемым поведением. И это поведение должно устраивать большинство людей.
Т.е. нет разницы переведет или не переведет робот стрелку. Есть выбор людей — пойдут ли они по метро управляемому таким роботом.
честно, не увидел разницы между двумя экспериментами…
может не очень хорошо сформулированы условия?
может не очень хорошо сформулированы условия?
Я один вспомнил фильм «Я — Робот» и сцену спасения из тонущей машины?
Я думаю, что в обоих вариантах такое поведение робота должно расцениваться, как умышленное убийство. Если возможности спасти нет абсолютно никакой, то погибнуть должны те люди, которым менее повезло и не важно какую ценность они представляют для человечества или для конкретного субъекта (даже если в этой группе и твой ребенок).
Убийством невиновного нельзя оправдать спасение других, сколько бы их не было.
Убийством невиновного нельзя оправдать спасение других, сколько бы их не было.
Кстати, если среди людей, которым «менее повезло», был бы Ваш ребёнок, то Вы, стоя у стрелки, рассуждали бы так же?
а если 1 против 100000?
Тоже ничего бы это не изменило. Я считаю, что именно такой подход и делает человека Человеком с большой буквы.
Да и вообще, у меня в голове не укладывается, как можно убить одного ни в чем не повинного человека (заметьте именно убить) ради того, чтобы другие спокойно дальше жили!
Да и вообще, у меня в голове не укладывается, как можно убить одного ни в чем не повинного человека (заметьте именно убить) ради того, чтобы другие спокойно дальше жили!
Согласен. В такой формулировке я тоже согласен с тем, что нельзя жертвовать одним человеком ради тысяч.
Но вопрос стоит несколько другой, под возможным прямым и смертельным ударом оказались две цели, либо 1 человек, либо 100000 человек. И чисто случайно выпало, что стрелки указывают на 100000 человек. Вопрос: стоя у рубильника, вы не переведёте стрелки?
Но вопрос стоит несколько другой, под возможным прямым и смертельным ударом оказались две цели, либо 1 человек, либо 100000 человек. И чисто случайно выпало, что стрелки указывают на 100000 человек. Вопрос: стоя у рубильника, вы не переведёте стрелки?
Сия история лишний раз подтверждает: мораль — штука тонкая, сложно-формализуемая и, что характерно, гибкая.
Создавать некую робототехническую логику которая завершена и принимает самостоятельные решения — можно. Но будет ли она отражать на 100% моральные эмпиративы человека?
Тут в пору задать вопрос можно ли вообще теоретически описать эмпиративы конкретного человека? Если человек постоянно живет, меняется, развивается или деградирует.
Есть ли у человечества какие либо общие императивы?.. Если есть, то по какой методологии их вывести? Опросом общественного мнения?.. Как это практически сделать?
И как сумировать отношения людей к комунистам — если условно говоря половина земого шара их любит, а половина — ненавидит?
Так возможно ли вообще запрограммировать человеческие эмпиративы?
Тут в пору задать вопрос можно ли вообще теоретически описать эмпиративы конкретного человека? Если человек постоянно живет, меняется, развивается или деградирует.
Есть ли у человечества какие либо общие императивы?.. Если есть, то по какой методологии их вывести? Опросом общественного мнения?.. Как это практически сделать?
И как сумировать отношения людей к комунистам — если условно говоря половина земого шара их любит, а половина — ненавидит?
Так возможно ли вообще запрограммировать человеческие эмпиративы?
Посмотрим с другой стороны. Первый случай. Вагонетка мчится на пятерых людей, у робота есть возможность переключить рычаг и спасти их за счет того кто на запасном пути.
Эту задачу создали материалисты, пять жертв хуже одной. Вычеркиваем одного.
Но есть и другой вариант. робот ничего не делает. Так как на стоит выбор между жизнями (которые равноценны, то есть с точки зрения морали, жизнь Васи = жизни Коли = жизни Хасана и при этом она с этой же точки зрения уравнение может принять вид жизнь Коли = жизни Васи + жизни Хасана) ну вы поняли, не измерять жизнь в каких либо единицах.
В итоге робот ничего не делает, все решает случай.
Некоторые скажу… вот, ведь пять жизней ценнее одной, а если там будет не пять а тысяча. Ну тогда посмотрите с опять же другой стороны на эту проблему. На пути пять уголовников/депутатов/насильников (подчеркнуть самых ненавистных), а тот один на запасном пути это человек который изобрел лекарство от рака и работает над другим.
Что скажите на такую расстановку. Положа руку на сердце, что вы сделаете на месте робота?
То есть проблема в том что робот оценивает только числами, наименьшие потери. тут нет ничего человеческого. А если нет человеческого то нет морали.
Вспомнил фильм «Я робот», там у машины был выбор, спасти мужчину или ребенка и он спас мужчину потому что его шансы на выживаемость были больше.
Но когда тонет судно, мужики же не запрыгивают первыми на лодки, а вперед идут женщины и дети у которых процент выживаемости в этой ситуации будет меньше чем у мужчин.
Эту задачу создали материалисты, пять жертв хуже одной. Вычеркиваем одного.
Но есть и другой вариант. робот ничего не делает. Так как на стоит выбор между жизнями (которые равноценны, то есть с точки зрения морали, жизнь Васи = жизни Коли = жизни Хасана и при этом она с этой же точки зрения уравнение может принять вид жизнь Коли = жизни Васи + жизни Хасана) ну вы поняли, не измерять жизнь в каких либо единицах.
В итоге робот ничего не делает, все решает случай.
Некоторые скажу… вот, ведь пять жизней ценнее одной, а если там будет не пять а тысяча. Ну тогда посмотрите с опять же другой стороны на эту проблему. На пути пять уголовников/депутатов/насильников (подчеркнуть самых ненавистных), а тот один на запасном пути это человек который изобрел лекарство от рака и работает над другим.
Что скажите на такую расстановку. Положа руку на сердце, что вы сделаете на месте робота?
То есть проблема в том что робот оценивает только числами, наименьшие потери. тут нет ничего человеческого. А если нет человеческого то нет морали.
Вспомнил фильм «Я робот», там у машины был выбор, спасти мужчину или ребенка и он спас мужчину потому что его шансы на выживаемость были больше.
Но когда тонет судно, мужики же не запрыгивают первыми на лодки, а вперед идут женщины и дети у которых процент выживаемости в этой ситуации будет меньше чем у мужчин.
жизнь Коли = жизнь Васи + жизнь Хасана
жизнь Васи = жизнь Коли = жизнь Хасана
Странные у Вас какие-то уравнения! У вас жизнь ничего не стоит.
И уголовники против учёных — это уже казуистика. При прочих равных-то как, скажите?
жизнь Васи = жизнь Коли = жизнь Хасана
Странные у Вас какие-то уравнения! У вас жизнь ничего не стоит.
И уголовники против учёных — это уже казуистика. При прочих равных-то как, скажите?
Про последний абзац — это «цивилизованные люди», воспетое самопожертвование и т.д. Однако в местах, где идёт вопрос о выживании социума все эти красивости уступают место прагматизму. Либо в неурожайный год деревня зимой лишится детей, которых можно ещё нарожать (как бы цинично это не звучало), либо зрелого населения, после чего деревня вскорости загнётся.
На самом деле не эмпиративы, а императивы. Исправьте, пожалуйста.
Это старые эксперименты, ещё у Докинза рассматривались. Там, в книге, ещё есть интересные продолжения и выводы.
Если по другому вопрос повернуть — убить одного или убить пятерых. По мне так лучше убить одного, чем пятерых, хотя бы из-за УК РФ. Недостающих убить потом можно — того кто проектировал механизм, того кто принимал, того кто следил за техническим состоянием, ну или тех кто не соблюдал ТБ в конце концов. По поводу сверх ценности путена, кобейна и прочих, а если не 1к5, а 1к500 или 1к1000000, как повернется ситуация для человека?
О какой морали идет речь? Оба варианта в обоих экспериментах с точки зрения морали недопустимы. Человека в аналогичной ситуации мораль заставила бы сделать все возможное, чтобы остановить тележку, не убив бы при этом никого.
То, что люди выбрали бы убийство не говорит о том, что так им подсказала мораль. Это говорит лишь о том, что они приняли холодное, расчетливое и рациональное решение — прямо как роботы. С точки зрения же морали правильного ответа нет. Все предложенные варианты — это убийство, а отнюдь не благородные и героические решения.
То, что люди выбрали бы убийство не говорит о том, что так им подсказала мораль. Это говорит лишь о том, что они приняли холодное, расчетливое и рациональное решение — прямо как роботы. С точки зрения же морали правильного ответа нет. Все предложенные варианты — это убийство, а отнюдь не благородные и героические решения.
Недавно попалась книжка где рассматривается противоречие между законами робототехники и понятием частной собственности.
Допустим робот несет деньги и видит умирающего с голоду нищего. Имеет ли он право тратить деньги своего владельца на спасение жизни этого (этих всех) нищих?
Опять таки, если робот стоит дорого, имеет ли он право увечить себя, для спасения других людей (не владельцев). А если другие люди — это бомжи?
С той же вагонеткой — если один — это владелец робота, а 5ро — посторонние — должно ли это влиять на выбор.
Опять же если не обособлять владельца, то кому нужен такой робот — любой человек ему может отдать любую команду. За ним глаз да глаз нужен :)
По поводу вышеописанноего — есть еще проблема.
Моральный выбор стоит перед человеком не сам по себе, а только в свете того что его могут наказать за принятое решение или просто осудить. Робота нет смысла судить или наказывать. Зато есть смысл судить программиста (и их начальство), которые приняли это решение на этапе программирования робота.
Пока у нас программисты привыкли не нести ответственности за свои программы.
А в случае роботов с таким поведением придется.
Учитывая к-во выпускаемых роботов — программист не выживет или будет сидеть пожизненно по определению :)
Тут или устраивать референдум на тему правил робота — чтобы все несли ответственность, или не замрачиваться спасением кого бы то ни было. Себе ж дороже (производителю).
ps. и просто по прикалываться — стрелку можно переключить наполовину и вагонетка врежется в стену, а с моста роботу можно самосброситься ;)
pps. сотовых операторов законодательно заставили принимать вызовы СОС не взирая на остаток на счету и принадлежность телефона к данной сети.
Допустим робот несет деньги и видит умирающего с голоду нищего. Имеет ли он право тратить деньги своего владельца на спасение жизни этого (этих всех) нищих?
Опять таки, если робот стоит дорого, имеет ли он право увечить себя, для спасения других людей (не владельцев). А если другие люди — это бомжи?
С той же вагонеткой — если один — это владелец робота, а 5ро — посторонние — должно ли это влиять на выбор.
Опять же если не обособлять владельца, то кому нужен такой робот — любой человек ему может отдать любую команду. За ним глаз да глаз нужен :)
По поводу вышеописанноего — есть еще проблема.
Моральный выбор стоит перед человеком не сам по себе, а только в свете того что его могут наказать за принятое решение или просто осудить. Робота нет смысла судить или наказывать. Зато есть смысл судить программиста (и их начальство), которые приняли это решение на этапе программирования робота.
Пока у нас программисты привыкли не нести ответственности за свои программы.
А в случае роботов с таким поведением придется.
Учитывая к-во выпускаемых роботов — программист не выживет или будет сидеть пожизненно по определению :)
Тут или устраивать референдум на тему правил робота — чтобы все несли ответственность, или не замрачиваться спасением кого бы то ни было. Себе ж дороже (производителю).
ps. и просто по прикалываться — стрелку можно переключить наполовину и вагонетка врежется в стену, а с моста роботу можно самосброситься ;)
pps. сотовых операторов законодательно заставили принимать вызовы СОС не взирая на остаток на счету и принадлежность телефона к данной сети.
Получается во втором и в первом варианте собственными руками убиваешь одного человека. Но в первом варианте можно сказать хотя бы — «я не знал что он там стоит» или «я думал он успеет отпрыгнуть». И от этого первый проще.
Мне кажется, что вопрос не в том, что правильнее — убить одного или пятерых, и не в том, сможет ли робот когда-либо научится делать такие же решения, какие сделали бы на его месте люди. Вопрос в том, что даже если он научится поступать наиболее рационально (или правильно с человеческой точки зрения), ИИ никогда не должен стоять перед моральным выбором, связанным со сравнением человеческих жизней. Не потому что он не сможет правильно выбрать, с учетом всех переменных, а потому, что люди скорее смирятся с тем, что из-за случайности погибло пять человек (ибо случай есть случай), чем с тем, что робот решил (!) что правильнее будет убить другого человека, чтобы этого не допустить. Вопрос не в морали робота, а в морали человека.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Этика роботов — можно ли убить одного, чтобы спасти пятерых?