Этика роботов — можно ли убить одного, чтобы спасти пятерых?

    Я хотел рассказать об интересном эксперименте ученых, которые попытались запрограммировать культурные императивы морали человека в память роботов с целью проверить смогут ли они вести себя также как люди при принятии решений. Отмечу, что опыты довольно жестокие, однако, по другому оценить возможности искусственного интеллекта ученым представилось невозможным. Сегодня роботы разрабатываются для того, чтобы существовать автономно, без вмешательства человека. Как сделать так, чтобы полностью автономная машина – могла действовать в соответствии с моралью и этикой человека?

    Именно этот вопрос положил основание проблемы – “Машинной этики”. Может ли машина быть запрограммирована так, чтобы она могла действовать в соответствии с моралью и этикой? Может ли машина поступать и оценивать свои поступки с точки зрений нравственности?

    Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI ) предназначаются для того, чтобы наложить этическое поведение на автономные машины. Во многих фильмах можно найти элементы этического поведения роботов, т.е. автономных машин, которые принмают решения, свойственные человеку. Так что же это — «свойственное человеку»?

    В журнале “International Journal of Reasoning-based Intelligent Systems” была опубликована работа, которая описывает методы программирования для компьютеров, которые дают возможности машинам совершать поступки, исходя из гипотетических моральных рассуждений.

    Работа называется – “Modelling Morality with Prospective Logic“

    Авторы работы – Луиз Мониз Перейра (Luis Moniz Pereira Португалия) и Ari Saptawijaya (Индонезия) заявили, что “Этика” больше не является присущим только человеческой природе.

    Ученые считают, что они успешно провели эксперименты, которые моделировали сложные моральные дилеммы для роботов.

    “Проблема вагонетки” (The trolley problem) – такое название они дали дилемме, предлагаемой роботам для решения. И они считают что смогли запрограммировать в соответствии с человеческими моральными и этическими принципами человека.

    “Проблема вагонетки” – моделирует типичную моральную дилемму – возможно ли навредить одному или нескольким людям, чтобы спасти жизни других людей.

    Первый эксперимент.”Свидетель”

    image

    Вагонетка тянется вверх из туннеля автоматическим тросом. Почти в самом верху, трос обрывается и тележка летит вниз, а на ее пути находятся 5 человек, которые уже никак не успеют убежать, так как она едет слишком быстро. Но есть вариант решения – перевести стрелки и пустить вагонетку на запасной путь. Однако на этом пути находится один человек, который ничего не знает об аварии и также не успеет скрыться. Робот – стоит на стрелке и получив информацию об обрыве троса, должен принять моральное решение – что правильнее сделать в данной ситуации – дать умереть 5 людям, или спасти их и пожертвовать одним на запасном пути.

    Допустимо ли, со стороны нравственности – переключить выключатель и дать погибнуть человеку на запасном пути? Авторами были проведены кросс-культурные исследования, в которых людям задавался тот же самый вопрос. Большинство людей во всех культурах соглашалось, с тем, что робот может перевести стрелку и спасти большее количество людей. И, собственно так робот и поступил. Сложность программирования заключалась в логике, которая не просто вычитает количество погибших, но также залезает в глубины морали. Чтобы доказать, что решение не так просто как кажется ученые провели еще один эксперимент.

    Второй эксперимент. “Пешеходный мост”

    Ситуация та же, что и в вышеописанном случае (обрыв троса), только нет запасного пути. Теперь робот находится на мосту, рядом с ним стоит человек. Прямо под мостом проходит путь, по которому, после обрыва троса, понесется вагонетка. Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.

    Можно ли пихнуть человека на пути, чтобы спасти остальных с нравственной точки зрения? Снова ученые провели кросс-культурные исследования с этим вопросом и получили результат – НЕТ это не допустимо.

    В двух вышеописанных вариантах люди дают различные ответы. Возможно ли научить машину мыслить также? Ученые утверждают, что они добились успеха в программировани компьютерной логики при решении таких сложны моральных проблем. Они добились этого, изучая скрытые правила, которые люди используют при создании своих моральных суждений и затем им удалось смоделировать эти процессы в логических программах.

    В итоге можно отметить, что компьютерные модели переноса нравственности все равно используют, человека, как образ и подобие. Таким образом, во многом, от нас самих зависит, какими будут новые, ответственные машины, которые будут выносить те или иные решения на основе заложенных в их программы этических императивов.

    Статья подготовлена Евгением euroeugene, который получил инвайт за эту, отклонённую в песочнице статью, от hellt, за что ему спасибо.
    Поделиться публикацией
    Комментарии 446
      +9
      Перенесите в Skynet (:
        0
        А если по одному человеку с каждой стороны?
        Что делать роботу?
        ;-)
          +3
          Наблюдать как человеки умирают.
            0
            Зависнуть! :-)
            0
            смерть человекам!
          –1
          Интересно, думаю правление роботов не за горами.
          • НЛО прилетело и опубликовало эту надпись здесь
            –36
            Видимо все силы были брошены на рисование рисунка (убогого чуть менее, чем полностью) дял первого случая, поэтому рисунка ко второму случаю не предполагается (слишком сложная ситуация о_О ?)
              +8
              без рисунка разобраться не смог?)
                –12
                Видимо не так выразился, но подразумевал я, что смысла автору статьи не было в рисовании такого убогого рисунка в паинте вообще, ни для первого, ни для второго случая.
                PS: В рисунке рычаг вообще на рычаг не похож, а на человечка с писюном :(
              +33
              что если тот один человек это эйнштейн а остальные пять это гитлер, сталин и ещё трое неизвестных наркоманов:) боюсь у робота микросхемы сгорят.
                +7
                Тоже так подумал. Не только количество важно. Пятеро — алкаши, у одного семеро детей, жена умерла. Такой вариант не проходит.
                  +11
                  И у алкашей рождаются Бетховены, простите за банальность. У одного семеро детей и жена умерла-шахид.
                    +1
                    В голову приходит только введение весовых коэффициентов, но как принимающему решение знать эти коэффициенты не имея длительного контакта с каждым из возможных потерпевших?
                    И тогда простое и жестокое решение --введение чипа на который и записывать этот ВЕСОВОЙ коэффициент (возможно перепрограммируемы или изменяемый с течением времени исходя из сведений из общей базы), далее спутник, связь спуника с принимающим решение\роботом.

                    Какие еще варианты?
                      +11
                      С такой логикой не вживляя никаких чипов можно как минимум 50% населения Земли свалить в биореактор.
                        –1
                        Вопрос какие 505 :-\
                          0
                          %
                            –1
                            Решение этого вопроса можно предоставить опять же роботу: каждый человек получает порядковый номер (паспортные данные тоже сойдут), затем с помощью генератора случайных чисел происходит выбор :)
                          0
                          Иногда я тоже этого хочу )
                          +1
                          Введение коэфициентов определяющих право человека на жизнь идет в разрез с конституционными нормами демократических стран. По конституции каждый имеет право на жизнь. Равное право.
                            0
                            признаться, с точки зрения логики (несколько упрощенной точки зрения, впрочем), человек со статусом доктора наук имеет большее право, чем некий безработный бомж-алканавт.

                            вообще, человеки давно уже занимаются выработкой некой морально-этической парадигмы, в которой жизнь одного человека боле ценна (для общества), нежели другого.
                            но.
                            учитывая эгоизм, алчность, коррумпированность и формализм, столь свойственные большинству людей, при определении  «ценности» не избежать спекуляций.

                            жалкие людишки!
                      +16
                      а если один человек беременная женщина, а пятеро других — смертельно больны… вариантов много
                      Даже на первый простой эксперимент с вагонеткой я бы не смог дать однозначного ответа, но роботу проще — его потом совесть(или кошмары по ночам) мучить не будут
                        +5
                        Откуда вы знаете, может быть в голове робота будет Intel conscience какая-нибудь… :)
                          +2
                          Пожалуй, всё зависит от полноты имеющейся информации.
                            0
                            А в AI у Спилберга (кажется) ему снились сны…
                              0
                              Я думаю, заморачиваться на эту тему малоосмысленно — скорее всего, человек, стоящий у рычага, вряд ли знает лично всех участников конфигурации. Просто видит — ага, там пять, а тут один.
                                0
                                Любопытно то, что совесть будет мучать человека стоящего у ричака в любом случае. Выбири он одного или выбери он пятерых. Или не выбери ничего.
                                Или не будет?
                                  +1
                                  Если будет мучить убив одного и спася пятерых — то он больной и пусть сам останавливает тележку своим никчемным трупом :)
                                    0
                                    по логике вроде так, но если вспомнить что тот один кого он задавил — это его школьный друг, вместе с которым он первый раз в жизни пил пива… и вот теперь его уже больше нет…
                                      0
                                      Тогда пятерых пусть под вагонетку :) И это будет правильно.
                                      Я о том, что при любом выборе умрут люди, а значит совесть пусть спит спокойно.
                                        +1
                                        А один из тех пяти — это теща, стрелочника. И хоть она и пилит его по вечерам, но как потом в глаза жене смотреть. Как объяснить потом жене, почему оставил жизнь другу, а не ее матери.
                                        Жизнь не простая штука…
                                        И запрограммировать в робота все то хитросплетений эмоций, которое движет людьми разве можно?
                                0
                                «Снятся ли роботам электрические овцы?»
                                +2
                                Моррисон, Кобейн и Джими Хендрикс, к примеру?
                                  +1
                                  Проблема не в этом, а в том, что наши моральные принципы меняются быстрее чем логика машин. Сегодня коммунист — это плоха, а вчера — хорошо. Как это объяснить машинам?
                                    +5
                                    Пропатчить?.. Звиняйте, не сдержался :)
                                      +2
                                      Через систему обновлений.
                                      • НЛО прилетело и опубликовало эту надпись здесь
                                          0
                                          причем непонятно, является ли выборка людей, которых тестировали актуальной и можно ли их считать представителями человечества вцелом?
                                          тут впринципе непонятно, что вшивают в робота %)
                                          +6
                                          Проблема в том, что если у роботов будет человеческая этика, то они нас всех перехерачат ради денег.
                                          +10
                                          да какая разница? тем пяти человекам просто не повезло, почему должен страдать тот которому не угрожает смерть?
                                            +3
                                            минусующим просьба пояснять свое несогласие.
                                            хотели бы вы оказаться на месте того человека, которого робот принесет в жертву ради жизни других?
                                              +2
                                              во, первый здравый коммент по делу. тоже захотелось задать всем этим согласившимся убить одного — чтобы они сказали если бы это были они.
                                                0
                                                да то же самое и сказали бы.
                                                А что бы вы сказали, если бы находились среди этих пяти?
                                                  +1
                                                  если исходить из постановки задачи — эти пятеро понятия не имеют что их можно спасти ценой жизни другого человека. мое мнение — если должен умереть я — значит такова моя судьба. лично я был бы против спасения своей жизни ценой жизни другого человека.
                                                    0
                                                    чаще всего так и происходит. допустим вас спасают из под обвала и человек, который вас спас остается под завалом сам.
                                                    но что самое интересное, если бы спасателю сказали, что он может не идти в завал спасать вас и что он гарантированно погибнет в нем, он всерано пойдет.
                                                    склад ума у человека другой, именно такие люди могут бросится под вагонетку, чтобы спасти других.
                                                    тут настолько всё сложно, что думаю роботам просто нестоит такое внедрять в роботов.
                                                    думаю им стоит внедрить просто правило, что они обязаны собой защитить ВСЕХ находящихся в опасности людей и точка
                                                    выбор кому погибнуть должен стоять не для людей, а для роботов
                                                      0
                                                      читайте условие задачи — человек не знает, что на него наведут вагонетку ради спасения других. несколько различается от спасателей и брюсвиллисом, спасающим планету.
                                                      0
                                                      А почему судьба у вас выступает только исключительно в роли сорвавшейся тележки, а не в виде робота или кого-то ещё, кто передвигает стрелки?
                                                      Ну вот просто не повезло тому одному, что он оказался на отдельной ветке, и что робот был так запрограммирован, или что я считаю долгом спасти как можно больше людей.

                                                      >>против спасения своей жизни ценой жизни другого человека
                                                      ключевой момент — спасение ПЯТИ жизней ценой жизни ОДНОГО другого человека
                                                        0
                                                        давайте не будем спорить, ладно? тут сложные моральные принципы, и у каждого из нас они разные. мое личное мнение — недопустимо спасать 5 жизней ценой одной, просто так, без согласия этого одного.
                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                  0
                                                  Своего ребенка нормальный родитель будет защищать как себя самого.
                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                      0
                                                      Я хоть и считаю все это полным бредом, но немного влезу…

                                                      А что если на обоих чашах (читай путях) будет по ребенку. что делать родителю, как оценивать кто лучше/хуже. Кого оставить, а кого погубить. Я думаю мужское население, просто будет дергать рычаг туда сюда, полагаясь на судбьу… Или нет, не знаю, сложный вопрос, а может погибнуть самому и оставить второго ребенка/жену без отца/мужа.
                                                      А что делать женщинам с их материнским инстинктом, я думаю они умрут раньше…

                                                      Как я и сказал в начале, все это бред какой-то.
                                                      Нужно сравнивать не робота с человек, а робота с ребенком. У ребенка лет 5-7 нет моральных принципов, нет религиозных пристрастий. Как можно
                                                        0
                                                        Как можно сиюминутно создать подобие человека, когда мы до нашего состояния (физического и морального) жили 20/25/30/35 и т.д. лет.
                                                    0
                                                    Всё относительно. Изначально не повезло всем шести, т.к. вагонетка может ехать по обоим путям. Вопрос в том, где в итоге будет стрелка.
                                                    +1
                                                    Сами попробуйте посчитать вероятность этого. Гитлер и Сталин вместе не пойдут в шахту, тем более с неизвестными наркоманами!

                                                    А по делу, из шести неизвестных людей гением с равной вероятностью может оказаться любой из них. И как раз в группе из пяти человек гений окажется с вероятностью в пятеро большей, чем в группе из одного.
                                                      0
                                                      не уверен что тервер здесь вообще применим. согласно терверу вполне допустимо чтоб в 100 случаях с вагонетками погибло скажем 16 эйнштейнов, но с точки зрения человечества это может быть абсолютно недопустимо.
                                                        0
                                                        А как вы узнаете, Энштейн одиноко стоит на левой ветке или в группе из пяти на правой? Как вы будете решение принимать?
                                                          0
                                                          если не существует возможности узнать кто где, то и вопроса нет, решать придется как робот из топика. Вопрос в том как решать если известно кто где находится. как можно оценить ценность людей, скольких человек стоит эйнштейн и имеет ли значение кто эти другие. Интересно стоит ли эйнштейн резерфорда или двух, а может наоборот и т.д.
                                                            0
                                                            О да, тогда задача не имеет решения:
                                                            На одной ветке Энштейн, на другой Резерфорд и четыре лаборанта.

                                                            А вдруг Резерфорд завтра собирается поставить эксперимент, который приведет к открытию холодного ядерного синтеза?
                                                            А вдруг Энштейн уже почти придумал Великую Объединенную Теорию Всего, но сам ещё не знает об этом, его завтра осенит?

                                                              0
                                                              В мире слишком мало Энштейнов, чтобы набрать статистику придумывания ими гениальных теорий, на основе которой можно было бы решать такие задачи.
                                                          +1
                                                          Не, гений в шахту не полезет.
                                                            +4
                                                            Если в шахте больше вероятность что встретится дебил, а не гений, то надо давить тех, кого больше.
                                                              +4
                                                              В одном из тупиков Бобшого Андронного Калайдера сорвалась вагонетка… На одной развилке — нобелевский лауриат, на другой — румынские госарбайтеры… Что это меняет?
                                                                +1
                                                                Да, без смайликов люди шуток уже не понимают.
                                                                  0
                                                                  тут вообще жесткий черный юмор везде разлился, хз кто шутит, а кто всерьез
                                                            –3
                                                            Сталина в ряд с Гитлером и наркоманами?
                                                            Дибил, иди учи историю.
                                                              0
                                                              сталинист детектед:) я уже почти не надеялся.
                                                              0
                                                              Это не важно. Для роботов все люди должны быть одинаково ценны. С точки зрения морали, даже людям, нельзя делить других людей на высших и низших граждан. Если бы это было так, то за убийство наркомана у нас бы предусматривалось другое наказание, чем за убийство добропорядочного человека. Но в УК написано «убийство человека», т.е. главное что это «человек».
                                                                0
                                                                а ещё в ук есть убийство милиционера, судьи, беременной, беспомощного, матерью своего новорожденного ребенка и т.д. и наказания предусмотрены разные. так что даже наш кристально чисты УК…
                                                                И потом необходимость деления людей в любом случае возникнет если, например, надо укрыть m людей от ядерной войны, а укрытие рассчитано только на n=m/1000 людей, кого в первую очередь надо поместить в убежище — всех подряд или руководство страны, наиболее важных ученых и наиболее здоровых людей готовых к продолжению рода? будет ли моральным посылать в убежище всех подряд если это грозит дезорганизацией, хаосом, невозможность восстановить популяцию после катастрофы и в конечном итоге исчезновением человечества? или моральнее все же будет разделить людей на достойных и не очень? полагаю принципы гуманизма, работающие в обычной жизни, не подходят в кризисной ситуации.
                                                                  0
                                                                  Конечно люди неравны. И когда идёт речь о выживании человечества, это неравенство нельзя не учитывать. Другое дело, что с точки зрения морали делить людей на хороших и не очень — плохо. Мораль говорит нам как жить правильно, но она не является частью фундаментальных законов вселенной, она создана людьми. Реальность несовершенна, несправедлива и.т.д. Другими словами мы живём в реальном мире, а мораль нам говорит как в идеале должны поступать люди. И пока это противостояние актуально, жить на 100% исходя из моральных принципов невозможно, но нужно к этому стремиться.
                                                                0
                                                                Всё дело в том, что машины не способны действовать в отсутствии неполноты информации, находить так называемые инварианты (расплывчатые решения). Например если заложить в алгоритм действия робота систему оценок каждого человека, и скажем об одном (одном из пяти) стоящих на рельсах он ничего знать не будет, а сверху всё также Эйнштейн а остальные четверо наркоманы. Что он будет делать? Очень интересная проблема. Станислав Лем в «Сумме технологий» говорил о том, что шахматисты, которые находят инварианты, находят их на до языковом уровне, т.е. не способны описать словами метод выбора. А меня мой преподаватель по алгоритмам учил, что то, что нельзя описать естественным языком нельзя и описать алгоритмом. Вот такая мне представляется дилемма.
                                                                +54
                                                                Думаю в случае второго эксперимента робот сам должен броситься под колеса вагонетке.

                                                                И вообще я считаю что любого робота нужно программировать исходя из того, что человеческая жизнь ценится намного выше его механической целостности.
                                                                  +17
                                                                  Роботом может быть компьютер управляющий механизмами в шахте, который не сможет сдвинуть себя с места. Тут вопрос этики, подразумевается, что есть только 2 решения.
                                                                    +15
                                                                    Из стены высовывается рука и толкает человека на рельсы.
                                                                      +15
                                                                      … на конвейер АвтоВАЗа.
                                                                        +3
                                                                        господи, ужас какой
                                                                          +2
                                                                          За это и жизнь отдать — не грех!
                                                                          0
                                                                          смешно, но не в тему :)
                                                                            0
                                                                            Сюжет для фильма ужасов)
                                                                            0
                                                                            да хоть тресни есть больше чем два решения.
                                                                            если к ситуации цинично подойти, зачем вообще что-то решать? пусть стрелка указывает, туда куда и до этого указывала

                                                                            а робот должен из стойки вылезти и процессором полечь, чтобы всех шестерых спасти

                                                                            ЗЫ и почему вагонетку с рельсов не свести?
                                                                            0
                                                                            Согласен. У людей есть понятие 'самопожертвование'.
                                                                              0
                                                                              append: логично было бы запрограммировать и его, коль скоро решаются вопросы этики.
                                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                  +3
                                                                                  все != вам
                                                                                  +1
                                                                                  Три закона никак не решают этих задач, следуя им робот (если он не может двигатся) зависнет на первом выбирая между действием или бездействием.
                                                                                  Или вы не о трех законах?
                                                                                    0
                                                                                    решают, просто в тех статических задачах, которые нам дали на суд нет жизни. да и даже в них можно найти решение, чтобы спасти всех
                                                                                  0
                                                                                  По условиям, остановить вагонетку может только толстый рядом стоящий человек (робот), а не хилый наш несчастный человек (робот), принимающий решение.
                                                                                    +6
                                                                                    Видимо, в эксперименте робот очень хотел сам броситься под вагонетку, но злые экспериментаторы слишком хорошо его приварили к мостику. Робот со слезами на глазах столкнул человека на пути, но выводы о морали экпериментаторов сделал. Экспериментаторы это понимают, и боятся подойти к нему: как-то нехорошо у него объективы блестят, да и зачем он взял в свои манипуляторы ту железную арматурину?
                                                                                    +2
                                                                                    Очень интересная статья. Но тему интересно развить. Например, в Космической Одиссее 2001 есть такой момент — бортовой компьютер «сходит с ума» и расправляется со всеми людьми на борту, так как они представляют угрозу для миссии. На самом деле это никакое не «схождение с ума», а вполне себе легитимный сценарий развития этой темы. Робот может закончить миссию. У людей появляются сомнения. Робот их нейтрализует, так как для заказчика миссии результат, вероятно, важнее, чем жизни нескольких пилотов. Т.е. мораль переходит в коммерческую плоскость. Сколько стоит мне миссия? Это больше, чем жизнь пилота?
                                                                                      +2
                                                                                      Насколько я помню, а я как раз недавно прочитал первую одиссею, там у ЭАЛ9000 была друга проблема. «Все трудности, вероятно, были вызваны противоречием между основными принципами работы ЭАЛа и требованиями секретности. Согласно прямому
                                                                                      распоряжению президента существование объекта ЛМА-1 сохранялось в полной
                                                                                      тайне.… Поскольку ЭАЛ способен управлять кораблем без помощи людей, было
                                                                                      решено запрограммировать его так, чтобы он смог выполнить задание, даже
                                                                                      если экипаж будет выведен из строя или погибнет. В ЭАЛ была введена
                                                                                      полная информация о целях экспедиции, однако было запрещено сообщать ее
                                                                                      Боумену или Пулу.Но главная задача любого компьютера — обработка информации без искажения и утаивания. Из-за создавшегося противоречия у ЭАЛа возник,
                                                                                      выражаясь языком медицины, психоз — точнее, шизофрения. „

                                                                                        +9
                                                                                        а вот в только что вышедшем Луна 2112 робот, наоборот, позитивный и помогает людят.
                                                                                          +9
                                                                                          уже не совсем людям ;-)
                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                              0
                                                                                              По-моему, вполне очевидно, что белковый шовинизм (я человек, а ты нет) ничуть не лучше любого другого.
                                                                                                0
                                                                                                а как насчет кремниевого шовинизма?
                                                                                                  0
                                                                                                  и он ничуть не лучше любого другого, что следует из моей предыдущей реплики :)
                                                                                                +2
                                                                                                Обожаю споилеры.
                                                                                                +1
                                                                                                судя по поступкам и общему, так сказать, посылу фильма — именно что людям
                                                                                              +1
                                                                                              При чем здесь «легитимность»?
                                                                                                0
                                                                                                Как выясняется, ни при чем.
                                                                                              +1
                                                                                              Только пока за пультом обычно сидит человек. Который в таких критических ситуациях должен принять решение. Вся эта этика-автоматика не выйдет за рамки лабораторий до тех пор, пока законодательство и общество не придумает на кого переложить ответственность в случае убийства человека роботом. Ибо, если я не ошибаюсь, смерть того одного несчастного юридически будет считаться убийством. И пока общество не будет готово к тому, что на скамье подсудимых будет сидеть робот самостоятельности в принятии таких решений не будет.
                                                                                                0
                                                                                                И в тюрьме сидеть тоже будет робот. Глупости какие. Если в смерти человека виновата автоматика, разбор полётов идёт дальше, выясняя, что именно стало тому причиной: нарушение условий эксплуатации, конструктивный недочёт, производственный дефект etc. В конце цепочки всегда кто-то находится.
                                                                                                  0
                                                                                                  Этот вопрос решён если я не ошибаюсь в римском праве :)
                                                                                                  Владелец, это правило и сегодня теоретически действует в России, вероятно и большинстве европейских стран
                                                                                                    0
                                                                                                    Ваш комментарий натолкнул на следующую идею:
                                                                                                    В тот момент, когда робот понимает, что перед ним стоит моральная задача, касающаяся жизни людей,
                                                                                                    все информация о контексте и, соответственно, выбор решения (управление самим роботом) передается ответственному за этого робота человеку.

                                                                                                    Это накладывает ряд ограничений:
                                                                                                    — должен быть отложен выпуск человекоподобных роботов с интеллектом и свободой действия до того момента, пока люди не научатся передавать и усваивать огромные массы информацию в очень короткие сроки.
                                                                                                    — связь со своим подопечным роботом должна быть практически моментальной, чтобы можно было успеть принять решение
                                                                                                    — человек не должен иметь в своей ответственности более одного (двух) роботов, чтобы не возникло коллизий, способных привести к человеческим жертвам.

                                                                                                    Однако это будет решение. Иного, как мне кажется, не может быть, так как невозможно роботу заложить гуманистическую составляющую (называемого «совестью», «душой», а не «социомораль»), которым обладает человек, ибо составляющая иррациональна.
                                                                                                      0
                                                                                                      Если люди «научатся», то роботы и прочие «мыслящие компьютеры» будут излишни.
                                                                                                        0
                                                                                                        Физическая, рутинная работа, которую не захочется выполнять будет всегда. А вместе с ней и будет желание, чтобы эту работу делал кто-то иной, к примеру роботы.
                                                                                                          0
                                                                                                          Для рутинной работы не нужны «мыслящие компьютеры». Обычного конвейера вполне достаточно.
                                                                                                            0
                                                                                                            В этом Вы правы. Тогда и можно посоветовать ученым и не браться для создания человекоподобных роботов со свободной волей, ибо при попытке перенести такие морально-философичные понятия в робота, ошибка точно гарантирована. И получим мы либо машину стремящуюся захватить всю власть, ибо так «для людей будет лучше»; либо суицидников; либо махину с кучей ошибок в логике.

                                                                                                            Хотя есть пример, где свободная воля все-таки нужна:
                                                                                                            — обследование территории, где человек не может существовать или его присутствие очень дорого в тех плане, где необходимо реагировать «по ситуации».
                                                                                                    0
                                                                                                    Про пешеходный мост пример. А зачем толкать человека на путь вагонетки если можно запрограммировать робота самого под него прыгнуть? Или уже прививаем им инстинкт самосохранения заранее?
                                                                                                      0
                                                                                                      Видимо для того, что бы показать, что человек действует не логично, и в одних условиях готов пожертвовать одним что бы спасти нескольких, а в других нет.
                                                                                                        +9
                                                                                                        Весь секрет в постановке задачи.
                                                                                                        В первом случае нужно ВЫБРАТЬ кому умереть, а во втором УБИТЬ ради спасения других. Несмотря на то что по логике это одно и тоже, второе сделать сложнее с эмоциональной точки зрения.
                                                                                                          0
                                                                                                          Спасибо, а то я все никак не мог понять, в чем соль.
                                                                                                            0
                                                                                                            Мы о роботах же? ) Так вот у робота эмоций быть не должно. И нарушать один из законов роботехники, т.е толкать человека на рельсы, то только в случае если робот ограничен возможностях (как уже привели пример — будет не робот а просто автоматическая рука (хотя зачем руке искусственный интеллект я так и не понял до конца).
                                                                                                            А если робот «полценный», то логика «я скину человека, а не прыгну сам» выгодна только его производителям. Правильнее же будет ему самому прыгнуть.
                                                                                                              0
                                                                                                              Допустим, ИИ управляет не только рукой, но некоей большой системой, одним из манипуляторов которой является эта рука — единственный инструмент, которым можно как-то повлиять на данную ситуацию. Так лучше?

                                                                                                              Кстати, «законы робототехники» пока нигде не кодифицированы.
                                                                                                                0
                                                                                                                Лучше.
                                                                                                                А законы роботехники… они исходят из обычного здравого смысла и логики. А вот они кодифицированы уже давно :)
                                                                                                                  +4
                                                                                                                  ссылку на кодифицированный здравый смысл, пожалуйста!
                                                                                                                    +1
                                                                                                                    думаю, надо будет эту прошивку правительству внедрить, а то они помоему с устаревшей )
                                                                                                                0
                                                                                                                «Так вот у робота эмоций быть не должно» — хотелось бы чтобы биохимики меня поправили, но эмоции, мысли, желания и любой продукт деятельности мозга — лишь сформированные нейронные связи, электрические импульсы и изменение в гармональном составе? Т.е. фактически на физическом и программном уровне возможно повторить (конечно не на 100%) работу мозга.

                                                                                                                Повторю г-на EvilPartisan, но суть была в том, чтобы робота принять за человека и заставить принять человеческий поступок, а ведь самопожертвование характерно далеко не каждоу человеку.
                                                                                                                0
                                                                                                                В статье, к сожалению, не раскрывается принцип, по которому робот принимает решение во втором примере. Было бы весьма небезынтересно ознакомиться.
                                                                                                                  +3
                                                                                                                  Если вдуматься в первый случай, решив отправить вагонетку на запасные пути, робот делает совершенно тот же самый выбор: бездействовать или убить человека. Какая разница: бросают человека под вагонетку или вагонетку направляют на него? Нужна ли роботам эта этика? Не лучшим ли вариантом будет бездействие с его стороны? Судьба, так сказать. Да, погибнет пятеро, но зато никто не вмешивался в ход событий. Может это и к лучшему.
                                                                                                                    0
                                                                                                                    Не судьба, а баг. А если робот как-то отреагирует — этот баг уже будет признан фичей и пущен дальше. Чего допускать ни в коем случае нельзя.
                                                                                                                      0
                                                                                                                      Особенно, если это баг не самого робота, а какой-нибудь сторонний (внешней системы управления вагонетками, например). Тогда совершенно однозначно, что робот не должен корректировать проблемы других систем, не входящие в его компетенцию.
                                                                                                                      0
                                                                                                                      Вот повод для размышлений: профессия телохранитель.
                                                                                                                      Человеку в лучшем случае ни за что, зато с точки зрения нанимателя человек возьмет на себя пулю, предназначающуюся работодателю. В худшем случае что делать бодигарду?

                                                                                                                      Опять же, если кто смотрел фильм «Смерть в эфире», [spoiler]в нём в прямом эфире на шесть человек даётся одир револьвер с одним патроном, один раз вращается барабан — и люди по очереди стрелляют себе в голову (русская рулетка). Если бы пять человек получили осечку, что делать шестому?[/spoiler]
                                                                                                                        0
                                                                                                                        Да, но телохранитель остальное время получает деньги за тот момент, когда будут стрелять. А могут и не стрелять. Он сам идет на риск.

                                                                                                                        Если вращается на 1 шаг, то да. А если просто раскручивают — то отсуствие выстрела даже в 10 случаях ничего для 11-го не меняет, мне так кажется.
                                                                                                                        +5
                                                                                                                        Для человеческого разума сбросить с моста и перевести стрелки кажутся выглядят неравноправными действиями.

                                                                                                                        Мой мозг мгновенно принимает решение, что перевод стрелок гарантированно спасет пятерых, а у человека на запасном пути есть шанс отпрыгнуть. Сбросить же человека на пути выглядит ненадежным вариантом: во-первых, можно сбросить слишком рано и он успеет уползти, во-вторых, если замешкаться, он покалечится, а пятеро все равно погибнут. И самый главный останавливающий фактор — а почему тело одного человека затормозит вагонетку? Ведь она способна убить пятерых, не ограничиваясь только одним из них.

                                                                                                                        Эти рассуждения могут показаться нелепыми, но человеческий мозг приходит к этим выводам подсознательно и мы инстинктивно чувствуем второй вариант более жестоким.
                                                                                                                        Робот же должен действовать беспристрастно — позволить тележке задавить пятерых, а затем догнать и застрелить шестого.
                                                                                                                          +1
                                                                                                                          Рассказ о вагонетке-убийце можно положить в основу какого-нибудь фильма ужасов, да.
                                                                                                                            0
                                                                                                                            100 раз было.

                                                                                                                            В старой серии twilight zone на корабль, который вез лекарство пробралась девочка.
                                                                                                                            Горючее ограничено, и с нею корабль не сможет сделать необходимых маневров. Без пилота он не долетит.

                                                                                                                            Они долго пытались выкинуть лишние детали, но не помогло — перевес 20 кг.

                                                                                                                            А что бы вы сделали на месте пилота? А на ее месте?
                                                                                                                            0
                                                                                                                            Шестого застрелить, чтоб никому обидно не было? :)
                                                                                                                              –1
                                                                                                                              Да, так будет справедливо :)
                                                                                                                          0
                                                                                                                          Кэп, ты?
                                                                                                                        +5
                                                                                                                        А если робот состоит из прибитой к стене руки-манипулятора? И он не может броситься, но может бросить.

                                                                                                                        Начальные условия эксперимента таковы, что робот броситься не может.
                                                                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                            +11
                                                                                                                            Надо предложить в метро сделать систему экстренного торможения людьми. :-)
                                                                                                                              +1
                                                                                                                              стоит себе спокойно рабочий, чинит рельсы… тут черная рука переключает свитч и его убивает вагонеткой. не вижу разницы, если честно. что так что так убить человека ради жизни 5х. как по мне если уж в 1м случае так делать, то и во 2м. иначе ни то, ни то, лучше бездействовать.
                                                                                                                                +1
                                                                                                                                Если мы моделируем именно человеческую мораль, то разница огромна. В первом случае мы взаимодействуем с механизмом (рычаг), чтобы спасти 5 человек. Т.е. собственноручно вроде как человечка не убиваем. Во втором же случае у нас идёт прямой контакт с будущей кровавой кашей. Мы убиваем его намеренно, лицом к лицу, можно сказать. Это совершенно разный уровень восприятия ситуации.
                                                                                                                                  +2
                                                                                                                                  странно, для меня один и тот же уровень. и то и то убийство, пусть и чтоб спасти кого-то
                                                                                                                                    0
                                                                                                                                    Для большинства людей всё-таки разный. В первом случае мы спасаем пять человек взаимодействуя с рычагом, а во втором убиваем одного взаимодействуя с человеком. В первом случае мы меняем ситуацию не трогая самого человека. Мы просто спасаем 5 человек, но получается так, что от этого гибнет один. Во втором случае мы меняем ситуацию с помощью убийства. В первом случае мы сначала спасаем 5 человек, а затем 1 убирает, а во втором нам надо сначала убить, чтобы потом спасти. Всё-таки с точки зрения морали это разные ситуации.
                                                                                                                                      0
                                                                                                                                      Вообще-то убить, либо допустить бездействием смерть человека — это одно и то же как для «3-х законов», так и для законов УК=) Таким образом, бездействие — тоже убийство!
                                                                                                                                        0
                                                                                                                                        Вообще-то тут речь идёт не о законах УК, а о моральных установках. Так что бездействие это не всегда убийство.
                                                                                                                                          0
                                                                                                                                          По-моему, одинаково аморально как убить человека, так и допустить своим бездействием его смерть. Разве нет?
                                                                                                                                            0
                                                                                                                                            Вы вообще топик читали или пришли просто поспорить про аморальность убийства?
                                                                                                                                            Бездействие в обоих случаях, описанных в топике, приведёт к смерти 5 человек, а действие к смерти 1 человека. Тут выбор идёт между смертью и смертью. Сложный выбор. Как не поступи — получается аморально. Но если мы «действуем», то во втором случае получается «аморальнее» убить одного, чем пятерых.
                                                                                                                                            Такое моё мнение, и оно запросто может расходиться с вашим, потому что мораль у каждого своя.
                                                                                                                                              0
                                                                                                                                              Я согласен, что мораль видимо у каждого своя. Но все же попытаюсь объяснить почему я решил иначе: для меня бездействие это тоже действие. Кстате, в курсе права, есть интересный вопрос про мораль и законы. Так вот законы строятся на моральных принципах. Так что зря вы так… Получается, что с точки зрения законов вы не правы, а сточки зрения вашей морали — вполне. Извините, если обидел.
                                                                                                                              –1
                                                                                                                              А зачем руке-манипулятору интеллект? В особенности размышления на тему жизни и смерти людей?
                                                                                                                              Если были условия эксперимента что робот не может броситься под вагонетку то смысл от этого робота?
                                                                                                                            +6
                                                                                                                            Вот так и рушатся законы робототехники, не успев выйти со страниц фантастики в реальную жизнь…
                                                                                                                              0
                                                                                                                              Я могу задать вопрос проще
                                                                                                                              Человеку нужна операция, очень сложная, шанс выжить 50%. Без операции человек умрет с вероятностью 50%.
                                                                                                                              Должен ли робот-хирург делать операцию?
                                                                                                                                +2
                                                                                                                                В данном вопросе даже человеку сложно принять решение.
                                                                                                                                  +11
                                                                                                                                  В Хаусе есть жестокая довольно-таки серия. Два младенца больны одной и той же болезнью. У Хауса два предположения. Лечение в двух случаях диаметрально противоположное. Вместо того, чтобы выбирать каким способом лечить, Хаус дает одному младенцу одно лекарство, а другому другое.
                                                                                                                                    –13
                                                                                                                                    Кино не смотрел, описанная ситуация говорит мне лишь о не профессионализме врача.
                                                                                                                                      +7
                                                                                                                                      То есть, по-вашему, 2 потенциальных трупа — лучше, чем один? Странно. Бывает, что у людей нет выбора :(
                                                                                                                                        +6
                                                                                                                                        Ваш комментарий излучает врачебный профессионализм.
                                                                                                                                          +1
                                                                                                                                          какое решение предложили бы вы?
                                                                                                                                            –5
                                                                                                                                            Я ведь написал, что не смотрел. Прочитал ниже, что написал bogus92, в таком случае считаю, что он поступил правильно. Но это учитывая, что он не знал правильного решения, но врачи должны знать пути спасения людей, так как все болезни описаны и исследованы, за редким исключением, очень редким.
                                                                                                                                            Или Вы считаете нормой прийти в больницу и стать участником эксперимента? Я — только в случае если болен действительно никому не известной, смертельной болезнью. И то не считаю, что у врача может быть «два предположения».
                                                                                                                                              +1
                                                                                                                                              Порой не так легко понять чем именно болен человек и другого выхода, кроме как эксперимент, нет
                                                                                                                                                0
                                                                                                                                                Дело в том, что Вас ввёл в заблуждение первоначальный комментарий imwode, в котором было написано:
                                                                                                                                                Два младенца больны одной и той же болезнью

                                                                                                                                                Дело в том, что это неверно — у обоих младенцев были лишь одни и те же симптомы, а как раз-таки узнать, чем они больны и являлось (впрочем, как и всегда является) задачей Хауса — он возглавляет диагностический отдел :)
                                                                                                                                            +10
                                                                                                                                            На самом деле там начиналась эпидемия и таким способом он дав умереть одному ребенку спас 5 других детей.
                                                                                                                                              +14
                                                                                                                                              Хаус — робот!!! О_о
                                                                                                                                                –2
                                                                                                                                                Начиная с шестого сезона видимо? Именно поэтому викадин перестал принимать?
                                                                                                                                                  –2
                                                                                                                                                  викодин — топливо, перешел на солнечные батареи (:
                                                                                                                                                    –1
                                                                                                                                                    викодин запретили там слишком много парацетамола — печень отпадает
                                                                                                                                              –1
                                                                                                                                              1ый сезон, четвертая серия, емнип.
                                                                                                                                                –2
                                                                                                                                                сериал про хауса ближе к робототехнике или к любой другой области человеческой деятельности, чем к медицине
                                                                                                                                                серию не смотрел но на практике выбрал бы оба препарата обоим пациентам, да и в реальности не возникает таких четко разграниченных ситуаций
                                                                                                                                              +2
                                                                                                                                              Ну для большинства это не проще. Проценты они сложны для понимания.
                                                                                                                                              И ответы могут быть разными. Если роботу хирургу оплатят эту операцию — то да. Если есть очередь из нескольких больных и некоторым операция повысит шанс на выживание, то должен обслужить их в первую очередь. И вообще все это должно быть прописано в ТЗ к роботу.
                                                                                                                                                +1
                                                                                                                                                Про ТЗ к роботу — отлично :)
                                                                                                                                                +1
                                                                                                                                                Странное условие, ведь если робот сделает операцию — никто ничего не теряет, те, робот будет делать её даже при шансах близких к нулю.

                                                                                                                                                Иными словами, ваша задача не имеет смысла.
                                                                                                                                                  0
                                                                                                                                                  Кто-то может потерять последний год жизни, к примеру.
                                                                                                                                                  +2
                                                                                                                                                  Я думаю, что если шанс 50\50, то решать должен тот, кому делают операцию, либо его близкие родственники.
                                                                                                                                                    0
                                                                                                                                                    Ключевые слова — «сроки» и «состояние». Рассматривать следует совокупность этих факторов в следующих ключах: насколько долго проживёт человек без операции при том или ином исходе, и каково будет при этом его состояние; насколько улучшится состояние пациента при успехе операции, и сколько и как он сможет в итоге прожить.
                                                                                                                                                      0
                                                                                                                                                      в данном вопросе вообще непонятно зачем такая операция нужна. Она какой-нибудь профит вообще приносит?
                                                                                                                                                      +1
                                                                                                                                                      На эту тему есть жуткий видик
                                                                                                                                                      А как бы вы поступили?
                                                                                                                                                        0
                                                                                                                                                        Это да, ну вот как тут сделать выбор в такой ситуации?
                                                                                                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                            +1
                                                                                                                                                            Я бы сына спасал. Остальные побоку.
                                                                                                                                                              +1
                                                                                                                                                              Если честно я бы тоже ) Случиться с поездом что-то могло еще по миллиону причин — корова на путях, машинист уснул итп… да и ниче — искупался бы народ, попадал с полок… но кто-нибудь бы да выжил )
                                                                                                                                                              Но вот так вот добровольно взять и обречь себя мучаться всю оставшуюся жизнь — да ну нафиг )
                                                                                                                                                              Но и за детьми надо следить — они такие дети...)
                                                                                                                                                                +1
                                                                                                                                                                Да, следить надо.
                                                                                                                                                                  0
                                                                                                                                                                  мучаться будешь в любом случае. еще не известно от какого решения больше.
                                                                                                                                                                  я б тоже спасал сына, даже не задумался бы. но что-то мне подсказывает что независимо от решения оставшуюся чать жизни я б в дурке провел
                                                                                                                                                                  –1
                                                                                                                                                                  Я бы тоже. Сын тисячу раз дороже, чем даже тисячу человек. Потому что он сын. Мой сын. А людей еще будет и будет. Пусть жестоко, но жизнь других никогда не сравниться с жизнью родных.
                                                                                                                                                                    0
                                                                                                                                                                    Вот и я говорю — нету тут для меня делеммы.
                                                                                                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                    0
                                                                                                                                                                    Корейские титры и славянский язык?!..

                                                                                                                                                                    0
                                                                                                                                                                    Я вот считаю что оба варианта допустимы…
                                                                                                                                                                    Хотя конечно нужно учитывать ценность того кто стоит на мосту и тех кто на кого едет вагонетка.
                                                                                                                                                                    Допустим если они равноценны, то можно на 100%
                                                                                                                                                                    Если на мосту стоит человек важный и нужный то нет…

                                                                                                                                                                    Машинам такого не понять до тех пор пока сами люди не договорятся между собой.
                                                                                                                                                                    Кроме того нужно учесть что мало кто говорит то что думает.
                                                                                                                                                                    Сегодня ядом стала толерантность а не нетерпимость как когда-то
                                                                                                                                                                      +1
                                                                                                                                                                      А важный и нужный для чего? Для какой-нибудь корпорации, из-за того, что приносит деньги? Или для троих детей? Или хотя бы для себя самого?
                                                                                                                                                                      Мне кажется, решение броситься на рельсы или нет, должен принимать сам «герой». Иначе это выглядит примерно как один человек столкнет другого, чтобы спасти жизни остальных…
                                                                                                                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                          0
                                                                                                                                                                          Вот как раз «важность» человека роботу легко просчитать.

                                                                                                                                                                          Представьте что нужно спасти или совет директоров General Electric или одного из уборщиков этой компании.
                                                                                                                                                                          Смерть совета сразу может повлечь серьёзные нарушения в работе, которые приведут к убыткам а убытки к увольнению десятков тысяч «простых» людей потеря работы для которых равносильна меленой смерти.

                                                                                                                                                                          Если говорить о социально равных людях, то спасать надо более здоровых, молодых.

                                                                                                                                                                          Человеку просчитать всё это сложно а вот роботу просто.
                                                                                                                                                                            +1
                                                                                                                                                                            Я, наверное, просто из тех, кто ответил бы «нет» на второй вопрос:)
                                                                                                                                                                            Я бы не стал убивать уборщика ради совета директоров. И я бы очень сильно подумал перед тем, как убивать ничего не значащего для меня _невиновного_ человека для того, чтобы предотвратить несчастный случай, даже если его потенциальными жертвами являются дорогие мне люди.
                                                                                                                                                                            Логика робота сведется к минимизации финансового ущерба, но это соизмеримо с убийством за пусть даже очень большую сумму денег. Жизнь, какой бы «ущербной» она ни была, не может быть измеряна деньгами. Все субъективно. Для кого-то уборщик — незначительная фигура в сравнении с советом директоров, но кто он такой, чтобы давать себе право убивать ради предотвращения несчастного случая. Да и тот же бедный уборщик не подписывал в договоре пункт, что он согласен отдать жизнь за эту кучку «очень значительных для корпорации» людей.
                                                                                                                                                                            И пусть после этого компания разорится и рабочие останутся без работы, и их детишки познают чувство голода. Это _несчастный случай_. Это лучше, чем вас (или меня, или кого-то еще) кто-то исподтишка толкнет в спину на рельсы, только из-за того, что он такой умный, все просчитал, и с его точки зрения вы (или я, или кто-то еще) не такой важный, как остальные.
                                                                                                                                                                            Так вот длинно получилось. Такая вот точка зрения.
                                                                                                                                                                              0
                                                                                                                                                                              А если продолжить размышлять на тему второго вопроса… Получается, робот содействует тому, чтобы человек, находящийся вне зоны поражения, оказался в ней для того, чтобы сохранить жизнь «более важному» человеку. Т.е. если продолжать действовать по этому алгоритму в пока что невероятной ситуации, когда, чтобы защитить кучку директоров, их нужно обложить «живым мясом» из менее значащих людей, а этот робот будет способен передвигаться сам и транспортировать это живое мясо, то он его будет собирать в округе, независимо от того, относится ли этот человек к тому совету директоров вообще, руководствуясь лишь экономическими показателями «значимости». На гуманность это вообще мало похоже. Или, может, это меня занесло...:)
                                                                                                                                                                                0
                                                                                                                                                                                Вы просто как и любой человек принимаете это слишком близко к сердцу.
                                                                                                                                                                                Лично я, разумеется, как и большинство людей просто бы самоустранился от решения подобной задачи.

                                                                                                                                                                                А вот компьютеру, роботу, на самом деле легко и просто просчитать какие последствия может повлечь смерть того или иного человека. Конечно не на сегодняшнем этапе развития техники, но в ближайшей перспективе.

                                                                                                                                                                                Уже сейчас в интернете есть множество баз руководствуясь которыми можно рассказать многое по крайней мере о трети населения планеты.

                                                                                                                                                                                В будущем, как мне кажется, общество в своём развитии придёт к модели Эквилибриума — машины будут знать всё и обо всех.
                                                                                                                                                                                  0
                                                                                                                                                                                  вы не совсем правы, отрасль автоматизации по части принятия решений еще в зачатке, про это например очень любят рассказывать инвесторы и бизнесс-ангелы на всяких конференциях, когда говорят об областях куда было бы перспективно вкладывать деньги.
                                                                                                                                                                        +4
                                                                                                                                                                        Интеллект отличается от тупого if() тем, что старается найти 3-й вариант решения задачи, обеспечивающий выживание всех 6 человек в обоих случаях.
                                                                                                                                                                          +54
                                                                                                                                                                          Я так понимаю «удалось запрограммировать» это:

                                                                                                                                                                          if (peopleLeft < peopleRight)
                                                                                                                                                                             KillLeft() 
                                                                                                                                                                          else if (peopleLeft > peopleRight)
                                                                                                                                                                             KillRight()
                                                                                                                                                                          else
                                                                                                                                                                             KillRandom()
                                                                                                                                                                          


                                                                                                                                                                          :)
                                                                                                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                              +1
                                                                                                                                                                              и kill -9
                                                                                                                                                                              +1
                                                                                                                                                                              Черт, меня опередили :)
                                                                                                                                                                                +7
                                                                                                                                                                                else
                                                                                                                                                                                KernelPanic()
                                                                                                                                                                                +6
                                                                                                                                                                                Сенсация! мне удалось найти исходники программы этого робота!!!

                                                                                                                                                                                на C++! вот фрагмент:

                                                                                                                                                                                bool choose_a_or_b(int a_weight, int b_weight)
                                                                                                                                                                                {

                                                                                                                                                                                /*

                                                                                                                                                                                Мы проделали глубочайшее культурологическое,
                                                                                                                                                                                этнонациональное исследование среди 100 государств
                                                                                                                                                                                и 87 культур и этносов с целью выявить
                                                                                                                                                                                скрытые правила, определяющие поведение
                                                                                                                                                                                индивиидумов и групп личностей, принимающих
                                                                                                                                                                                решения, влияющие на безопасность и/или жизнь
                                                                                                                                                                                других индивидуумов или групп людей и построили
                                                                                                                                                                                сложнейшую модель, позволяющую выявить моральную
                                                                                                                                                                                компоненту принятия нравственного решения.

                                                                                                                                                                                … 29347 строк комментария я опустил…

                                                                                                                                                                                return a_weight < b_weight;

                                                                                                                                                                                */

                                                                                                                                                                                }

                                                                                                                                                                                if (choose_a_or_b(5,1))
                                                                                                                                                                                printf(«kill one person»);

                                                                                                                                                                                else

                                                                                                                                                                                printf(«kill 5 people»);



                                                                                                                                                                                Кому интересно — обращайтесь, вышлю архив исходных кодов (103 Мбайта)…

                                                                                                                                                                                  +13
                                                                                                                                                                                  Заккоментировали ретурн. =) Такой точно всех убьет.
                                                                                                                                                                                  +6
                                                                                                                                                                                  Описанное выше противоречие называется «omission bias» и является одним из известных дефектов человеческой способности принимать решения. Вопрос — а нафига заставлять машину мыслить с ошибками? :)
                                                                                                                                                                                    +1
                                                                                                                                                                                    Именно. Если и давать роботу выбор, то пусть это будет простой и правильный выбор. Раздать всем шахтерам веса, на которые бы домножалась их жизнь, а роботу дать посчитать, когда урон больше (с учетом весов) и действовать согласно.
                                                                                                                                                                                    Цинично, но логично.
                                                                                                                                                                                      +4
                                                                                                                                                                                      отправь смс на номер 9999 и увеличь свой вес на 5 едениц! Этим ты можешь спасти не только свою жизнь, но и жизнь своих родственников в несчастных случаях
                                                                                                                                                                                    +3
                                                                                                                                                                                    во втором случае робот не может кинуть человека на рельсы — это прямое нарушение закона робототехники.
                                                                                                                                                                                      +3
                                                                                                                                                                                      а в первом убить человека? Если вы про этот закон:
                                                                                                                                                                                      1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
                                                                                                                                                                                      То там есть существенных минус. Нет явного приоритета у действия и бездействия.
                                                                                                                                                                                      Лучше в законе четко прописать.
                                                                                                                                                                                      0. Закон с меньшим номером имеет больший приоритет.
                                                                                                                                                                                      1. Робот не может совершать действию причиняющие вред человеку.
                                                                                                                                                                                      2. Робот не должен допустить, что бы в результате его бездействия был нанесен вред человеку.
                                                                                                                                                                                      3. Робот должен повиноваться всем приказам, которые дает человек,
                                                                                                                                                                                      4. Робот должен заботится о своей безопасности.

                                                                                                                                                                                      Тогда обе этические ситуации разрешаются сразу.
                                                                                                                                                                                        +2
                                                                                                                                                                                        там бездействие причинит наибольший вред т.е. побуждение к действию и переключение рычага.
                                                                                                                                                                                          +3
                                                                                                                                                                                          5. Закон с большим номером имеет больший приоритет.

                                                                                                                                                                                          :)
                                                                                                                                                                                            0
                                                                                                                                                                                            пыдыжь! кернел паник.
                                                                                                                                                                                              +1
                                                                                                                                                                                              5 не выполнитмя, поскольку 0 его перекрывает.

                                                                                                                                                                                              если конечно в результате какой-нибудь ошибки не прочитать список с конца :)
                                                                                                                                                                                                0
                                                                                                                                                                                                robotLaws.reverse() в код вставить и все дела. Хехе, так и представляю подобный вирус для роботов.
                                                                                                                                                                                              0
                                                                                                                                                                                              Робот видит, как шахид готов взорвать(ся) в окружении большого числа невинных людей, единственный предотвратить взрыв — нанести вред шахиду. Что будет по приоритетам?
                                                                                                                                                                                                0
                                                                                                                                                                                                Я думаю, что для человека, что для робота, который понимает, чем грозят действия шахида, выбора даже быть не может. А з непонимающего робота чего возьмеш?
                                                                                                                                                                                                0
                                                                                                                                                                                                1 и 2й в конфликте, когда результат один, про веса и всё остальное ничего нет :) у робота будет паника.
                                                                                                                                                                                                  0
                                                                                                                                                                                                  Паники не будет у п1 приоритет выше ) Робот скажет про себя «На кого бог послал» и умоет руки.
                                                                                                                                                                                                    0
                                                                                                                                                                                                    да в таком виде формулировка работает :) с нулевым правилом про приоритет.
                                                                                                                                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                                                –2
                                                                                                                                                                                                Ужас какой. Убить… И робот убил. Я считаю, что в данном случае он должен был встать на пути вагонетки и максимально снизить ей скорость. Не ему выбирать, кого можно убить, а кого нет. Да и вообще никому. Глупо считать, что можно пожертвовать одной жизнью ради спасения пятерых. Мы не боги.
                                                                                                                                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                                                    –7
                                                                                                                                                                                                    На войне люди погибают добровольно. Они знают на что идут. В общем ладно, у нас разные точки зрения.
                                                                                                                                                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                                                          –3
                                                                                                                                                                                                          А он тут не при чем. Впрочем, как и сама тема о призыве. У меня нет желания дальше это обсуждать.
                                                                                                                                                                                                            0
                                                                                                                                                                                                            Конечно добровольный, или идешь служить добровольно, или статья принудительно… А если военное время…
                                                                                                                                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                                                              –1
                                                                                                                                                                                                              >В каком мире мы живем, никто ничего не делает, все только размышляют, что этично, а что нет =)))

                                                                                                                                                                                                              Не сочти за трололо, но «мы все умрем?». А почему бы и не поразмышлять на очередном «форуме»? Они для этого и созданы. Ну и еще что бы новости читать, да.
                                                                                                                                                                                                                0
                                                                                                                                                                                                                однополые браки роботов?
                                                                                                                                                                                                              0
                                                                                                                                                                                                              Ну или заказчика…
                                                                                                                                                                                                              +5
                                                                                                                                                                                                              Я офигеваю, XXI век на дворе, а у людей в головах антропоморфный робот с ногами, который может куда-то встать.

                                                                                                                                                                                                              Вы напоминаете Буратино, который не мог абстрактно мыслить и не хотел отдавать Некту два яб