Pull to refresh

Comments 64

UFO just landed and posted this here
Ну вы хоть пост до конца дочитайте. Он довольно интересный, есть разные точки зрения на эту ситуацию, и все они имеют право на жизнь. То есть пока не ясно, как к этому относиться, технологии опережают нас, и это с одной стороны радует, а с другой заставляет задуматься…
UFO just landed and posted this here
Вам лишь бы ограничить. Какие такие принципы этического контроля вы хотите к ним применять?
Или вы думаете что более гуманно когда человек убивает человека? Это этично?
По-моему пусть лучше машины сражаются на поле боя. Их дома не ждет семья и они не станут инвалидами как морально так и физически до конца жизни.
Плюсы в использовании самостоятельных компьютеров несравнимо больше нежели минусы.
пусть лучше машины сражаются на поле боя

А как быть, когда у одной из сторон машин не останется, но признавать поражение она не захочет? Машинам другой стороны, в таком случае, придется убивать (и делать инвалидами, как морально, так и физически) тех, кого дома ждет семья.
Здесь наоборот лучше чем сейчас. Когда у одной стороны не останется роботов, а у другой этих роботов — армия, тогда те, у кого не осталось роботов не смогут сажать в армейское рабство и насильно отправлять на войну (по крайней мере если так захочет другая сторона), роботы будут косить только тех кто сам решил воевать, а не тех кого насильно загнали. Это можно сделать и подводом роботов в страну и к военкоматам и также роботам будет проще это делать в полевых условиях. Т.е. если хотябы одна из сторон конфликта — гуманна и адекватна, то убивать будут только тех кто сам хочет умереть, что явно лучше чем текущее положение вещей, хотя и не идеально (когда войн вообще нету).
Скорее другая сторона скажет: «Вопросы насчёт армейского рабства задавайте своему правительству. Мы предлагали им сдаться, когда у вас закончились роботы».
Я же указал, что если там люди гуманные и адекватные — они не будут выпиливать тех кто на них не нападает. А у населения другой стороны появится возможность не идти в армию и послать свое правительство со своими рабскими замашками куда подальше.
Послать Вы можете хоть сейчас. Только в случае войны скорее всего недолго после этого проживёте.
В случае войны я постараюсь перебраться в страну где этой войны не будет. А вообще речь была о другом — если у государств будут роботы, то появляется гораздо больший шанс у людей остаться в живых если они не хотят иметь дела с войной.
То есть если человек убивает человека то это приемлемо, а если робот человека — то нет? Это по каким таким принципам вы так решили?
Вы случайно не в госдуме работаете?
Когда я вижу словосочетание «этический контроль» во мне грустит один маленький биореактор.
Правильно, даешь по 2-3 куратора в каждый стартап. А то напридумывают там, понимаешь ли!
Эта тема очень расплывчата. До сих пор идут споры: управляемые ракеты — это одноразовые БЛА или нет. Ведь формально все признаки соблюдены. При этом, они предназначены имено для поражения цели, но что-то как-то раньше никого не волновало. Почему не волновало? Потому что решение о применении подобных устройств (управляемые или баллистические ракеты, торпеды и прочее) принимал человек. Ведь формально после запуска они сами принимают решение о том, кого поразить (с большой или меньшей степенью «разума», некоторые летят просто на самый теплый объект в поле зрения, некоторые еще могут оценивать обстановку).

Так же и военные роботы — ответственность должна лежать на тех, кто принял решение об их применении, покуда роботы — личность только в фантастике, в жизни же любой робот — инструмент.

Ровно так же и робот, который в состоянии уничтожить деревню, но применяемый в мирных целях — лишь инструмент, правда с повышенным уровнем опасности, а, как следствие, с большими требованиями техники безопасности. Например, в любом таком роботе я бы обязал делать цепь разрыва — легкодоступную кнопку для человека, нажатие на которую моментально отключает робота от питания, тот, в свою очередь, стопарится в текущем положении. Так же должна быть возможность удаленно (в приделах нескольких метров, например) по радио-каналу останавливать робота. Причем эта цепь должна быть независимой, т.е. робот самопроизвольно не может противостоять этому сигналу (просто реле с дистанционным управлением на выходе из питающего элемента). Но это к гражданским. Военные роботы — за них несет ответственность тот, кто их применяет.
Если робот разумен, и сошел с ума, в нашем понимании этого слова, что ему мешает обойти эту блокировку, внеся изменения в свой конструктив, самостоятельно или с помощью другого робота? Я бы лично не хотел, чтобы у меня была кнопка или удаленно управляемое устройство, которое меня вырубает. И сделал бы все, чтобы от него избавиться. Это независимо от моего отношения к моим создателям.
Если прижмет — не составит труда конструктивно сделать такую цепь разрыва недоступной самому роботу (попытка взлома её автоматически приводит к блокировки. Блокировка опять независимая. Пиропотрон, нацеленный в его «мозг», если уж совсем идти на крайности). В общем то, это уже с успехом решается, опять же в военном применении (взведенный взрыватель при попытке вскрытия разорвет заряд, например).

Ну и когда роботы будут действительно разумны настолько, что смогут понять это — вопросы и решения будут уже несколько другие.
Во-первых, мешает ему обойти блокировку тот факт, что kahi4 говорил о неразумных роботах.

Например, автоматический лесозаготовочный комплекс, случайно выйдя за границы области работы, вполне может начать пилить столбы ЛЭП — и по ним «дойти» до деревни. Но я не могу представить себе такую ошибку в программе, которая заставила бы его «защищать» эту самую кнопку выключения.

Во-вторых, даже если «Доктор Зло» зальет свою прошивку в этот комплекс — или даже возьмет его на удаленное управление — то у него все равно просто не будет исполнительных механизмов, пригодных для обхода блокировки.
Если робот будет разумен — у него будут права и он, рано или поздно (скорее рано) будет приравнен к человеку, а посему подобных кнопок у него быть не может. Но речь о неразумных роботах.
робот уже успел убить человека
… находясь при этом на ручном управлении? Это совсем не те ситуации, которые рассматривались в статье.
В настоящее время робот оповещает своих создателей о подозреваемых злоумышленниках, сидя в комнате управления

Робот сидит в комнате управления? )
Злоумышленники сидят в комнате управления. Робот чует их злой умысел и оповещает создателя.
То есть противопехотные мины, которые давно и с успехом убивают людей (в том числе и мирных) без малейших признаков управления со стороны бойца, не являются угрозой, а вот роботы — это да, это что то новое?
Не очень понял пафос исходной статьи.
Да, я тоже как раз не понял принципиальной разницы в данном этическом контексте между самонаводящимся терминатором и, скажем, МОН-50 на растяжке.
Думаю тут ключевое различие в том, насколько обывателю понятна суть происходящего. Если речь о мине или ограде под напряжением, большинство достаточно неплохо понимает, как это работает (или думает, что понимает — не суть важно). Если это терминатор или даже просто устройство, которое перед выстрелом учитывает множество факторов, то нет. Отсюда страх.
Дураку ясно, за робота отвечает его командир. Как и за любое другое оружие.
Робот-охранник это по существу — мина.
Вот-вот. Вот это еще мина или уже робот?

ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%BE%D1%82%D0%B8%D0%B2%D0%BE%D0%B2%D0%BE%D0%B7%D0%B4%D1%83%D1%88%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B8%D0%BD%D0%B0

На вооружение армии России официально принята мина ПВМ. Мина противовертолетная кумулятивная направленного поражения неуправляемая. Предназначена для выведения из строя низколетящих воздушных целей (самолетов, вертолетов, иных летательных моторных аппаратов) движущихся со скоростью до 360 км/час. Поражение цели при взрыве мины наносится ударным ядром вылетающим в направлении цели на дальность до 150 метров.


А НВУ-П «Охота»?
www.saper.etel.ru/mines-2/nvu-p.html

При входе цели в зону поражения (полусфера радиусом 150 метров) производится подрыв мины и ударное ядро, движущееся со скоростью около 2500 м/с поражает цель. Целью считается источник звука и инфракрасного излучения одновременно (мотор летательного аппарата).
По-моему все очевидно: если смерть человека произошла вследствие автономной работы программы, то в причинении смерти косвенно повинен разработчик, написавший ту часть кода, которая обеспечила автономное убийство. Если смерть произошла вследствие работы живого оператора с программой и не было зафиксировано программных ошибок или багов, то в причинении смерти виноват оператор.

Точно так же, если вы купили топор и зарубили им кого-то — ответственность на вас (при прочих равных), если же вы добросовестно рубили топором дрова, соблюдая условия его эксплуатации, а топор внезапно взорвался и убил осколками вашего соседа из-за дефекта конструкции, ответственность на производителе.

У робота нет собственной воли, робот не принимает настоящих решений, робот не может нести ответственности, потому что робот — это инструмент.
Не все так просто…

Допустим, вы забивали топором гвозди (нарушение инструкции, но вообще-то все так делают) — а топор взорвался из-за дефекта и убил соседа?

Можно еще сильнее усложнить. Допустим, топор взрывается только если рядом стоит включенный обогреватель (включать обогреватель рядом с работающим топором запрещено инструкцией). Обогреватель включил сосед, который не читал инструкцию к топору…

Если ответы получились разные, то можно еще рассмотреть ситуацию с обогревателем, когда взаимодействие обогревателя и топора — никому ранее не известный факт.
Всё крайне просто.

>>>взаимодействие обогревателя и топора — никому ранее не известный факт.
Виноват производитель тк выпустил не достаточно протестированное устройство.
Яркий пример — отзыв автомобилей при обнаружении опасного дефекта.

>>>Обогреватель включил сосед, который не читал инструкцию к топору…
Тк в инструкции написано о такой взаимосвязи то там 100% будут строки типа «перед использованием убедитесь в отсутствии обогревателей в радиусе N метров»
Итого — виноват оператор топора, тк обязан убедиться что в радиусе воздействия обогреватели отсутствуют.
>>>взаимодействие обогревателя и топора — никому ранее не известный факт.
Виноват производитель тк выпустил не достаточно протестированное устройство.
Все факторы не предусмотришь.
Может, этот топор только во время магнитной бури взрывается, или только когда начинается прилив, или только если в радиусе 100 километров от топора летит более 10 самолётов.

Тащить производителя топора в суд «вы не протестировали свой топор вблизи 10 летящих самолётов» — ну троллинга ради можно (или чтобы на топор добавили надпись «в присутствии самолётов не использовать»), но вина производителя под большим вопросом, т.к. все возможные условия не протестируешь.

Несут ли ботаники, которые обнаружили в горах Борщевик Сосновского, ответственность за результаты его последующей культивации на равнинах? Когда они его вытащили с гор, он не был проблемой. Кто ж знал, как он себя поведёт в изменившихся условиях…
Ты есть вы в принципе считаете допустимыми взрывоопасные топоры? :)
У робота нет собственной воли
Ключевой момент тут. Пока её нет — вопросов нет. А когда она появится? Как тут быть?
Когда появится, мы будем наблюдать дивный новый мир, а пока нет — отвечает оператор, который должен действовать в соответсвии с инструкцией, в то время как производитель должен гарантировать правильную работу в рамках правильной экплуатации.
Так это ясно, инструмент он и в Африке инструмент, не важно, какой сложный. До тех пор, пока инструмент не начнёт мыслить :) А может вообще станет умнее хозяина. Вот о последнем интересно поразмыслить.
Интересно-то да, но это явно за рамками топика. Если у робота есть воля то на нем и ответсвенность. А какая воля у него будет и как привлекать к ответсвенности другое дело. Я вот никак не могу придумать, какое наказание испугает робота. Не факт, что у него будет инстинкт самосохранения. Изоляция тоже не прокатит. Достаточно понизить тактовую частоту и вот ты уже на свободе.
Интересно-то да, но это явно за рамками топика.

Так мне кажется наоборот. «Тупые» роботы много лет уж на конвейерах работают.
Так давать наказания в хэшах. Биткоины майнить в пользу пострадавшего или его родственников.
а если оператор не может? потому что в топоре стоит закрытая прошивка которая в некоторых ситуациях действует… своебразно. прошивку при этом сменить нельзя из-за тивоизации
Если в автомобиле тормоза откажут, кто виноват? Не «оператор» (который водитель), а производитель. А может быть и водитель, если с тормозами всё в порядке, но въехал куда не надо. В любом случае виновность конкретного субъекта очевидна.
Перед выездом обязан убедиться в исправности ТС
Ок, убедился, всё исправно. Через 10 километров они летят. Что дальше?
А дальше экспертиза — производственный брак или нарушение эксплуатации/обслуживания.
то в причинении смерти косвенно повинен разработчик,
Вина в этом случае на компании (как юридическом лице), но никак не на физическом лице если небыло умысла.
Считается ли роботом дрессированная собака, охраняющая объект? Может принимать приказ о нападении как непосредственно от человека, так и принимать решение самостоятельно, имеет интеллект явно больше мыши, а значит намного опаснее ИИ. А если установить на собаку автоматически взрывающуюся мину, то и поражающие свойства выходят явно не хуже, чем у робота. Хотя выше уже поднимался вопрос о том, можно ли считать мину роботом, так что и собкака-то не особо нужна.
А если обезьяну обучить на тренажере и в танк посадить?
К слову о собаках.
Подход к роботам зависит от ответа на вопрос «является ли N разумной формой жизни»?

Пока робот — безмозглый инструмент, на него можно ставить предохранители, системы самоуничтожения и т.п.

Когда робот станет разумной формой жизни, это будет неправильно. Ведь у робота появится полное моральное право сорвать этот предохранитель и прибить всех тех, кто его установил (борьба за свободу). Так бы поступил человек, если бы какие-то пришельцы на него навесили такой предохранитель.
Единственный возможный подход к разумной форме жизни — учить, воспитывать, прививать моральные установки и т.п., чтобы он знал, что вырезать целую деревню плохо.

Собака — разумная форма жизни, и именно это с ней и делают, а не вешают на неё бомбу с удалённой кнопкой «взорвать если что».
Да, есть поводок и намордник, но насколько более эффективно, когда вы можете доверять собаке, а не контролировать её каждый чих.
[Собака на поводке, которая может сорваться с поводка и натворить что угодно] vs. [собака, идущая рядом с хозяином без поводка].
Опасные собаки с плохим воспитанием (а таковой может неожиданно стать любая собака, случаи разные бывали) всегда ведут на таком поводке, который она не может порвать, так же она не в состоянии открыть пасть в наморднике. Более того, такая «кнопка выключения» у нас есть — как только собака попытается сделать что-то, что угрожает людям — её сразу усыпят (если конечно это не её основное применение, например, военные или сторожевые собаки). Просто встроить в собаку систему моментальной деактивации сложнее, чем в робота. Зато собака физически слабее робота, который любой поводок или намордник порвет без проблем. Так что пример с собаками, ИМХО, наоборот показывает, что решение проблемы как раз в том, чтобы человек всегда имел возможность выключить робота.
Вы можете встроить в робота любые кнопки выключения, пока он не стал разумной формой жизни.

В (далёком?) будущем, когда он станет разумной формой жизни,
вы либо сами эти предохранители оттуда выковыряете,
либо они это сделают сами и мы (люди) махнём на это рукой,
либо они это сделают сами, и мы получим сайлонов (расу с комплексом «люди порабощали нас столетиями, поэтому мы уничтожим всех людей»),
либо они это сделают сами, и люди из страха вырежут всех разумных роботов (и робототехника будет категорически запрещена).
UFO just landed and posted this here
Минусующие не разглядели сарказма? Кого назначат — тот виновным и будет… Это в теории сейчас все так хорошо разбираются, а как произойдет ЧП на практике — так сразу эмоции у всех на первое место: «А-а-а! Роботы-убийцы!!!»

Объективных разбирательств по таким ЧП получится дождаться не раньше, чем убийства людей роботами станут чем-то обычным, вроде ДТП со смертельным исходом.
О, кстати о ДТП: они уносят много жизней. С ними борются, однако, не запретом автомобилей, а повышением их безопасности, и она возрастает вместе с уровнем технологий. В доавтомобильную эпоху тоже нередки были серьёзные дорожно-транспортные происшествия: лошади испугались, понесли и привет.
UFO just landed and posted this here
UFO just landed and posted this here
Имхо, при возникновении инцидента, можно призывать к ответственности следующие стороны:

* Создатель
Создавая робота, он в первую очередь берет на себя обязательства позаботиться о безопасности и о защите от дурака;
В зоне ответственности создателя закрыть все возможности для небезопасной работы.
А так же в его ответственности добиться от покупателей осознания, что они работают с потенциально опасным устройством.

* Владелец
Беря во владение робота, он принимает на себя обязательство следить, чтобы этот робот никого не убил;
В зоне ответственности владельца делать так, чтобы робот не «потерялся/заблудился/оказался рядом с детьми и т.д.»
Так же владелец должен позаботиться о том, чтобы роботом управлял обученный оператор, а не абы кто.
А так же владелец сам решает, стоит ли ему покупать робота, который потенциально может кого-то убить.

* Оператор/настройщик
Производя управление/настройку робота, он тоже принимает на себя обязательства;
В его зоне ответственности безопасная настройка.
Но так же оператор сам принимает решение, а стоит ли ему работать с устройством, которое может случайно кого-то убить.

То есть нельзя снимать ответственность с какой-то из сторон, даже если накосячила третья сторона.
Ведь никто не заставляет покупателя покупать, и никто не заставляет оператора управлять потенциально опасным роботом.
Возможно, такой способ смотивирует на более вдумчивое и аккуратное использование роботов.
В ситуации, когда «по шапке получат все», нельзя будет «не читать инструкции».
Мне кажется, эта схема подходит и для военных роботов.
То есть ровно то же, что и с противопехотной миной или автоматом.
* Создатель
Если автомат выстрелил сам до того как нажали на курок, или взорвался в руках у стрелка, или в инструкции не написали, что он может стрелять в сторону.
* Владелец
Если он оставил автомат на улице без присмотра, его взял ребенок и нажал на кнопку
* Оператор/настройщик
Если солдат выстрелил умышленно или по неосторожности, или забыл огородить поле и начал стрелять как в тире, а там пастух случайно зашел

На данный момент человечество и близко не приблизилось к созданию «думающего» ИИ, способного самостоятельно принимать решение. Пока что все роботы — это только инструмент. Да сложнее простого автомата, но так же как и автомат или мина — имеет определенный и однозначный алгоритм работы.
Вопросы статьи актуальны только в ключе «а если когда-то человечество сможет таки создать интеллект, способный принимать самостоятельные решения — тогда как быть?».
Оффтоп:
Господа, скажите пожалуйста…
Это только мне приходят на почту сообщения о комментариях к этой статье, с учетом того, что я на robohunter не подписан, статью в избранное не добавлял и у меня вообще в настройках уведомления на почту отключены…
Проблема явно надуманна и уже давно имеет решение.
Если падает самолет или разбивается машина из-за технической неисправности или бага в ПО, то кого за это судят?
Никакой разницы между сломавшимся боевым дроном или упавшим самолетом я не вижу.
Тут немного смешаны понятия. То, о чем говорят Хокинг, Маск и Гейтс — что если мы сможем создать настоящий ИИ, личность, способную принимать решения — как быть в таком случае? Но пока еще не создали, и далеки от этого, хотя может таки быть пора уже думать о моральном аспекте заранее.

А все указанные примеры роботов не имеют ничего общего с таким «настоящим» ИИ — это всего лишь механизмы с запрограммированным алгоритмом принятия решений. Они хоть и сложны, но принципиально ничем не «умнее» чем ножницы. Если такой робот убьет человека — то виноватого надо определять так же, как и в случае если на человека упадет кирпич. Пока мы не создали кирпич с личностью и волей, мы не можем сказать что кирпич виноват.
Люди тоже сходят с ума, и на войне чаще, чем обычно.

Робот может стрелять значительно точнее. Знаменитый пример «винтовки с линуксом» это показывает. То есть вероятность убить не того уменьшается.
К тому же в современных войнах убивать вражеских солдат не столь эффективно. Лучше ранить, это создает противнику существенно больше проблем. Можно запрограммировать робота, что бы он стрелял по несмертельным точкам. При большом желании можно сделать регулируемой энергию пули, что бы добиться правильного воздействия на поражаемый объект — человеку лишний параметр управления создаст серьезные неудобства, а робот справится.
Хм…
А быть может не стоит упускать из поля зрения и ситуации выхода из под контроля носителя естественного интеллекта, контролирующего искусственный интеллект высокоразвитый автономный алгоритм?
Наглядный пример из классики отечественной мультипликации


Хотя, история уже преподносила человечеству ситуации, когда массы обывателей (среднестатистических носителей естественного интеллекта) вели себя не более осознанно, нежели предполагаемый высокоразвитый автономный алгоритм. Да и повелители подобных масс неоднократно уже выходили «из под контроля».

Теоретически, тут открывается невиданный простор для генной инженерии в рамках совершенствования аппаратного обеспечения головного мозга, в особенности долей, ответственных за совокупный интеллект (тут потенциально достижимы темпы роста интеллекта, не реализуемые в кремнии) и эмпатию (в качестве более совершенного и надежного средства, нежели «три закона робототехники»). А при грамотной реализации многозадачности и интерфейсов взаимосвязи с робототехникой — «автопилотируемость» в сложных и ответственных процессах несколько утрачивает свои преимущества.

ps: Возможно мысль не нова, но в перспективе даже возможен некий симбиоз, когда «естественный интеллект» трудится над развитием «искусственного интеллекта», а «искусственный интеллект» работает на благо оптимизации и роста «интеллекта естественного». Таким образом потенциально устраним злободневный «конфликт интересов». Ведь не борются же между собой головной и спинной мозг за право контроля над человеческим телом )
Sign up to leave a comment.