Как стать автором
Обновить

Проблема вагонетки: в какую сторону переключишь стрелку именно ты?

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров7.3K
Всего голосов 5: ↑4 и ↓1+3
Комментарии127

Комментарии 127

чем больше людей будут принимать участие в решении дилемм от «Моральной машины», тем больше вероятность, что создатели беспилотных автомобилей смогут сделать их более соответствующими высоким стандартам этики и морали, 

Высокие стандарты морали - у толпы? Бу-га-га!

Feel you, та же реакция у меня была первые секунд 30 от анализа дэйты по эксперименту. Но, полагаю, умалять труд коллег не стоит).

НЛО прилетело и опубликовало эту надпись здесь

В точку! Предиктивная аналитика в ПО таких авто на то и существует. Однако (к сожалению), не всегда маневр или остановка, осуществленные беспилотным авто, приведут разрешению опасных ситуации на дороге, так как 50 (или более) процентов участия в происшествии - человек.
Утопическое будущее без краш-тестов на дорогах потенциально возможно с минимальным человеческим фактором (или вовсе без него). Автомобили общаются, знают маршруты друг друга, едут в пределах скорости, полосы и тд. Но тут риски внезапных "поломок и перебоев". Это другая история, другая "этика" и правовая ответственность (ну и другая моя статья, ахах).

Ну вот вы едете, а на вас сверху, например, обрушилась рекламная конструкция. Или у грузовика колесо лопнуло, и он выкатил на встречку давить машины, движущиеся в плотном потоке. Это реальные случаи, которые происходили лично у меня на глазах. А сам я два или три раза попадал в ДТП, неподвижно стоя на месте. Не все ситуации можно предвидеть.

Жуткие истории, к сожалению, имеющие место "быть" в наших реалиях и хвала небесам, что вас "уберегло" от подобного. Однако, в возникновении таких ситуаций нет человеческого фактора - это форс-мажоры/обстоятельства непреодолимой силы, которые возникали и будут возникать вне зависимости от количества беспилотных авто на дорогах.
НЕ все ситуации можно предвидеть, конечно же, однако, беспилотный транспорт точно снизит уровень агрессии и невнимательности на дорогах, что очень часто является причиной аварий.

Согласен и добавлю. В реальности, при экстренном торможении НИКТО НИКОГДА не проводит НИКАКОЙ моральной (или любой другой) оценки. т.е. ситуация даже не гипотетическая, а просто на "чистую" логику (т.е. в жизни не встречается).

за исключением ровно  тех случаев, когда нарушение ПДД необходимо для предотвращения столкновения

Из какой правовой нормы это следует? Если вы предотвращение столкновения считаете действием в состоянии крайней необходимости, то это, как мне представляется, довольно непросто будет доказать. Автомобиль заведомо рассчитан на столкновение тоже.

Подобный тезис, конечно же, не проистекает из правовых норм, так как закон не может предполагать его несоблюдение. Однако, прецеденты (хоть у нас и не прецедентная система права, все же суды вынося решения, основываются на действующей практике) диктуют тенденцию, когда при нарушение ПДД удается избежать общественно-опасного происшествия, не задействовав при этом 3их (4ых) лиц. Доказать будет непросто, однако, судя по прецедентам (опять они) и судебным решениям, которые можно найти в СПС "Консультант+", но возможно.

Тут проблема главным образом в том, что нарушение ПДД для предотвращения столкновения не является гарантией избежания общественной опасности. Запросто может так получиться, что вы столкновения избежите, а вместо этого каких-нибудь других людей собьёте. И вот в этом случае ваше положение крайне осложнится.

Короче, я б на месте программистов давил бабку строго по инструкции.

Безусловно, поэтому я и делаю ремарку про "без вовлечения третих лиц в ситуацию". Если опасная дорожная ситуация возникает по вине лица А, а беспилотник лицо Б, то вовлекать лицо В абсолютно несправедливо. И беспилотник может не вовлечь. А человек может.
Про "бабку" сложно, не соглашусь).

Нашел вашу статью после просмотра видео ниже.
Очень увлекательно, спасибо!

К сожалению, автопилот спокойно вовлекает третьих лиц в ДТП, чтобы уменьшить вероятность смертей. Но я не уверен правильно ли он поступил.

Например, выезд на встречку, если она свободна, а на вашу полосу кто-то выскочил.

Это грубейшее нарушение, но такое было в моей практике.

Ехал по трассе, никого не трогал. Двойная сплошная. По обочине ехал велосипедист в одном со мной направлении. Не знаю что ему в голову стукнуло, но он прямо передо мной выехал на мою полосу. Пришлось через двойную сплошную его обгонять. Затормозить я на скорости около сотни точно бы не успел. Хорошо встречка была свободна. Обочина узкая там, я бы по ней не объехал.

И в такой ситуации раздумывать о том как вы будете кому-то чего-то там доказывать просто нет времени.

И вариант "машина рассчитана на столкновения"... Ну да. Минус велосипедист и мне потом доказывать уже на суде пришлось бы, что я не виноват.

А вообще никогда и никто не предусмотрит всех возможных жизненных ситуаций в законах. Они бесконечны.

Человек-водитель, понятное дело, в критической ситуации не имеет возможности раздумывать над своей юридической позицией и реагирует инстинктивно. Но у программистов ИИ время на раздумья есть.

В вашем случае вам повезло, что на встречку не выехал никто другой, я чем вас от души и поздравляю. Но настоящий вопрос тут не в том, насколько вероятно такое везение, а в том, как быть, когда рано или поздно кому-то не повезёт, и за программистом в таком случае придут. С очевидным вопросом, почему его программа нарушила ПДД и этим убила человека на встречке.

Ещё добавлю, что интересы собственника беспилотного автомобиля не вполне соответствуют интересам производителя. За вред, нанесённый пешеходу источником повышенной опасности, платит именно собственник. А забота производителя - чтобы отсутствовала вина программиста, для чего необходимо и достаточно всегда соблюдать ПДД.

и подтвердить это в аттестованных лабораториях, которые разделят ответственность с производителем. Т.е. что программа действует строго по ПДД, это надо подтверждать.

Двойная сплошная. По обочине ехал велосипедист в одном со мной направлении... Пришлось через двойную сплошную его обгонять

Сорян, что то не сходится. Двойная сплошная обычно там, где не менее 2 полос в 1 направлении. Велосипедист должен занять 2 полосы, чтобы стало необходимо его так обгонять ;)

А на дороге с 1 полосой в каждом направлении будет просто сплошная. Ее тоже нельзя пересекать. Но опережать велосипедиста в таких условиях и с такой скоростью может быть опасно. Робот бы просто снизил скорость перед опережением.

Велосипедист свернувший с обочины на лево имеет положение считай что поперек дороги. И места занимает много. Ещё и движется по неизвестной траектории. Ну там просто рассуждать некогда. Надо по максимально отдаленной траектории его объехать. Тормозить за секунды нереально.

Возможно, я конечно, не такой опытный и хладнокровный водитель как следовало бы:)

С чего робот будет снижать скорость если велосипедист едет по обочине?

Если бы он ехал по проезжей части, то и не робот снизил бы.

Речь о том, что ситуация на дороге может измениться очень быстро. Вот он едет по обочине и рраз, он уже впереди тебя и не на обочине. И ни человек ни робот не предскажет, что там у него в голове и как он будет двигаться.

Иногда нарушение правил это единственный способ избежать аварии.

И вопрос в том, будет так робот делать или нет.

да, правильно снизить скорость движения. велосипедиста @shiotinyзаметил только за 50 метров? то что все едут разрешенная скорость и как минимум +18-19 нештрафуемых это де факто. а то что в случае ДТП это становится отягчяющим обстоятельством - это всем пофиг.

со своего опыта, впервые, тогда при 18.5 летнем стаже, в ноябре 19 года попал в ДТП. так ГИБДД проверяло и шины у всех, и расчитывало по тормозному пути и дистанции между машинами и скорости движения. всех спрашивали про видеорегистраторы, удивительно у всех троих его не было.
благо что всё было по правилам. просто пешеход рванул через дорогу на регулируемом пешеходном, но на свой красный, в итоге 3 машины в сыграли в паровозик, но совсем почти без последствий. скорость была меньше 40 км/ч (поток в городе, начавший останавливаться) и дистанции в норме. просто дальше первой машины пешехода не было видно, тонировка переднего джипака была "хорошей".

В таких моральных дилеммах обычно условие рассказывают не до конца, получается сферическая лошадь в вакууме. Надо так: едет беспилотная машина, вдруг внезапно на дорогу выбегает человек (ребёнок, два нобелевских лауреата, старушка). Варианты выбора: ехать по ПДД и сбивать или вырулить на встречку, вероятно, кому-то в лоб. В первом случае это суд, и скорее всего оправдают, ибо по ПДД. Во втором — многомиллионный иск за травмы, потому что виноват, нарушил правила.

Вот, дилемма.

С вагонеткой то же самое, действовать по инструкции или сесть за убийство? Даже не знаю, тут надо подумать.

Дилемма, которую люди будут решать по-разному. Так зачем аутсорсить эти решения и перекладывать ответственность на автомобиль, если не каждый человек сможет принять "наименее вредное" решение.
+ опять же, может быть так, что выезд на встречку в этой ситуации НЕ повлечет аварии, но ПДД нарушатся. Здесь нарушение ПДД - благо. Вот в чем мой посыл.

На практике вы обычно ни при каком уровне искусства программирования не сможете достоверно предвидеть, повлечёт ваше нарушение аварию или не повлечёт. Если вас не две машины посреди голой степи, то вокруг могут быть незаметные вам участники дорожного движения.

Дороги построены так, чтобы обеспечить обзор в лучшем случае при соблюдении всеми участниками ПДД.

Эта ситуация поменяется только тогда, когда в сети в реальном времени будет доступна модель движения, а все люди и животные будут ходить с имплантированными маячками.

В реальном времени возможна и уже возможна модель движения беспилотных авто, конечно же. Безусловно, абсолютизма ни в каком вопросе не достичь (только стихи все возводят в абсолют, как говорится), но сильно повысить уровень безопасности за счет эксплуатации беспилотных машин - вполне реально. Внедряя что-то новое мы должны понимать, что идем на риск. Особенно мы идем на риск, когда на дорогу выезжают новички или люди с заболеваниями (им может стать плохо в дороге, что повлечет общественно-опасные последствия).

нет - нарушение ПДД - это уже вредное решение. его формируют в рамках принятых стандартов ООН (не помню исходный рамочный стандарт, на базе которого принимаются ПДД), почему в большинстве стран они единообразные. и смена траектории движения без заблаговременного уведомления других участников движения (сигналы поворота зачем на машинах?) - это уже нарушение, могущее повлечь создание ДТП.

Варианты выбора: ехать по ПДД и сбивать или вырулить на встречку, вероятно, кому-то в лоб. В первом случае это суд, и скорее всего оправдают, ибо по ПДД. Во втором — многомиллионный иск за травмы, потому что виноват, нарушил правила.

"Маленькое" дополнение - то, что оправдают за нарушение ПДД, не спасёт владельца транспортного средства от гражданского иска со стороны пешехода. С интересной моральной стороной вопроса
- если пешеход выживет, то владельцу ТС придётся оплачивать лечение, даже если виноват пешеход,

-а если не выживет, то на практике водитель нередко получает не очень большой срок "по неосторожности", и это может ему обойтись дешевле лечения сбитого пешехода,
- А если пешеход не виноват, и сбил "робот", то непонятно, кто будет сидеть, т.к. робот не может быть "виноват" в принципе?

Еще интересный момент - робот может предпочесть ДТП на встречке, если оно по его оценке не приведёт к смертельному исходу, а сбитие пешехода - приведёт. Человек же может повести себя по-разному в зависимости от подготовленности к такой ситуации (в т.ч. сбивать пешехода, т.к. это обойдётся дешевле ремонта очень дорогой машины на встречке, хоть во втором случае никто и не пострадает, ну или по крайней мере не погибнет).

Кроме того, закон допускает возможность нарушения ПДД ради "более важной" цели ("Не является административным правонарушением причинение лицом вреда охраняемым законом интересам в состоянии крайней необходимости, то есть для устранения опасности, непосредственно угрожающей личности и правам данного лица или других лиц, а также охраняемым законом интересам общества или государства, если эта опасность не могла быть устранена иными средствами и если причиненный вред является менее значительным, чем предотвращенный вред"), и вот как это будет учитывать робот - тоже ХЗ.

И наконец... "При возникновении опасности для движения, которую водитель в состоянии обнаружить, он должен принять возможные меры к снижению скорости вплоть до остановки транспортного средства.". Что при буквальном исполнении со стороны робота может означать, что машина будет плестить при наличии на тротуаре человека - "а вдруг он рванёт на проезжую часть а я не успею остановиться?" (а то и у каждого дерева на тротуаре притормаживать - вдруг за ним прячется человек, собирающийся выбежать на дорогу?). Что с одной стороны будет означать, что исходная ситуация "вдруг на дорогу выбежал человек и приходится или его сбивать, или выезжать на встречку" станет почти невозможной...

Но с другой - средняя скорость движения по городу упадёт настолько, что люди могут предпочесть не пользоваться "роботом" и ездить по старинке.

Есть еще такой мысленный эксперимент (обостряем проблему). Вы врач и у вас в палате лежат 5 смертельно больных людей, которые точно умрут если им не пересадить органы. Одному срочно нужно сердце, другому печень и т.п. В то же время, в приемной у вас сидит совершенно здоровый человек, который просто пришел на регулярный медосмотр. Ваши действия?

Вас случайно Мать из “Дитя робота” не собеседовала?

Не знаю такую. Эту задачу я услышал на лекции о морали одного американского психолога.

Я бы не трогал бы ничего.

Тест не пройден?

Пройден тест на вступление в международные организации, члены которых предпочитают воздерживаться!) Успех!))

Вообще фигня вопрос. Здоровый человек не подписывался идти на запчасти тем, кто не заботился о своих сердце и печени.

И ещё доктору Менгеле надо для начала доказать, что с каких-то позиций 5 человек лучше, чем 1, хотя мир перенаселён. Тем более 5 больных и 1 здоровый.

Настоящий доктор Менгеле такой моральной дилеммы не имел, он пускал в расход тех, кого исходно полагал недолюдьми.

Здоровый человек не подписывался идти на запчасти тем, кто не заботился о своих сердце и печени.

Ну здесь тоже нужно еще доказать что они не заботились. Есть в конце концов несчастные случаи, врожденные заболевания.

И ещё доктору Менгеле надо для начала доказать, что с каких-то позиций 5 человек лучше, чем 1, хотя мир перенаселён.

Если "мир перенаселен" тогда задача упрощается, не так ли? Меньше людей - меньше проблем.

Тем более 5 больных и 1 здоровый.

Больные могли бы стать здоровыми после операции.

PS: я НЕ за то чтобы пустить здорового невинового человека на органы. Просто вы стали довольно лихо делать разные допущения, после которых решение стало выглядеть простым.

Так решение в данной ситуации простое, с какой стороны ни посмотри. Надо натянуть на глобус целую стаю сов, чтобы морально обосновать трансплантацию.

Сам пример - уже натягивание совы. Например, почему это вдруг здоровый человек приходит на медосмотр в хирургическое отделение. И почему один врач занимается разными органами, ведь для этого есть разные специализации. Поэтому одной совой больше, одной меньше - какая разница?

Например, 5 человек - это ученые, которые вот-вот могут изобрести эликсир жизни, варп-двигатель и прочие няшки. А здоровый человек добровольно пришел, чтобы пожертвовать своей жизнью ради них.

Если он затем и пришёл, тогда и проблемы нет.

Предположим, что он сомневается. Следует ли врачу уговаривать его пожертвовать собой? Ради эликсира жизни, варп-движка и т.п.

Это выходит за рамки должностных обязанностей и профессиональной этики врача. Следует предложить подписать информированное согласие.

Так я как раз и говорю про ситуацию когда врач предложил, а человек сомневается. Предположим он пришел на осмотр, внезапно узнал, что своей жизнью может спасти несколько супер-пупер ученых, и в принципе согласен, но никак не может решиться окончательно.

Моральный выбор пациента, особенно связанный с жизненно важными последствиями для него - вообще не дело врача. Не решился - значит не решился.

Да ну? Точно, нет? И можно разобрать живого добровольного донора?

Моральной проблемы нет, человек безусловно вправе пожертвовать жизнью ради других. А юридически вопрос отдельный.

Моральная проблема общества - принять жертву. Например, эксперимент по заражению ковидом добровольцев согласовывали год, к тому времени от него уже не было столько пользы.

А виноватого? Вот в палате у вас дежит преступник и его жертва. У одного поражено сердце, у другого печень. Биосовместимость полная. Ваши действия?

Хороший вопрос, не знаю. С одной стороны, врач - это не судья. С другой стороны, люди постоянно выносят друг другу приговоры, начиная от экзаменов и увольнений и заканчивая стоимостью лечения. Возможно и пересадил бы здоровый орган от преступника к жертве. Делать ведь что-то надо, иначе оба умрут.

А при этом преступник - молодой человек, который отсидит своё и будет приносить пользу обществу. А жертва - слабоумный старик.

Вот поэтому я и ответил, что не знаю. И что "возможно" пересажу орган от преступника. Потому что всякое может быть. Например, этот молодой человек может быть серийным убийцей, а старик - это его 30-я жертва. В этом случае, я бы взял на себя роль судьи. Особенно, если бы я точно знал, что этот "молодой человек" избежит правосудия.

Например, этот молодой человек может быть серийным убийцей, а старик - это его 30-я жертва. В этом случае, я бы взял на себя роль судьи. Особенно, если бы я точно знал, что этот "молодой человек" избежит правосудия.

А потом окажется, что это была ошибка, и преступником окажется спасённый...

Ну там пересмотр дела по вновь открывшимся обстоятельствам, проведение экспертиз по новым методикам, которые ранее не были доступны.

А потом окажется, что это была ошибка, и преступником окажется спасённый...

А потом окажется, что это тоже было ошибкой и преступник все-таки был преступником. Причем не просто серийным убийцей, а террористом, который хотел взорвать весь город.
Предлагаю каким-то образом выходить из этого цикла на новый уровень.

Угу, вообще не входить в этот цикл и не брать на себя роль судьи, например.

Очень смелое заявление. На мой взгляд, это невозможно в принципе. Человек, который живет в обществе связан огромным числом социальных связей. И является судьей, хочет он этого или нет. Просто обычно последствия наших суждений об окружающих не носят фатальный характер.

И как тогда быть с правоохранительной системой? Они ведь этим как раз и занимаются - судят подозреваемых и пытаются оградить нормальных людей от всяких отморозков. Я сейчас не про какую-то конкретную правоохранительную систему, а вообще, про идеальную систему, какой она должна быть. Потому что, если нормальные люди не возьмут на себя роль судьи, тогда "судьями" будут преступники. Они точно не будут париться моральными спекуляциями.

Как тогда, на Ваш взгляд, должно быть устроено общество?

Предупреждая вопрос о критериях "нормальности". Ничего особенного в этом термине. Нормальный в моем понимании - это тот кого большинство людей считает нормальным (адекватным). Например, вы приехали в гостиницу и у вас 2 варианта, поселиться соседом в комнату к человеку, которого большинство окружающих вас людей называют "нормальным" или поселиться соседом к тому, кого большинство называют "ненормальным". Возможно, что этот "ненормальный" - гениальный физик и философ вы с ним прекрасно проведете время. Однако, захотите ли вы рисковать своей жизнью или даже имуществом?

И как тогда быть с правоохранительной системой? Они ведь этим как раз и занимаются - судят подозреваемых и пытаются оградить нормальных людей от всяких отморозков.

"Вообще" или в конкретном примере?..

"Вообще" плохо им, мало того, что и так на 100% избежать ошибок не получится, так еще и KPI у них из разряда "хоть сам совершай преступления ради выполнения плана по ним".

В конкретном примере - вы на месте врача проявляете инициативу, беря на себя роль судьи.

Я согласен с вами, что врачу брать роль судьи - это плохо. И правохранительная система по вашим же словам, имеет множество недостатков.

Однако, я не знаю других способов наказать преступника и защитить адекватных людей. Кроме как правоохранительная система и самосуд. Например, этот врач мог "казнить" судью, который за взятки защищает наркоторговцев. А у врача, например, погиб ребенок от передоза.

Скажите пожалуйста, как должно быть устроено человеческое общество, в котором врачу не придется играть роль судьи, а правоохранители будут ловить только преступников? Это не сакрказм, мне действительно очень важно услышать ответ на этот вопрос, пожалуйста.

> Однако, я не знаю других способов наказать преступника и защитить адекватных людей. Кроме как правоохранительная система и самосуд.

Best effort, да.
Но всегда стоит помнить, что ошибки возможны, и где-то сидит невиновный, и где-то гуляет виновный.

Спасибо. Я понял ваш ответ следующим образом "Я тоже не знаю, нужно просто стараться". Поправьте если ошибся.

В таком случае, возвращаясь к частному случаю с врачом и пациентом - серийным убийцей, я убеждаюсь что был прав, вырезав у него орган и пересадив жерве. Действительно, риск ошибки есть, но в некоторых случаях он не настолько велик, чтобы рисковать последствиями бездействия.

Проблема не столько в возможной ошибке. Люди ошибались и будут ошибаться. Проблема в том, что наделяя кого-то властью отбирать жизнь мы рискуем получить злоупотребления. А еще проблема в том, что людям иногда не хватает разума, сил, ресурсов, а иногда просто не хватает времени. Для того чтобы быть способными сделать правильный выбор или вообще не доводить до критической ситуации.

Вывод: нужно быть сильным и добрым - этот мой ответ на проблему, которую ставят подобные этические парадоксы. Сильным в широком смысле слова, значит умным, здоровым, сильным и далее по списку. В общем, способным на многое. Например, придумать способ спасти сразу двух пациентов, где другим кажется, что можно спасти только одного. Добрым - чтобы делать правильный выбор, когда все-таки приходится принималь тяжелые решения. Сам я далек от идеала, однако рад что у меня есть такой моральный ориентир.

В таком случае, возвращаясь к частному случаю с врачом и пациентом - серийным убийцей, я убеждаюсь что был прав, вырезав у него орган и пересадив жерве. 

То есть у вас, хоть вы и врач, достаточно квалификации, чтобы изучить материалы дела, понять, а нет ли вот уже прямо сейчас оснований полагать, что имела место ошибка, опросить свидетелей, перепровести экспертизы, и решить - что исходя из имеющейся информации шансов на ошибку нет?

Напоминаю, неустранимые сомнения в виновности лица толкуются в пользу обвиняемого.

Вы трактуете ситуацию с юридической точки зрения. Я трактую с этической. В этом суть наших разногласий.

С юридической точки зрения врачу нужно обложиться бумажками, которые регламентируют его деятельность, начиная от конституции государства, дипломов, сертификатов, протоколов лечения и заканчивая результатами анализов. Даже клятва Гиппократа пролетает мимо, поскольку не имеет юридической силы. И с юридической точки зрения данной проблемы (как поступать с пациентом, если он преступник) вообще не существует.

К чему это я? А к тому, что юридическая сторона дела, на мой взгляд, не является предметом дискуссии.

Проблема вагонетки, врача, преступника - это чисто этическая проблема. И вот как раз этические проблемы возникают перед любым человеком, независимо от профессии. Человек - существо достаточно здравомыслящее, чтобы адекватно судить про многие вещи. Например, если в здании образовалась большая трещина, то не нужно быть инженером, чтобы понять, что данном здании опасно жить. А если на твоих глазах произошло преступление, то не нужно быть юристом, чтобы понять кто является преступником. И уже исходя из этого и своих внутренних убеждений принимать те или иные решения.

Если совсем коротко - этическая проблема, это задача о том, как должен поступать идеальный человек, но не с точки зрения закона, а с точки зрения морали.

Вот вам еще один пример, чтобы было проще понять что я имею в виду. Вы врач сферического диктатора в вакууме. Ваш пациент парализован и полностью зависит вас. Он только что заявил, что собирается нанести превентивный (т.е. не ответный удар, а ударить первым) массированный ядерный удар по другому государству. Но для этого ему нужна ваша помощь - укол лекарства, чтобы он смог дотянуться до пульта и нажать кнопку. У вас есть 2 ампулы - с лекарством и с ядом.

Убедительно прошу не принимать данный пример к какой-либо конкретной реальной ситуации. Просто постарайтесь оценить то, насколько ничтожными могут быть юридические последствия поступка врача по сравнению с моральными последствиями. Например, после ядерной войны вся юриспруденция вообще перестанет существовать.

Извиняюсь, уточнение в постановке задачи.

Если врач дает своему пациенту (диктатору) правильное лекарство, то он пациент выживает и начинает ядерную войну. По крайней мере пациент так заявляет. А врач, исходя из своей картины происходящего, видит, что пациент имеет такую возможность. Если врач не дает лекарство, то пациент умирает.

Важный момент - врач может ошибаться в оценке ситуации и отдает себе в этом отчет. Например, пациент просто так шутит. Или врачу кажется, что пациент имеет такую возможность, но на самом деле такой возможности нет (ракеты все погнили).

И так, на всякий случай: пациент имеет юридическое право начать ядерную войну (изменения в конституции, поддержка парламента, юридическая экспертиза, сами назовите что еще).

Вы трактуете ситуацию с юридической точки зрения. Я трактую с этической.

С этической точки зрения вы вообще не можете быть уверены, что тот, кого вы идентифицировали как "преступник", на самом деле преступник, и убивая невиновного вы сами становитесь преступником.

В примере с диктатором речь идёт о выходе за пределы необходимой обороны либо выходе за пределы крайней необходимости. Если не вышли - то убийство не является преступлением, если вышли - вы совершили преступление.

С этической точки зрения вы вообще не можете быть уверены, что тот, кого вы идентифицировали как "преступник"

Согласен. И это существенно усложняет моральный выбор.

В примере с диктатором речь идёт о выходе за пределы необходимой обороны либо выходе за пределы крайней необходимости. 

Т.е., я правильно понимаю, что вы считаете в данной ситуации правильным для врача ничего не делать? Что нужно делать врачу?

Т.е., я правильно понимаю, что вы считаете в данной ситуации правильным для врача ничего не делать? Что нужно делать врачу?

ст.39 УК РФ: Не является преступлением причинение вреда охраняемым уголовным законом интересам в состоянии крайней необходимости, то есть для устранения опасности, непосредственно угрожающей личности и правам данного лица или иных лиц, охраняемым законом интересам общества или государства, если эта опасность не могла быть устранена иными средствами и при этом не было допущено превышения пределов крайней необходимости.

Вписываться в это условие...

Спасибо. Похоже вы весьма юридически подкованы. А законодатели довольно предусмотрительны.

По этой логике, врач имеет законное право отравить диктатора даже врач отдает себе отчет что есть всего лишь вероятность ядерной войны. И врач видит, что устранить эту вероятность можно только убив человека. Потому что в данном случае "вероятность" и "опасность" вполне уместно будет трактовать равнозначными.

Осталось решить этическую часть проблемы. Следует ли врачу убивать убивать человека, который с некоторой вероятностью не виновен, чтобы спасти несколько миллиардов людей.

И не только врач... Но вот только не "просто" вероятность.

Потому что надо доказать:
- реальность опасности,
- невозможность её устранения иными средствами.

В противном случае "ой". Более того, это почти всегда "ой". Так что переходим к варианту "необходимая оборона" (почему-то народ её "самообороной" называет, но это неверно):

УК РФ Ст.37: 1. Не является преступлением причинение вреда посягающему лицу в состоянии необходимой обороны, то есть при защите личности и прав обороняющегося или других лиц, охраняемых законом интересов общества или государства от общественно опасного посягательства, если это посягательство было сопряжено с насилием, опасным для жизни обороняющегося или другого лица, либо с непосредственной угрозой применения такого насилия.

2.1. Не являются превышением пределов необходимой обороны действия обороняющегося лица, если это лицо вследствие неожиданности посягательства не могло объективно оценить степень и характер опасности нападения.

3.Положения настоящей статьи в равной мере распространяются на всех лиц независимо от их профессиональной или иной специальной подготовки и служебного положения, а также независимо от возможности избежать общественно опасного посягательства или обратиться за помощью к другим лицам или органам власти.

Вписывайтесь хотя бы в это условие...

Для вас "ой" - это нарушение закона. Для меня "ой" - это миллиарды погибших. Да я 1,000,000 раз нарушу закон чтобы спасти людей. Лично для меня сидеть всю жизнь в тюрьме и знать что я спас человечество неизмеримо лучше, чем жить со всеми благами мира и знать что из-за меня человечество погибло.

Я согласился бы что нужно быть юридические точным когда речь идет о мелкой аварии на парковке. Но здесь ... на мой взгляд, сначала нужно думать о миллиардах жизней, а потом как это будет выглядеть с юридической точки зрения.

Более того, я считаю такой подход (когда в первую очередь думают о юридических последствиях) контрпродуктивным в данной конкретной ситуации, потому что пока врач будет тратить время на юридически выверенные действия, диктатор будет иметь возможность 10 раз нажать кнопку.

Хотя ... давайте попробуем по-вашему. Врач видит что человечество в опасности, имеет возможность устранить диктатора, но не делает это, потому что понимает, что не сможет доказать обоснованность своих действий в суде. Диктатор нажимает кнопку, миллиарды умирают. Та-да! Торжество закона!

Для вас "ой" - это нарушение закона. Для меня "ой" - это миллиарды погибших. Да я 1,000,000 раз нарушу закон чтобы спасти людей. Лично для меня сидеть всю жизнь в тюрьме и знать что я спас человечество неизмеримо лучше, чем жить со всеми благами мира и знать что из-за меня человечество погибло.

Или не спасли, т.к. убили не того. Или просто убили непричастного, т.к. "кнопки" у него никогда и не было.

Ну и в вырожденном случае вашей логики - если убить всех человеков, то никакой человек больше не сможет никого убить, а потому это благо для человечества.

И да, всех мужчин надо посадить за изнасилование, т.к. у них имеется "орудие преступления", а значит - потенциально могут кого-то изнасиловать.

А женщин - посадить за "насильственные действия сексуального характера", т.к. "орудия" они не имеют, но возможность совершить указанные действия - имеют.

Я понял вашу мысль. Если встать на эти рельсы - а именно самосуд, без 100% оснований, то непонятно где остановиться. Допустим ради человечества, можно рискнуть и убить человека, который с 50% невиновен. А ради 1 миллиона? А ради 100? 10? 2? 1?

Или не спасли, т.к. убили не того. Или просто убили непричастного, т.к. "кнопки" у него никогда и не было.

Однако, в примере с диктатором, который конечно же притянут за уши, но здесь здравый смысл подсказывает, что нельзя рисковать человечеством. Просто максимально уменьшить риск гибели человечества. И здесь сложно представить себе слишком высокую цену.

С чем я еще согласен с вами, так это с тем, что нужно также максимально повышать наши знания о реальном положении дел и о реальных рисках. Чтобы не получалось, что убит невиновный. А это и означает быть сильным, о чем я выше писал.

С чем я еще согласен с вами, так это с тем, что нужно также максимально повышать наши знания о реальном положении дел и о реальных рисках. Чтобы не получалось, что убит невиновный. А это и означает быть сильным, о чем я выше писал.

Finis sanctificat media. Caedite eos.  Novit enim Dominus qui sunt eius. Да?

Да?

Нет.

Я в принципе против того, чтобы люди умирали. Жертве все равно от чего она умрет - от злой воли или от несчастного случая. И является смерть справедливой или нет - это тоже не самое главное. Потому что понимание справедливости у разных людей разное. Это даже в законах отражено. Например, по международному законодательству человек может быть преступником, а по локальному - законопослушным гражданином.

Мне кажется что мой тезис о том, что нужно быть сильным вы несколько неправильно поняли. Поскольку я говорил это давно, напомню выводы, которые я делал ранее: Быть сильным и быть добрым. Потому что делать зло способны и сильные и слабые. Нажать курок много сил не надо. А вот делать добро способны только сильные.

Но этот решение приводит нас к другой проблеме. Если сильный будет слишком заботиться о слабых, слабые начнут воспринимать это как должное и просто перестанут делать какие-либо усилия по развитию и помощи. На эту проблему у меня пока что нет решения.

Нажать курок много сил не надо.

Нажимают на спуск (спусковой крючок, спусковую скобу...). А курок взводят и спускают.

А вот делать добро способны только сильные.

Но оно и добро - не настолько универсально-абсолютное понятие у человеков... Вплоть до размышлений от относительности добра и зла.

Но оно и добро - не настолько универсально-абсолютное понятие у человеков... Вплоть до размышлений от относительности добра и зла.

По поводу относительности добра и зла. Я тоже об этом размышлял. Делать человеку хорошо - вроде бы хорошо. Но этим человека можно испортить, избаловать. Это самый простой пример, как добро может превратиться в зло.

Вместе с тем, если человек сильный (здесь и далее, когда я говорю сильный, то имею в силу в широком смысле: сильный, умный, здоровый, богатый, т.е., обладающий большими реальными возможностями), то значительно меньше шансов, что он избалует свого протеже. В своем понимании добра сильный человек пойдет дальше и будет помогать своему другу (сыну, ученику) стать самому более сильным. Чтобы не погибнуть, столкнувшись с реальностью.

И здесь, пожалуй можно сделать утверждение, что становиться сильнее - это абслютное добро. Помогать другим стать сильнее - это делать абсолютное добро.

Причем, чем сильнее человек, тем дальше он видит последствия своих поступков. И если сильный и добрый человек будет видеть, что помогая кому-то стать сильнее он выращивает страшного тирана, который, получив силу начнет отбирать последнее у слабых, (т.е. делать слабых еще слабее) то он не будет помогать такому потенциально опасному ученику.

И аналогично, но с обратным знаком, относительно слабости и зла. Если человек слабый - то никому ничего хорошего он не сможет сделать. С какой точки зрения мы бы на это не смотрели.

Но это все в идеале. Поэтому я и написал про абсолютное добро и зло. В реальности сильные не всегда добры, а если и добры то к "своим".

Благо хоть здесь нет автомобиля!) А трансформация проблемы вагонетки вот в такие задачки - это больше про школьную программу обществознания или для курсовых работ студентов философского факультета.

Врачи действуют по принципу "не навреди". Раз абсолютно здоровому будет нанесен вред, то нет, так нельзя. А вот если есть пять смертельно больных, а помочь можно только скажем, двум, то выбирают тех, у кого шансы выжить максимальны, остальные - увы. Во всяком случае, военные хирурги, говорят, обязаны поступать именно так. У них в этом плане все цинично

НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь

Много проблем и нюансов из-за которых всё это слишком туманно. В России, на пример, при аварии между авто и пешеходом - водитель всегда виноват, а значит (в теории) автопилот будет всегда виноват. Ну или другая ситуация: На водителя вылетает встречный грузовик и выбора два - либо врезаться мордами и финиш, либо свернуть на тротуар, выжить, но сбить несколько пешеходов с вероятным для них летальным исходом. Большая часть водителей собьёт пешеходов и выживет, а автопилот должен будет убить водителя...

Ага, сценариев, которые можно предположить, вероятно сотни тысяч, этими и занимаются коллеги из "Моральной машины". Когда настоящие разработчики, которые "работают руками" и законодатель, который придумывает механизмы эксплуатации беспилотных авто, вынужден работать с тем, что есть. И ставить такие дилеммы перед реальным бизнесом - странно и нелогично.
Неразумно пренебрегать повышением уровня безопасности при использовании беспилотного авто, снижением костов и т.д., а также развитием этого направления с учетом создания диспетчесрких центров, осуществляющих мониторинг беспилотного движения и т.д., пока мы не решим проблему вагонетки и тысячи ее интерпретаций.
(имхо).

Да, увы, автономная машина без ручного управления вас убьет в этом случае. Как убьет вас лифт в случае пожара на 1 этаже здания (лифты при пожаре едут на 1 этаж и открывают двери не реагируя на кнопки).

Но предположительно, спасет чаще. Общественный договор.

В РФ правила просты: применить торможение вплоть до полной остановки ТС. Если сманеврировал - выехал из полосы, это в правилах не прописано, в случае наступления негативных последствий от непредусмотренного ПДД манёвра - по закону сам виноват. Думайте мол сами...

Во-первых, благодарю за то, что развернуто осветили тему, было занимательно изучить деятельность moral machine, но не совсем понятен уровень образованности и осознанности оценивающих, ведь это точно может характеризовать и уровень развития моральных ценностей.

А вторая мысль, которая пришла в голову после прочтения скорее о том, что все же стоит задуматься над тем, чтобы отдельную ветку в законодательстве создать в целом для AI и для автономного транспорта в частности.

Благодарю! Моральная машина на то и "машина", что фокус-группы максимально диверсифицированы: от континентов, полов и возрастов до социального статуса и заработка. З это тест тоже подвержен шквалу критики: мы хотим единые сценарии поведения на дорогах, а их сложно достичь, как минимум-из за разницы культурного бэкграунда.
Про законодательство - абсолютно согласна. Планирую поделиться с вами своими рассуждениями и на этот счет (не про законы робототехники, нет). Но тормозить прогресс и тесты АI от того, что мы решили оценить жизни людей - контрпродуктивно.

Очевидно что есть ПДД, которые нужно соблюдать. И если принять что техника исправна (т.е. мы исключаем фактор неисправной техники - он всегда был, и задолго до ИИ, к примеру отказали тормоза), то получается, что автопилоту точно известны места и условия, где к примеру пешеходы могут переходить дорогу, и где не могут. Поэтому если так сложилось, что пешеход выскочил ночью из леса на проезжую часть, где нет переходов и светофоров, и автопилот уже не может безопасно затормозить или изменить траекторию, то такой пешеход будет сам виноват, если его задавят. Будь он хоть трижды лауреат Нобелевской премии с тридцатью тремя детьми.

При условии стопроцентного соблюдения правил всеми участниками, и при условии исправной техники, аварии полностью исключены. Поэтому, при условии исправной техники, в любой аварии всегда виноват конкретный человек. Именно это и должно быть критерием в "проблеме вагонетки".

Согласна, руководствоваться принципом "всегда соблюдайте закон" - единственное верное решение. Поэтому автоматизация транспорта выведет безопасность на новый уровень (если в условиях задачи не было и не будет обстоятельств непреодолимой силы). Общественный договор в парадигме "доехать до места назначения не причиняя неудобства другим участникам движения" приемлем и возможен для беспилотного авто на все 100%.

Я вот рассуждаю в таком ключе. Робот не умеет предсказывать возможное будущее в отличие от человека - к примеру ребенок бежит по обочине (значит есть возможность что сейчас начнет перебегать дорогу), или велосипедист где-то там перпендикулярно по тротуару едет, будь готов что он дурак и выскочит на дорогу. Это принцип "думай за других". Хотя у робота так-то реакция может быть в десять раз лучше человеческой, но физические законы для всех одни.

В связи с этим, задача нерешаемая обычными способами. Никакие нейросети тут не помогут, бывает и люди давят пешеходов. Не потому что хотят этого, а потому что так случается. А вот законодательно...именно тут стоит вспомнить практику, которая распространена на ЖД. В России уж точно. Если кто-то выбежал, выехал на пути, машинист обязан сделать определенные действия, а затем только наблюдать. Никакая мыслимая сила не способна мгновенно остановить несущийся ЖД состав. И он задавит, снесет автобус сколько бы там лауреатов Нобелевки не находилось, и машинисту за это в уголовном плане ничего не будет, главное выполнить регламент. Инерция поезда велика настолько, что в случае экстренных ситуаций на путях ничего поделать нельзя вот вообще. Поезд не может свернуть на полметра вправо. Это неизбежный рок для тех, кто оказался у него на пути.

Теперь если перенести это на беспилотные авто, возникает вопрос - авто же умеет поворачивать? Умеет, но по аналогии с поездом следует допускать что нет, не умеет. Оно едет в своей полосе с установленной скоростью, не поезд, но тонна а то и две металла мгновенно не остановятся никогда. Поэтому слишком поздно обнаружив перебегающего дорогу + в неположенном месте - только давить. В случае с обычными водителями, сбившими пешеходов, проводится экспертиза тормозного пути. И если водитель утверждает, что не видел пешехода до определенного момента, учитывается тормозной путь, видимость. Если он сбивает его на своей полной (но разрешенной на этом участке дороги) скорости, а тормозной путь начинается через определенное расстояние (время реакции человека), тогда в этом случае водителя оправдывают. Пдд прямо предписывают при возникновении спорной ситуации не менять курс. Так же следует поступать и с беспилотными автомобилями.

Для пешеходов беспилотники можно оборудовать каким-то спецсигналом. Мигалка, цветные фильтры в фарах, чтобы побаивались - робот едет, едет по правилам, будешь дураком - полетишь на тот свет. Без исключений. Считай как поезд, не лезь на рельсы.

Робот умеет предсказывать возможное будущее в контексте, что его можно настроить предполагать, что каждый пешеход выбежит/упадет на дорогу (тогда он будет двигаться со скоростью медленнее, чем обычно, чем будет явно мешать). Принцип "думай за других" работает и у опытных водителей, однако, у водителей нет камеры на 360, когда у автономного авто есть и он видит больше, чем человек.
Про поезд: то все таки рельсы, а не дорога общего пользования и правила "нахождения" на них другие, нежели чем на обычной проезжей части.
А "только давить" это сурово и утилитарно. Мало ли, что произошло - человек поскользнулся и сам того явно не желая, упал на дорогу (увы, так бывает) и здесь, если встает выбор: стукнуть машину (и никто не пострадает) или передавить человека (и испачкать шины), как водителю, так и алгоритму беспилотного авто, лучше выбрать первый вариант. Меньше жертв и разбираться будет страховая (грубо говоря).
ПДД приписывает, а суды выносят решения, когда оправдывают водителей, совершивших маневр.
А для "непослушных" пешеходов (да и водителей), если и оборудовать беспилотные авто сигналом или ультрасветом, то от попадание под колеса обычных водителей это все равно не спасает.

Если предполагать возможность нарушения правил всеми окружающими и минимизировать последствия этого, это просто парализует дорожное движение.

Парализует это только в случае злоупотребления полномочиями. Но перед проездом депутатов все расписания электричек блокируются, это парализует ЖД сеть, но никто ж не жужжит?

Я говорю о том, что если все будут, например, выдерживать интервал и скорость движения, достаточные для того, чтобы безопасно затормозить своим тормозом в том случае, когда едущий впереди автомобиль мгновенно останавливается путём внезапного впечатывания в столб ограждения (пример из жизни), то город встанет в мёртвой пробке;

В пробке не встанет, но будет меееедленно тянуться. Что тоже равнозначно пробке.

Я просто предложил пересмотреть текущие ПДД, в частности беспилотных авто. А то и обычных. Ну вот человек подскользнулся, упал под колеса. Это его вина? Нет. Это вина водителя? Тоже нет. Почему человек упал, может ему плохо стало, это вина вообще чья? Человек может словить инсульт, упасть удариться об дерево, это вина того, кто дерево посадил?

Я про то, что следует разграничивать случаи.У нас же всю вину вешают на водителя. Вот с этого надо начинать, а не с робоводителя. Если по людям такой кривой закон, с чего он будет работать с роботами, которые ездят строго по правилам? А у нас пешеходы же вообще правил не знают или им на них наплевать, что подтверждается и моим опытом за рулем и моим опытом пешком. Поэтому я и предложил как на поезде - пока для беспилотников. Это поезд и он тебя задавит. Все знаки, переходы я думаю по умолчанию заложены должны быть, а также логироваться каждое движение, в том числе показания светофоров и временных знаков (это пожалуй самая сложная часть технически). Перед переходом робот должен снизить скорость до той, чтобы можно было гарантированно затормозить (тут какие то константы вычисленные на основе худшего варианта). Робот в отличие от человека не может предсказать бегущего дурака в сторону пешеходника, а значит и не надо эту задачу возлагать на него. Робот должен соблюдать правила, а Вангой работать не обязан. То, что дураков-пешеходов, да и водятлов развелось - это не проблема роботов. Ставьте мигалки, фонари, как то выделяйте из потока роботов. Это не спецсигналы, имеющие преимущества, ну мало ли у нас сейчас методов сделать машину заметной издалека? И он будет "поезд", едущий СТРОЖАЙШЕ по правилам, направление его движения определяет программа, и все вплоть до метра логируется. Если ты бабка на самокате поперек дороги за долю секунды - извини. Вина именно твоя. У нас пешеходов нет практики наказывать, а должна быть. Вот на ЖД пешеходов неудачников тоже никто не наказывает, кстати. Они сами выбрали этот путь)

Не уверена, что это истина. Изначально ведь закладываются подобные нормы, для транспортного движения.

Точно также, как и предположение о том, что у 70% водителей в процессе движения будет какой-то приступ (сердечный, дыхательный) это также парализует дорожное движение. Только правила люди нарушают чаще, чем у людей случаются приступы.

Ой не всегда оправдывают. ПДД к примеру, обязывают выбрать безопасную скорость. Не максимально разрешенную, а безопасную. Если случилось столкновение - скорость не была безопасной.

А тем временем на ЖД подают в суд даже за сбитого лося и выигрывают за него деньги... и пофиг, что поезд не способен остановиться ни перед кем, средство повышенной опасности...

Мне видится какой-то пересмотр концепции, по крайней мере для магистралей - некая отделенная, огороженная дорога, как в "я, робот", где не бегают лоси и дети, и несутся стаи роботомашин. Мы же не говорим, что в метро машинист должен нести ответственность за сбитого незаконно там находящегося диггера, внезапно вылезшего под состав на полном ходу? Другое дело, что города в такую сеть не закатаешь - поэтому пока беспилотникам место в кампусах американских НИИ, а не на дорогах с велосипедистами. Много непонятных "белых пятен". Хотя, если их не развивать, то ничего и не поменяется. Как с автомобилями и поворотниками/светофорами/проездом перекрёстков/круговыми развязками/ремнями безопасности/пдд и т.п., всё тоже развивалось постепенно...

Интересная статья, спасибо.
По-моему, для погружения в данную проблему совсем необязательно подводить её к автопилоту, у обычного водителя весьма вероятно может сложиться та же ситуация - влететь в лоб встречке или сбить внезапного пешехода, например.
Другое дело, что автопилот в такой ситуации гораздо определённее сможет действовать в рамках ПДД, которые предписывают использовать торможение как единственную меру предотвращения ДТП. И если у водителя ещё может дрогнуть рука, то автопилот просто в рамках правил будет оттормаживаться. Так он будет прав хотя бы по закону.

А согласится ли водитель на такой автопилот, который его может убить, когда он сам бы в таких ситуациях выжил?

НЛО прилетело и опубликовало эту надпись здесь

Не спрашивать можно будет только тогда, когда автопилот будет навязанным и единственным вариантом. До этого ещё явно далеко...

НЛО прилетело и опубликовало эту надпись здесь

Благодарю! Абсолютно верно, предиктивная аналитика беспилотного транспорта позволит минимизировать подобные ситуации, когда столкновение неизбежно. Такой автомобиль будет действовать по сценарию, не опираясь на "выбор" для спасения.

НЛО прилетело и опубликовало эту надпись здесь

Согласен. Вообще, я думаю, что зная, что водитель не будет пытаться спасти его жизнь ценой своей и других участников движения, меняя траекторию, а будет просто тормозить, а) у пешехода появится шанс на манёвр без риска попытаться убежать в ту же сторону, куда повернул водитель и б) пешеход лишний раз подумает перед выходом на дорогу (последнее очень утопично, конечно)
UPD. просто появится определённость, вот ) мне мой инструктор говорил это простыми истинами - при подъезде к переходу ты должен чётко обозначить - либо ты едешь и пешеход это увидит и не пойдет, либо ты явно останавливаешься и пешеход пойдёт. А если оба будете ни туда ни сюда, получится шшляпа.

Абсолютно! Судя по комментариям (да и по статистике) общественность не учитывает, что мы сами, наше неправомерное поведение на дороге в большинстве случаев является причиной возникновения ДТП. Если подавляющее большинство будет ездить по правилам, напряжение на дорогах сильно снизится.

ИМХО, Автопилот должен действовать строго по ПДД.
В таком случае, при замене всех машин на автопилоты можо будет считать, что все ездят по ПДД - никто не поедет на красный или по встречке, даже ради спасения пешехода.

А задача про вагонетку стоит решить иначе - заклинить стрелку между позициями из расчета, что вагонетка сойдет с рельс.

Это и повествует в статье: если все будут ездить с соблюдением ПДД, это минимизирует риски внештатных дорожных ситуаций. А задачу про вагонетку очень часто приплетают в беспилотным авто не понимая, что автомобиль не будет делать выбор на основании "ценности" чьей-либо жизни.

Возможно будет так: при покупке автомобиля, его владелец при настройке проставит галочки, или в любой ситуации максимум безопасности для пассажиров или минимизировать общий ущерб...

Проблему выбора переложат с разработчиков автопилота на владельца автомобиля.

Интересно! Но, хотелось бы, чтобы были единые сценарии для всех производителей/дистрибьюторов. На владельца/водителя авто обязательно возложат необходимый объем обязанностей, однако не думаю, что вопрос будет стоять "или пассажир или внешний объект", здесь логика порочна.

Этические законы для робота-водителя просты и самоочевидны

  1. Робот должен минимизировать вероятность телесных повреждений хозяина.

  2. При прочих равных робот должен минимизировать вероятность судебных исков к хозяину.

  3. При прочих равных робот должен минимизировать возможные повреждения автомобиля от задавливания всякого рода тварей. И нечего тут философию разводить.

Немножечко теряется здесь общественное благо, которому призваны служить технологии, законы звучат шкурно).
А философию люди "разводят" еще с 6ого века до нашей эры, сущность у людей такая - свой разум применять и ставить задачи, решение которых облегчит всем жизнь (ну или наоборот)

А теперь давайте представим более социально-будоражащий сценарий, в котором беспилотный автомобиль уже успешно распознал присутствие человека на дороге, однако предотвратить столкновение возможно лишь за счёт решительного манёвра, в результате которого машина, с пассажиром в салоне, конечно же, была бы вынуждена резко отклониться от проложенного маршрута для столкновения с деревом. Такая ситуация ставит перед алгоритмом сложнейший этический выбор: кем жертвовать – пассажиром или пешеходом?

Здесь нет никакого этического выбора. В такой ситуации машина должна сделать ровно то, что от неё требуют ПДД. Чаще всего это значит - тормоз в пол (юр. применить экстренное торможение) и будь что будет. Реже - маневрирование, опять же в рамках ПДД (юр. убедиться в безопасности манёвра). Вертеть рулём незнамо куда категорически нельзя!

Сразу вопрос: а что, собственно, будет? Тут 2 ответа. Юридический: будет определён виновник ДТП и это будет не тот участник движения, который соблюдал ПДД (строго говоря, ПДД полностью исключают ДТП, кроме как от внешних по отношению к дорожному движению факторов). Физический: пассажиры ТС не получат серьёзных травм, поскольку все современные ТС проходят сертификацию на пассивную безопасность и, например, при фронтальном ударе на 64 км/ч с ними кроме пары синяков и лёгкого испуга ничего не будет.

Гипотетически, можно разработать супер-автопилот, который сможет расходиться в миллиметрах сквозь перпендикулярный поток на перекрёстке, втискиваться в щель между пресловутыми пешеходом и деревом и вообще вести себя на дороге как спидраннер на игровой карте. Ему и ПДД будут не нужны - он сам сможет ездить быстро и безопасно. Но до этого ещё очень и очень далеко.

Лайк за поддержку тезиса о некорректности привлечения "этического выбора" в данную ситуацию). Про виновность в отношении того, кто НЕ соблюдал ПДД - спорно, особенно, если ознакомиться с судебными решениями. Но да, на сегодняшний день единственный верным решением здесь будет соблюдение ПДД.
И про отсутствие серьезных травм (даже с ремнями), к сожалению, спорно.

Однако этот криво поставленный вопрос не имеет однозначного ответа.

Хорошо, что Вы понимаете кривизну вопроса, плохо, что не понимаете ее природу, а она такова. Если авто едет с разрешенной скоростью, соблюдает рядность и вот это вот все ПДДшное, и вдруг перед ним вылетает олень (или олень в кавычках), то вопрос кого спасать не стоит: того, кто сделал все от него зависящее для сохранения своей и чужих жизней, т.е. добросовестную сторону - водителя, а не ломанувшегося под колеса дятла оленя, который и не олень вовсе, а ССЗБ. Если же авто (напоминаю: на автопилоте) обгоняет, подрезает и нарушает, то такое авто просто не должно присутствовать на дороге (и уж точно перед свихнувшимся автопилотом, не соблюдающим скоростной режим, не стоит вопрос этики). Т.е. по сути вопроса и нет вовсе.

Сложно представить, что авто на автопилоте (легальное и сертифицированное) обгоняет и подрезает.
Благодарю за признание кривизны вопроса, но, полагаю, его природу я тоже понимаю, от чего и родилась подобная статья, в которой указывается, что необходимо соблюдать ПДД и иногда (да, так бывает) их нарушать, во избежании общественно опасных последствий (без вовлечения третьих-четвертых сторон в ситуацию).
К сожалению, доколе такие обсуждения стоят на повестках в институтах, научных школах, законодатель четко не определяет сценарии и т.д., вопрос есть.

Вовсе даже несложно, но мы и не рассматриваем же случай с восстанием машин? Мы вообще какую-то сферическую теорию в вакууме рассматриваем, где самая конкретная гипотетическая ситуация (на всю немалую статью) - агрессивный велосипедист. Таки мое мнение - стараемся избежать столкновения, покуда это не создает угрозы нам и другим участникам движения, иначе - давим.

Обсуждения стоят на повестках потому, что юрист римской школы права (не будем путать его с законодателем, который являет собой представительную власть, так что с ним все совсем плохо) тщетно пытаются натянуть сову авраамической морали (даже в атеистических обществах) на глобус рационализма образца XXI века.

Почему же, мы рассматриваем что-то приближенное к реальности, а не к киберпанку или постапокалипсису. ПО, отвечающее за бесплотность, уже сейчас - безопасное и неагрессивное. Плюс, повторю, это все таки не теория в вакууме, особенно, когда есть прецеденты, разработки и пока еще нерешенные законодателем задачи. Таки и ваше мнение, получается, проистекает из статьи и ей вторит, но, это уже неважно.
А юрист римской школы права (полагаю, они уже умерли и вы имели в виду романо-германской правовой семьи) очень часто и есть законодатель, который должен идти в ногу со временем без насилия над обществом, даже если оно не успевает в своем развитии за технологиями

А теперь давайте представим более социально-будоражащий сценарий, в котором беспилотный автомобиль уже успешно распознал присутствие человека на дороге, однако предотвратить столкновение возможно лишь за счёт решительного манёвра, в результате которого машина, с пассажиром в салоне, конечно же, была бы вынуждена резко отклониться от проложенного маршрута для столкновения с деревом. Такая ситуация ставит перед алгоритмом сложнейший этический выбор: кем жертвовать – пассажиром или пешеходом?

Блин. Жертвовать надо программистом, который писал эту программу.

Это же машина, а не космическая ракета. Не знаю, что там у ракет, но у машины завсегда при прокладке "проложенного маршрута" можно учесть варианты, куда деваться, если что пойдет не так. И любую сложную ситуацию завсегда можно сильно упростить, заблаговременно снизив скорость. Более того, ПДД нам как бы даже прямо намекают, что так и надо делать, если что-то непонятно: снижать скорость, пока не станет понятно.

В частности, где узко, где скользко, надо ехать достаточно медленно, чтобы необходимость неожиданного манёвра не приводила к неизбежной встрече с деревом на опасной скорости.

Кстати, и при ручном управлении а/м этот подход тоже работает.

В идеальном мире - да. Но не всегда возможно предугадать действия человека, который вот-вот окажется в опасной ситуации по своему человеческому фактору, или по обстоятельству непреодолимой силы (инсульт за рулем, гвоздь в шине и т.д.). Но подход верный - соблюдаем ПДД и живем счастливо, применимо ко всем - и людям и машинам.

Похоже, что вслед за широким распространением транспорта с автопилотированием нас ждет возникновение серого рынка услуг по "моральному тюнингу" автопилотного софта. Ведь у каждого автовладельца могут быть собственные представления о правильном решении проблемы вагонетки.

Очень интересная мысль! Чтобы такое предотвратить, законодатель и некоторые представители бизнеса работают над едиными стандартами поведения в опасных ситуациях, а также выводят на новый уровень такую категорию как "диспетчер", который будет ответственен за чистоту софта. + процедуры сертификации, страхования и обязательства по обновлению ПО должны предотвратить "моральный тюнинг", но, вероятно, что все захотят "как лучше", а получится "как всегда".

Единые стандарты внутри каждой конкретной страны? А при пересечении государственной границы у автомобиля будут слегка изменяться "моральные нормы"?

Хотелось бы, чтобы стандарты были едиными, но, как показывает практика, обычно стандарты едины для определенных регионов (ЕЭК, ЕС и т.д.). Плюс, опять же, мы не говорим о «моральных нормах», автомобили должны двигаться в рамках ПДД вне зависимости от природы их управления.

А при чем тут ПДД? Статья, вроде бы, рассматривает как раз проблему "моральных норм" автомобиля. Приоритет соблюдения ПДД подразумевается по умолчанию. Но проблему вагонетки ПДД никак не регулирует. И на дорогах постоянно случаются ситуации, когда при полном соблюдении ПДД водителю (а теперь и автопилоту) приходится делать выбор, кому именно из случайно появившихся на дороге лиц следует вынести смертный приговор, а кого тем самым спасти.

ПДД тут при том, что когда философы/исследователи/мастермаинды ставят проблему вагонетки через призму беспилотников, им никто не объясняет, что такого вопроса с беспилотным авто не может стоять, так как такая машина всегда будет соблюдать ПДД (ну или тормозить).

Не понял. Вы считаете, что если автопилот будет соблюдать ПДД, то ему никогда не придется решать проблему вагонетки? Серьезно?

НЛО прилетело и опубликовало эту надпись здесь

Звучит как новая джихад-машина от Бауманки

С моей точки зрения надо учитывать следующие факторы и принять их:

1) автомат ВСЕГДА соблюдает ПДД

2) ПДД требует только тормозить

3) Водитель может нарушить ПДД для уклонения от ДТП, но с точки зрения закона он нарушитель, и на нем лежит обязанность доказать что он действовал в состоянии крайней необходимости и причиненный вред меньше чем предотвращенный

С точки зрения общественной пользы разрешение использование беспилотных автомобилей не должно приводить к увеличению опасности ДТП

Поскольку автомат соблюдает ПДД а водитель как это ни странно звучит не делает этого почти никогда (я по крайней мере не знаю ни одного водителя который бы не допускал нарушения ПДД), то общее число ДТП будет снижаться при допуске беспилотников при обязательном условии - робот будет соблюдать ПДД и НИЧЕГО больше чем там установлено.

Конкретные случаи могут быть ужасными, но общее число пострадавших будет уменьшаться

Верно и повышение уровня бесплотности транспорта никак не приведет к увеличению ДТП при наличии хотя бы первого правила.
А в отношении третьего пункта, как можно увидеть в базах судебных решений - практика переменчива и доказать нарушение ПДД "во благо" становится все реальнее.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории