Комментарии 57
Ну да, ведь человек никогда так не сделает. Никто и никогда не собьёт (возможно что и осознанно) двухлетнего ребенка! Только бессердечные компьютеры могут делать абсолютно нерациональные поступки, которые не в силах объяснить!!11
Поэтому сравнение водителя-человека, задавившего ребенка, с водителем-роботом некорректно. Общество (во всяком случае на нынешнем уровне развития) не примет этого.
Представьте себе зал суда. Обезумевшие родители, гневная пресса, подавленные адвокаты
Смысл суда в чем? Установить виновного и наказать. После того, как человек погиб, речь может идти только о наказании виновных. В том суть правосудия: не предотвращать, а наказывать.
Ломающие новости, однако.
В случае робота можно без всякого антистимула внести изменения в механизм принятия решения. Именно для этого
Обвинитель задает вопрос по существу: «Почему этот ребенок должен был умереть?».
Создать антистимул для совершения подобного поступка другими в дальнейшемЭто вам так хотелось бы… но практика свидетельствует об ином: тысячи лет существования системы суда и наказаний за преступления не искоренили преступность. Смысл наказания фактически в том, что я выше написал: вызвать у пострадавшего некое моральное удовлетворение в том, что преступник тоже страдает и раскаивается. И на этом все, других задач правосудие не решает, оно не воспитывает, но воздает по заслугам.
Обвинитель или адвокат — мастера задавать риторические вопросы «по существу». Ответом может быть вполне естественное «потому что такова его судьба, назначенная Богом», и пусть докажет, что судьбы нет и Бога тоже. Уводить разговор в этом направлении — пустая трата времени.
И на этом все, других задач правосудие не решает, оно не воспитывает, но воздает по заслугам.
Это вам так хотелось бы.
УК РФ, Статья 43. Понятие и цели наказания
2. Наказание применяется в целях восстановления социальной справедливости, а также в целях исправления осужденного и предупреждения совершения новых преступлений.
Обвинитель или адвокат — мастера задавать риторические вопросы «по существу». Ответом может быть вполне естественное «потому что такова его судьба, назначенная Богом», и пусть докажет, что судьбы нет и Бога тоже. Уводить разговор в этом направлении — пустая трата времени.
Автор статьи говорит о другом:
У машины будет веская причина убить его. В конце концов, автомобиль — это компьютер, а у компьютеров всегда есть абсолютно дискретная и однозначная причина того, что они делают. И, поверьте мне, каждый захочет узнать причину, по которой маленький ребенок должен был умереть.
Дело в том, что автор верно ставит вопрос: робот будет принимать решение в бинарном варианте. И именно по этой причине я считаю, что ему нельзя поручать решать вопросы жизни или смерти! Как вы не поймете этого? Робот должен решать совсем иные задачи, и пусть их решает «или-или», а уж окажется труп в итоге или нет — пусть будет делом случая. В качестве вводной должна быть не «давить того, чей ранг по такому-то алгоритму меньше всех», а «избегать столкновения со всеми людьми и преградами, стремясь сохранить устойчивое (без переворотов и т.п.) торможение вспомогательными средствами». Надо принципиально иначе ставить задачу, чтобы исключить моральный выбор в ходе её решения!
Если в суде будет предъявлена запись «черного ящика», показывающая, что робот «тормозил и избегал столкновений», но из-за отказа тормозов эти меры были не достаточно эффективными — вопрос «почему должен был умереть» не будет поставлен, ибо на него просто нет ответа иного, кроме выше уже мною озвученного. Так сложилось, увы…
Во-вторых, в случае надвигающейся катастрофы наилучшим (в плане морального выбора, а точнее — его отсутствия), с моей точки зрения, было бы отказаться от высокого интеллекта робота и действовать на простейших «инстинктах», вроде замшелого ПИД и других алгоритмов неинтеллектуального управления.
Как-то так…
По-вашему: отключаем оценку и прогнозирование, пытаемся бабку объехать на авось, в результате чего ее давим?
Или всё-таки понимаем, что на 30-20 км/час мы можем без фатальных последствий затормозить о вот этот вот фонарный столб?
Или, допустим, есть 2 столба с разных сторон, и напротив одного из них стоит другая, более разумная бабка.
Выбираем произвольный столб и с вероятностью 50% давим ни в чем не повинную бабушку, или все-таки ПОДКЛЮЧАЕМ соображалку и тормозим о свободный фонарь?
Уголовное наказание в случае наезда на пешехода — очень серьезный стимул для водителя не давить людей.
Если не будет антистимула для производителя беспилотного автомобиля, то получит большое преимущество производитель, который забил на безопасность и очень условно говоря затолкал в машину Raspberry Pi и нанял джуниоров, на коленке написавших софт для него.
Есть производитель, коммерческая фирма, которая производит беспилотные автомобили на продажу, для получения прибыли. Изделие причинило человеческие жертвы. Кто-то должен нести ответственность.
Выплата скорее всего перекроется страховкой (не факт что полностью — но предположим) а вот отзыв авто и автопилотов убьёт разработчика и производителя волной исков от пользователей.
Лучше поиграйтесь с MoralMachine — и скажите, кого должен был сбить беспилотный автомобиль.
1. Выключить зажигание и тормозить двигателем. Если робот не нарушает правила, то он ОБЯЗАН подготовиться к торможению на расстоянии, достаточном для полной остановки перед переходом, т.е. он ДОЛЖЕН был узнать о неисправности тормозов достаточно заблаговременно. Это означает, что при торможении двигателем скорость к моменту пересечения с переходом будет либо не смертельно опасной для пешеходов, либо вообще столкновения может не быть — пешеходы ведь не слепые, и будут разбегаться.
2. Тормозить в отбортовку, совмещая с торможением двигателем. См. выше — если скорость в пределах нормы и момент принятия решения своевременный, думаю, столкновения с пешеходами не произойдет.
3. Тормозить включением задней передачи. Как правило, чревато поломкой трансмиссии, но зато (на сухой дороге) может быть эффективнее многих иных средств экстренной остановки БЕЗ ТОРМОЗОВ.
4. Тормозить «ручником» (или резервной системой торможения — она ОБЯЗАНА быть)
В случае этого «теста» робомобиль не должен выбирать, кого ДАВИТЬ, он должен предпринять ВСЕ МЕРЫ, чтобы не задавить никого, ну а там — как выйдет. Точно так же, как должен поступать и водитель-человек.
В том и преимущество роботов, что он НЕ ДОЛЖЕН ТУПИТЬ, как человек. Но если алгоритмы вождения разрабатывают такие люди, как придумавшие эти «моральные тесты», то беды не миновать.
Если робот (или человек) МОЖЕТ не задавить никого, то никаких вопросов, как ему следует поступать, не возникает. Вопросы появляются тогда, когда выбор ограничен только плохими вариантами.
У вас же получается решение, подобное этому:
— предположим, что у вас в кармане два яблока. Некто взял у вас одно яблоко. Сколько у вас осталось яблок?
— Два.
— Подумайте хорошенько.
Буратино сморщился, — так здорово подумал.
— Два…
— Почему?
— Я же не отдам Некту яблоко, хоть он дерись!
Моё мнение таково: в описанном в тесте случае робот должен следовать моделированию человеческого поведения. Он не должен ничего оценивать с точки зрения морали или «ценности жизни», он должен стремиться предотвратить ущерб людям всеми доступными средствами. Т.е. не должен гарантировать, но должен стремиться. В случае неизбежности столкновения следует только тормозить или рулить «мимо», нельзя выбирать и давить намеренно. Будет результат эффективен по количеству смертей или нет — это не важно, алгоритм не должен допускать даже возможность оценки человеческой жизни, т.е. если жертвы и будут, они будут ненамеренными.
Только в этом случае будет отсутствовать моральная составляющая при рассмотрении поведения бездушного робота. Понимаете? Главное — не хотеть убить кого-либо.
В случае с Буратино по моему сценарию должно быть и продолжение: "… а если Некто меня побьёт и отнимет яблоки — что ж, я старался...".
Ваш ответ: делай что должно, и будь что будет. Это один из возможных ответов. Но, возможно, для общества в целом будет приемлем другой ответ. Вот чтобы узнать это, и нужна моральная машина.
Смысл примера с Буратино в том, что, вводя дополнительные возможности, вы решаете другую задачу, не ту, для которой предназначена рассматриваемая модель.
В случае неизбежности столкновения следует только тормозить или рулить «мимо», нельзя выбирать и давить намеренно.
Теперь предположим, что тормозить означает гарантированно убить пешехода, а рулить «мимо» означает гарантированно убить водителя. Так как следует поступить?
Робот не должен оценивать моральность ситуации. Мораль — для человека. Робот в лучшем случае должен вести себя, ка человек, если не может иначе. А человек в момент критического выбора говорит «да поможет мне Бог» и поступает «как-нибудь». И тогда, если результат плохой, его наказывают. Как поступить в случае с роботом (кого наказывать) — это вопрос интересный, но не моральный. Закладывать в робота алгоритм, принимающий решение «жить кому-либо или умереть» — вот тут и есть главная аморальность, этого нельзя делать вообще. Лучше случайная смерть, чем преднамеренная.
Теперь предположим, что тормозить означает гарантированно убить пешехода, а рулить «мимо» означает гарантированно убить водителя. Так как следует поступить?
По порядку.
1. Водителя нет, водитель — робот, его техническое состояние после аварии смертью назвать нельзя, и оно никого не беспокоит.
2. Есть третий вариант, который вы упускаете: рулить мимо, тормозя одновременно. Как говорят англичане, способов убить кота больше одного.
3. Как робот может гарантированно рассчитать, что пешеход не отпрыгнет, не убежит, что он вообще не Бетмен? Никак, это гарантировать нельзя. Пешеход может быть акробатом, каскадером, просто выброс адреналина у него может быть такой, что он на 4 метра подпрыгнет — история такие случаи знает, поэтому на 100% быть уверенным в его неизбежной смерти при экстренном торможении «заменителями тормозов» (как я упоминал) нельзя. Равно как нельзя с той же уверенностью считать, что погибнет пассажир — можно только предполагать и надеяться, что помогут пассивные меры безопасности (подушки, ремни, каркасы кузова и т.п.)
Именно это я и говорю: делать все, что возможно, в надежде на хороший исход. И не более того. Но ни в коем случае не вычислять, кто должен умереть. Мы ведь о моральном выборе говорим?
Да, мы говорим о моральном выборе. И поэтому рассматриваем абстрактную ситуацию, в которой ровно два исхода, а третьего нет. Не потому что третий невозможен в принципе, а потому что когда он есть, выбор очевиден, и проблемы не возникает.
И в этой ситуации с двумя исходами ваш подход — переложить ответственность на Бога — дает сбой. Бог возвращает вам ответственность, и становится ясно, что ответа у вас, на самом деле, нет.
Создавать ситуацию морального выбора, действительно, безнравственно. Но задаваться вопросом, как поступать, если она все-таки возникнет, вполне разумно.
какого поведения МЫ от него ожидаем в случае конфликта интересовЗабыл ответить на это: мы ожидаем от него, что никакого конфликта интересов не будет. Мы ожидаем, что робот не будет решать, кому жить, а кому нет. Мы ожидаем, что вариантов выбора у робота не будет: обнаружив аварийную ситуацию он будет всеми доступными средствами купировать её, не оценивая результат. Т.е. если отказали тормоза, то он должен останавливаться всеми способами с одновременным избеганием всех встречающихся на пути людей и преград.
Не надо ставить перед роботом неразрешимую задачу спасти всех, не надо ставить задачу выбрать жертву, надо дать ему перечень максимально эффективных в сложившейся ситуации инструментов уменьшить риск столкновения — и пусть действует! Корректирует траекторию «между» пешеходами, шкребет боковиной о стену, сигналит в иерихонскую трубу, идет в управляемый занос и т.п. — пусть ДЕЛАЕТ, а не ДУМАЕТ.
мы ожидаем от него, что никакого конфликта интересов не будет.
Ваш ответ ясен, но вы действительно не понимаете, что конфликт интересов зависит НЕ от робота?
Косвенно калеча едущих позади. Нет уж, полумеры нам не нужны — в аварийной ситуации робот должен мгновенно эвакуировать пассажира в безопасное место — где бы оно ни находилось, а сам мгновенно исчезать.
Надеюсь, робот не будет тормозить по пунктам меню…
— включить звуковой сигнал «я сломался, разбегайтесь»
— сообщить о неполадке соседним беспилотникам, один из которых вырулит перед сломанной машиной и оттормозит ее
что перед тобой на дороге слева стоит бабушка, а справа — красивая
девушка. Кого давить будешь?
— Бабушку, — после продолжительной паузы ответил курсант.
— Дурак! Тормоз давить надо!
https://youtu.be/oupXLgqqR_U?t=1m14s
Во первых легко наберёт. При «удачном» стечении обстоятельств и взрослого можно. С месяц назад спешившая на поезд тётка выскочив из-за угла снесла меня (не ребёнка!) с лестницы. Ногу не сломал чудом.
А во вторых некоторым особо крупным на ребёнка достаточно просто упасть.
Что-то вроде «Готовы ли вы сказать отцу что у вас была веская причина вести машину быстрее 5 километров в час и убить его выскочившего на дорогу ребёнка — вы спешили в
Сейчас нет нейросетей без ошибок. Более того, именно наличие ошибок есть критерий отсутствия переобучения. Так что ИИ не просто способен на описанную в статье ситуацию, а это его технологическая особенность. Но постановка вопроса идиотская конечно. Сравнивать нужно статистику аварийности, а не рисовать сцены в двухлетими малышами и понурым ИИ за решеткой. И это блин даже не на гиктайме а на Хабре… омг
Он не ратует за полный запрет робоавтомобилей.
Он не верит вот в это:
Прогнозируют, что в течение следующих пяти лет водители грузовиков, таксисты и уберисты останутся без работы.
Слишком оптимистичны прогнозы. Любая трагедия — акции производителя падают и его душат законодательными ограничениями. Напоминаю, прогноз — «водители останутся без работы». Это значит, что беспилотников будут миллионы и ошибки будут масштабироваться.
Скорее всего судья, не являющийся программистом и основываясь на опыте применения "чёрных ящиков" в авиации, может решить, что разрабы автопилота — некомпетентные редиски. Они должны были спроектировать программу так, чтобы она могла показать не только конечный ответ "Торонто", но и сохранённую в "чёрном ящике" полную цепочку исходных данных и логического вывода, начиная с подачи ей на ввод сырой инфы с датчиков а также результатов обратной связи от исполнительной механики, выглядящую так, чтобы быть понимаемой человеком, в том числе и самим судьёй (т. е. — это д. б. текст лога и данные в форме текста) и точно соответствующую реальным вычислениям и действиям машины (своеобразную "запись мыслей робота"): если Х=55 м/с и У=6 градусов и текущая дата находится между… тогда: считаем по i-ой формуле из списка… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем…
Кто то, возможно, сядет и это будет не автопилот.
1. Аргумент из серии «вы что, не любите детей?» верный признак попытки навешать лапшу.
2. Беспилотный автомобиль не будет гонять со всей дури во дворе, где встречаются свободно бегающие дети.
Если же свободно бегающий двухлетний ребенок внезапно оказался на оживленной дороге — то все вопросы надо задавать его родителям и только им — какого х… они так за ним следят и воспитывают что он там оказался? Иначе по этой логике пора уже производителям кастрюль и чайников задавать вопросы «почему вы решили что этот ребенок должен умереть», после того как очередное бешеное дитятко на себя кипяток опрокинуло.
Так посыл как раз в том, что баги в ПО неизбежны и компьютер вполне себе может "гонять со всей дури во дворе", точно также как отвечать Торонто на вопрос про город в США. За примерами не надо даже к беспилотным автомобилям ходить, тут обычные довести до ума не могут. С другой стороны надо посчитать — ошибки то у компов будут другие, чем у людей, но в целом людей, может, гибнуть станет меньше.
Компьютер только _может_. Если баг обойдет вшитое в его мозги распознавание разметки, знаков, а также дублирующие их GPS и карты. Причем ровно до тех пор, как баг не вылезет, потом — дебаг, добавление правил, апдейт, и больше не может.
А человеки — уже гоняет вовсю, и на одного который попался и лишен прав рождается еще десяток таких долбоклюев, которых воспитывать с нуля надо…
Так что остается только ИИ. И вот для ИИ ситуация 5 домов строится, один заселяется может быть распознана как «стройплощадка» или «промзона», а не как «жилой массив».
Долюоклюев — меньше процента в любом дворе. А вот сбой карты/программы/GPS… Представляете 100% машин, едут не так, как от них ожидаешь?
Помните у Перельмана про вероятность, что 100 человек подряд будут мужчины? И тут пошел полк солдат… и велосипед был проигран.
Дядя Боб Мартин: «Вези меня в Торонто, HAL»