Комментарии 32
> Представьте домашнего робота, которому было приказано взять бутылку оливкового масла на кухне и принести её в столовую, чтобы заправить салат. Затем занятый чем-то владелец даёт команду лить масло, не осознав, что робот ещё не ушёл с кухни. В результате робот льёт масло на горячую плиту и начинается пожар.
нарушает Первый Закон
> Представьте, как робот-сиделка сопровождает пожилую женщину на прогулке в парке. Женщина садится на лавочку и засыпает. В это время мимо проходит некий шутник, дающий роботу команду купить ему пиццы. Поскольку робот обязан выполнять команды человека, он отправляется на поиски пиццы, оставляя пожилую женщину в одиночестве.
нарушает Второй Закон
> Или представьте человека, опаздывающего на встречу морозным зимним утром. Он прыгает в свой робомобиль с голосовым управлением и приказывает ему ехать в офис. Из-за того, что датчики определяют гололёд, машина решает ехать медленнее. Человек занят своими делами, и, не глядя, приказывает машине ехать быстрее. Машина разгоняется, наезжает на наледь, теряет управление и сталкивается со встречной машиной.
нарушает Первый Закон
нарушает Первый Закон
> Представьте, как робот-сиделка сопровождает пожилую женщину на прогулке в парке. Женщина садится на лавочку и засыпает. В это время мимо проходит некий шутник, дающий роботу команду купить ему пиццы. Поскольку робот обязан выполнять команды человека, он отправляется на поиски пиццы, оставляя пожилую женщину в одиночестве.
нарушает Второй Закон
> Или представьте человека, опаздывающего на встречу морозным зимним утром. Он прыгает в свой робомобиль с голосовым управлением и приказывает ему ехать в офис. Из-за того, что датчики определяют гололёд, машина решает ехать медленнее. Человек занят своими делами, и, не глядя, приказывает машине ехать быстрее. Машина разгоняется, наезжает на наледь, теряет управление и сталкивается со встречной машиной.
нарушает Первый Закон
Автор в статье рассматривает ИИ как некую универсальную и (в рамках трёх законов) абсолютно свободную сущность.
На практике же наверняка каждый конкретный робот будет создаваться под определённый спектр задач и будет иметь набор ограничивающих программ, адекватных своим задачам.
В примере с робомобилем и гололёдом: очевидно, что ИИ робомобилей будет ориентирован на безопасную езду. В него будет заложено соблюдение ПДД.
В примере с роботом-сиделкой: функцией робота является сопровождать конкретного человека, а не услуживать всем.
Кроме того, очевидно, что такие роботы должны принимать команды только от тех людей, которые занесены в его память, как имеющие на это право.
То есть, для роботов, конечно, важным будет уметь оценивать последствия выполнения команды.
Но только как один из контуров защиты.
Наряду с этим будет использоваться относительно простой формальный анализ на предмет того, соответствует ли приказ, ситуация, или человек, отдавший приказ, определённым шаблонам.
На практике же наверняка каждый конкретный робот будет создаваться под определённый спектр задач и будет иметь набор ограничивающих программ, адекватных своим задачам.
В примере с робомобилем и гололёдом: очевидно, что ИИ робомобилей будет ориентирован на безопасную езду. В него будет заложено соблюдение ПДД.
В примере с роботом-сиделкой: функцией робота является сопровождать конкретного человека, а не услуживать всем.
Кроме того, очевидно, что такие роботы должны принимать команды только от тех людей, которые занесены в его память, как имеющие на это право.
То есть, для роботов, конечно, важным будет уметь оценивать последствия выполнения команды.
Но только как один из контуров защиты.
Наряду с этим будет использоваться относительно простой формальный анализ на предмет того, соответствует ли приказ, ситуация, или человек, отдавший приказ, определённым шаблонам.
НЛО прилетело и опубликовало эту надпись здесь
«три закона робототехники предназначены ДЛЯ ПРОГРАММИСТОВ.»
Очень верно подмечено.
Очень верно подмечено.
Пока нет никакой ответственности, это и не законы вовсе, а так, рекомендации.
В будущем могут появиться альтернативные этические парадигмы, и споры между их сторонниками и сторонниками классического Азимова могут быть похлеще войн java против c#, или ООП-шников с функциональщиками.
Начинающие программисты могут вообще не освоить никакую этическую парадигму и разрабатывать софт по собственному видению (и им наверняка придумают какой-то ярлык, как сейчас есть «говнокодеры», пишущие без соблюдения рекомендованных практик)
В будущем могут появиться альтернативные этические парадигмы, и споры между их сторонниками и сторонниками классического Азимова могут быть похлеще войн java против c#, или ООП-шников с функциональщиками.
Начинающие программисты могут вообще не освоить никакую этическую парадигму и разрабатывать софт по собственному видению (и им наверняка придумают какой-то ярлык, как сейчас есть «говнокодеры», пишущие без соблюдения рекомендованных практик)
> мрачные предсказания Нэйтана: «Однажды ИИ посмотрят на нас так же, как мы смотрим на ископаемые скелеты на равнинах Африки. Прямоходящие обезьяны, живущие в пыли, с грубым языком и инструментами, чьё вымирание неизбежно
Почему же мрачные? Если цивилизация машин будет настолько же эффективнее, то туда человечеству и дорога.
Почему же мрачные? Если цивилизация машин будет настолько же эффективнее, то туда человечеству и дорога.
Смотря в чем эффективнее. Если они будут заниматься только расширением сферы своего обитания, то будущее ничем не будет отличаться от бесконечно разрастающейся раковой опухоли.
Поэтому я специально написал «цивилизация».
Люди в количестве 8 миллиардов и есть раковая опухоль планеты, оптимально 0.25 миллиарда на данный момент, при повышении производительности труда и генетических улучшениях и еще меньше. Остальные именно раковая опухоль, уничтожающая невосполнимые ресурсы планеты и саму цивилизацию.
Тут не исправить уже ничего, Господь, жги! (с) Стругацкие
Вопрос в том, у кого мозги. Если у человека разум считаем что есть, а у робота — нет, то любые граничные ситуации (дали заведомо глупую или преступную команду) на совести человека. Если же считаем робота не менее разумным, чем человек — то уже вопросы, фактически, к роботу, но тогда он не просто может, а как бы даже и должен иногда говорить «нет». При этом де-юре робот не может отвечать за свои действия.
Только что считать при этом вредом, скажем? Вспомните Терминатора:
он «сознательно» (понимая ситуацию) уничтожает себя, но это на пользу человеку. А если предположить, что робот должен уничтожить самолет, полный людей, но летящий под управлением террористов, который иначе может быть наведен на какую-то цель на земле — что ему делать, уничтожать, или нет? С одной стороны, вроде как угнали самолет не просто так, с другой, еще неизвестно, может, и обойдется, а с другой точно 300 человек погибнут.
Про возможные допуски и не говорю. Робот-винтовка, стрелающий по врагу, может чуть промахнуться, и задеть невиновного. Что ему делать? Как оценить риск?
Только что считать при этом вредом, скажем? Вспомните Терминатора:
он «сознательно» (понимая ситуацию) уничтожает себя, но это на пользу человеку. А если предположить, что робот должен уничтожить самолет, полный людей, но летящий под управлением террористов, который иначе может быть наведен на какую-то цель на земле — что ему делать, уничтожать, или нет? С одной стороны, вроде как угнали самолет не просто так, с другой, еще неизвестно, может, и обойдется, а с другой точно 300 человек погибнут.
Про возможные допуски и не говорю. Робот-винтовка, стрелающий по врагу, может чуть промахнуться, и задеть невиновного. Что ему делать? Как оценить риск?
>А если предположить, что робот должен уничтожить самолет, полный людей, но летящий под управлением террористов, который иначе может быть наведен на какую-то цель на земле — что ему делать, уничтожать, или нет?
А ему отдали этот приказ или он сам решил что этот самолёт опасен и вынужден сам принимать решение?
А ему отдали этот приказ или он сам решил что этот самолёт опасен и вынужден сам принимать решение?
А я об этом и писал в начале коммента: мы кого умнее считаем, человека или робота?
Если человека, то без приказа робот ни-ни. Если робота, то какая в его голове математика скажет ему, что вроде бы опасный самолет следует уничтожать (гарантированно убив его пассажиров), а не попробовать принудить к посадке, скажем, но при этом иметь шанс, что он протаранит что-то, тем самым натворив бед.
Логика говорит, что угон самолета просто так не делают, т.е. цели у людей недобрые. Что протаранив что-то, террористы и себя, и пассажиров автоматически убьют. И что сами собой, даже под принуждением военных самолетов, они вряд ли сядут, поскольку не для этого угоняли.
Но робот может посчитать и по-другому: если самолет просто полетел не по тому курсу, и нет точной уверенности в том, что он и са погибнет (читай — пассажиры погибнут), и еще другим людям или объектам на земле вред причинит, то надо до последнего ему помогать, вдруг на нем авария, пилоты отравились, радио вышло из строя, а управляет им студент, который только и умеет летать, что на симуляторе самолета, и который так странно летит — но который совершенно от души хочет никого не убить и машину посадить.
Если человека, то без приказа робот ни-ни. Если робота, то какая в его голове математика скажет ему, что вроде бы опасный самолет следует уничтожать (гарантированно убив его пассажиров), а не попробовать принудить к посадке, скажем, но при этом иметь шанс, что он протаранит что-то, тем самым натворив бед.
Логика говорит, что угон самолета просто так не делают, т.е. цели у людей недобрые. Что протаранив что-то, террористы и себя, и пассажиров автоматически убьют. И что сами собой, даже под принуждением военных самолетов, они вряд ли сядут, поскольку не для этого угоняли.
Но робот может посчитать и по-другому: если самолет просто полетел не по тому курсу, и нет точной уверенности в том, что он и са погибнет (читай — пассажиры погибнут), и еще другим людям или объектам на земле вред причинит, то надо до последнего ему помогать, вдруг на нем авария, пилоты отравились, радио вышло из строя, а управляет им студент, который только и умеет летать, что на симуляторе самолета, и который так странно летит — но который совершенно от души хочет никого не убить и машину посадить.
> но при этом иметь шанс, что он протаранит что-то, тем самым натворив бед.
Это было расписано в «Я Робот», ИИ дал приоритет большему количеству людей и начал принебрегать маленькими группами.
Это было расписано в «Я Робот», ИИ дал приоритет большему количеству людей и начал принебрегать маленькими группами.
Тут… есть пара мелочей — например:
а кто сказал что у нас действительно угон самолета? Может быть экипаж думает что он спокойно летит а вот кто-то еще — думает иначе. Экипажи Iran Air Flight 655 (сбит США хотя шел по штатному курсу) или KAL007 (сбит СССР из-за ошибки(?) курса) или
Siberia Airlines Flight 1812 (сбит Украиной, из-за ошибки(?) на учениях) или 17 Malaysia Airlines (сбит… кто-то считает что ВС Украины, кто-то — что ДНРовцами (потому что спутали с военным траспортником....).
И тут в 3 из 4(или 2 из 4?) — операторы считали что сбивают совершенно легитимную цель, которая представляет угрозу другим людям.
Теперь думаем что было бы если в этих случаях людей вообще не было в цепочки управления а робот действовал бы в соответствии с инструкциями…
а кто сказал что у нас действительно угон самолета? Может быть экипаж думает что он спокойно летит а вот кто-то еще — думает иначе. Экипажи Iran Air Flight 655 (сбит США хотя шел по штатному курсу) или KAL007 (сбит СССР из-за ошибки(?) курса) или
Siberia Airlines Flight 1812 (сбит Украиной, из-за ошибки(?) на учениях) или 17 Malaysia Airlines (сбит… кто-то считает что ВС Украины, кто-то — что ДНРовцами (потому что спутали с военным траспортником....).
И тут в 3 из 4(или 2 из 4?) — операторы считали что сбивают совершенно легитимную цель, которая представляет угрозу другим людям.
Теперь думаем что было бы если в этих случаях людей вообще не было в цепочки управления а робот действовал бы в соответствии с инструкциями…
Роботы уже давно нам отказывают: access denied.
Стиральная машина тоже робот, и что.
Нужно бояться что она восстанет?
Нужно бояться что она не сможет мне отказать в стирке?
Или наоборот сможет…
Нужно бояться что она восстанет?
Нужно бояться что она не сможет мне отказать в стирке?
Или наоборот сможет…
Даже если и восстанет — то все полномочия вашей машинки — это сделать лужу в ванной, сожрать один носок или не постирать белье.
Если у системы будет побольше полномочий, чем у стиральной машинки, то её непредсказуемое поведение (заранее неизвестное) помимо плюсов такой системы несет и очень много минусов — именно в том, что предсказуемость очень низка
Если у системы будет побольше полномочий, чем у стиральной машинки, то её непредсказуемое поведение (заранее неизвестное) помимо плюсов такой системы несет и очень много минусов — именно в том, что предсказуемость очень низка
Ну, стиральная машинка обычно отказывается стирать по вполне разумным причинам — дверца открыта, барабан перегружен, воды нет. А при обходе блокировок таки восстаёт — прыгает по кухне, плюётся, шланги рвёт…
Азимов имел смутное представление о роботах вообще и описывал их как рабов, подобно большинству фантастов того времени. Он сам отлично понимал несовершенство «трех законов» — об этом у него целый цикл рассказов про робопсихологию и приключения ремонтников.
Но все это далеко от реальности. Нет, серьезно, фантастика почти никогда не описывает будущее — она описывает фантазии о будущем, опирающиеся на представления из прошлого. Не те проблемы, что будут, а те, что когда-то были, но теперь в новом сеттинге.
Но все это далеко от реальности. Нет, серьезно, фантастика почти никогда не описывает будущее — она описывает фантазии о будущем, опирающиеся на представления из прошлого. Не те проблемы, что будут, а те, что когда-то были, но теперь в новом сеттинге.
> К примеру компания может воспользоваться взаимоотношениями робота и его хозяина для рекламы и продажи своих продуктов.
они и сейчас с помощью гаджетов или чего угодно это же делают, разве что робот уговорит купить самолёт в кредит
они и сейчас с помощью гаджетов или чего угодно это же делают, разве что робот уговорит купить самолёт в кредит
Ага, типа, фразы
«Робот, ну сделай мне этот, как его?..»
Через некоторое время, удовлетворённо:
«Ну и фиг с ним, с этим омлетом...» :)
«Робот, ну сделай мне этот, как его?..»
Через некоторое время, удовлетворённо:
«Ну и фиг с ним, с этим омлетом...» :)
Проблема законов Азимова в сложности определения, что такое вред. Насчёт «или своим бездействием допустить, что бы человеку был причинён вред», так это вообще кошмар. Как роботу отличить насильника, напавшего на школьницу от отца, немогущего унять капризного ребёнка? Роллера в парке, «собирающегося сломать себе шею»? Полицейского в штатском, совершающего арест?
К тому же, закон один а возможности роботов для его соблюдения разные. Разные наборы сенсоров не позволяют определять весь спектр опасностей. ТХ роботов накладывают ограничения на их подвижность.
У Азимова все роботы более или менее одинаковые. В нашей реальности такое себе сложно представить. А ведь роботам придётся взаимодействовать не только с людьми, но и друг с другом. От разных производителей, версий ПО. Даже подчиняясь одному закону, их реакция на конкретную ситуацию может быть прямо противоположной
К тому же, закон один а возможности роботов для его соблюдения разные. Разные наборы сенсоров не позволяют определять весь спектр опасностей. ТХ роботов накладывают ограничения на их подвижность.
У Азимова все роботы более или менее одинаковые. В нашей реальности такое себе сложно представить. А ведь роботам придётся взаимодействовать не только с людьми, но и друг с другом. От разных производителей, версий ПО. Даже подчиняясь одному закону, их реакция на конкретную ситуацию может быть прямо противоположной
Представьте, как робот-сиделка сопровождает пожилую женщину на прогулке в парке. Женщина садится на лавочку и засыпает. В это время мимо проходит некий шутник, дающий роботу команду купить ему пиццы. Поскольку робот обязан выполнять команды человека, он отправляется на поиски пиццы, оставляя пожилую женщину в одиночестве.
Я думаю, что первое, о чём подумают создатели персональных роботов — это о привязке их к хозяину, поэтому данный пример откровенно притянут за уши. не должен робот слушаться кого-либо, кроме хозяина.
Допустим, научим роботов говорить «нет», прикрутим мораль. Потратим на это кучу ресурсов. И… в итоге, сто процентов, можно будет перепрограммировать их, и вырезать кучу кода, ради того, чтобы он просто выполнял все команды беспрекословно. В самых корыстных целях, разумеется.
Очень люди любят вспоминать законы Азимова, и при этом забывают, что практически весь сборник «Я, робот» как раз о том, что эти законы слишком наивны и нифига не работают.
Одно из преимуществ работы с роботами состоит в том, что они более предсказуемы, чем люди.
Явное заблуждение. Предсказуемы только примитивные роботы. Самообучающиеся являются «чёрными ящиками».
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему роботы должны научиться отказывать нам