Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 123
В тех же самых книгах эти законы постоянно нарушались и в результате были признаны… недоработанными.
Я прочитал 1200 стр. рассказов о роботах, 3 романа и 1 повесть, но не припомню ни одного случая нарушения, кроме введения нулевого закона.
Может напомните где нарушались?
Может напомните где нарушались?
Так собственно введение нулевого закона и было нарушением, робот признал ценность человечества выше ценности человека.
«Первый закон» робот МА-2 отказалась защитить человека в пользу своей «дочери».
«Кэл»: робот, которого собирались лишить способности творить, захотел убить своего хозяина.
В рассказе «Салли» роботы-автомобили оказались способны убить человека, который постоянно причинял им боль.
«Кэл»: робот, которого собирались лишить способности творить, захотел убить своего хозяина.
В рассказе «Салли» роботы-автомобили оказались способны убить человека, который постоянно причинял им боль.
В рассказе «Салли» роботы-автомобили не были обучены законам.
В «Кэл» робот захотел убить, но это не значит что убил, в других историях понятно показывается, что за желание нарушить закон мозг робота самоуничтожается.
В «Первом законе» первый закон был нарушен дефектной партией роботов. Итого один случай. Но это не значит, что постоянно нарушались.
В «Кэл» робот захотел убить, но это не значит что убил, в других историях понятно показывается, что за желание нарушить закон мозг робота самоуничтожается.
В «Первом законе» первый закон был нарушен дефектной партией роботов. Итого один случай. Но это не значит, что постоянно нарушались.
лжец
Еще когда у НС-10 обрезали первый закон. Хотя там все обошлось без жертв.
QT, который запер людей, чтобы не подпустить их к приборам — тоже с натяжечкой, но все же ограничение свободы.
QT, который запер людей, чтобы не подпустить их к приборам — тоже с натяжечкой, но все же ограничение свободы.
Ну, я ведь сказал — с натяжечкой. Это было, скорее, длительное неудобство, чем вред. Плюс оно усугублялось тем, что QT объяснял свои действия не первым законом, а служением Господину :)
Тут источник проблем: «мнение робота». Как ни крути, а железка не может оценить всех возможных жизненных ситуаций, кроме тех, которой её обучили. И вообще, робот — это всего лишь алгоритм, закованный в железо. Он не мыслит и не принимает решения — а выполняет программу. В отличие от человека, у которого есть что-то иррациональное в подсознании, интуиция — которая очень часто помогает принять правильное решение, которое не подсказывает даже здравый смысл.
Тут источником проблем является «мнение человека». Как ни крути, а кусок мяса не может оценить всех возможных жизненных ситуаций, кроме тех, которым его обучили. И вообще, человек — это всего лишь мозг, закованный в мясо. Он не выполняет программу, а мыслит и принимает решения. В отличие от робота, у которого есть что-то рациональное в процессоре, что очень часто помогает принять правильное решение, которое не подсказывает даже интуиция.
P.S. К несчастью, я не смог перебороть себя, и оставить все эти 10+ ошибок.
P.S. К несчастью, я не смог перебороть себя, и оставить все эти 10+ ошибок.
Извините за то что не про книгу, но все же:
В фильме «я робот» был, непосредственно робот, который мог нарушить три закона, не смотря на то, что они были в его программе. И случай смерти разработчика, было списан как несчастный случай на производстве, либо попросту «робот сломался». Вот таких поломок ой как не хотелось бы ощутить на своей шкурке.
В фильме «я робот» был, непосредственно робот, который мог нарушить три закона, не смотря на то, что они были в его программе. И случай смерти разработчика, было списан как несчастный случай на производстве, либо попросту «робот сломался». Вот таких поломок ой как не хотелось бы ощутить на своей шкурке.
В «Улитке на склоне» роботы пришли к выводу, что человеков вполне можно уничтожыть во имя светлого будущего :)
рассказы о Дэниэле Оливо, в частности достаточно четко расписано как робот может нарушить закон не нарушая (не сомоуничтажаясь) его в обнаженном солнце.
Есть классический случай «а власти скрывают», когда «робота лишают всех этих законов ради выполнения каких-нибудь сверхмиссий».
Ролик у SGR-1 просто мозга вынос а не реклама серьезного оружия… Даже звуки мультяшные как в играх серии commander (даже интерфейс).
Вообще почему-то армейские и оборонные презентации в большиснтве своем отличаются высокой степенью бездарности. Верх идиотизма, который я видел, это промо ролик израильской оборонной компании Рафаэль для какой-то индийской выставки оружия: www.youtube.com/watch?v=ktQOLO4U5iQ А может быть у них юмор такой? :)
специалисты предупреждают о неизбежных ошибках, которые связаны с несовершенной работой алгоритмов компьютерного зрения. В некоторых ситуациях даже человек не может абсолютно точно определить разницу между вооружённым противником и мирным жителем, так что у систем компьютерного зрения наверняка будут ложные срабатывания.Если что-то запрещать только из-за теоретической возможности ошибки, то так можно запретить всё.
Достаточно, чтобы у компьютера доля ложных срабатываний была ниже, чем у человека.
Но человека можно наказать за ошибку. А как накажешь робота?
А не надо наказывать робота. Если робот будет делать хотябы немного меньше ошибок чем делает в среднем человек — пусть будет лучше 90 жертв и 0 ответственных чем 100 жертв и 100 ответственных.
Новый Kaspersky Frontier Security! Количество ложных срабатываний уменьшено на 15%!
вообще-то нет.
Вся проблема в том, что реально будет 90 нужных жертв, которые будут выпячиваться как 90 случайных жертв.
а 100 жертв это 100 случаев которые никуда не спишешь и дела будут.
Мой аргумент самый главный такой: убийство дело культурное, а культуру надо оставить людям, а не алгоритмам.
Вся проблема в том, что реально будет 90 нужных жертв, которые будут выпячиваться как 90 случайных жертв.
а 100 жертв это 100 случаев которые никуда не спишешь и дела будут.
Мой аргумент самый главный такой: убийство дело культурное, а культуру надо оставить людям, а не алгоритмам.
оружие людям =)
Война хороший пример. Есть 100 жертв и 100 ответственных. Общество негодуе, негодуе, негодуе, высказывает своё «фи» этим ответственным — и когда-нибудь отказывается от этой порочной практики.
Есть 50 ошибочных срабатываний. Ну, ошибочные срабатывания, что с них возьмёшь. От несчастных случаев не избавишься.
Есть 50 ошибочных срабатываний. Ну, ошибочные срабатывания, что с них возьмёшь. От несчастных случаев не избавишься.
Человека наказывают не только ради возмедия, но и для исправления. У роботов исправление можно производить программно, без изоляции от общества отключения от розетки.
А кто программировал робота? Если уж выявили что робот делает меньше(чем человек) ошибок, и его допустили к работе, всегда есть возможность внести поправки.
Наверняка в EULA будет написано: «Боевой робот предоставляется как есть. Вы используете боевого робота на свой страх и риск. Автор боевого робота не несёт ответственности за прямой или косвенный ущерб причинённый использованием или неиспользованием боевого робота. Если вы согласны с условиями, нажмите „Далее“».
Вот вы исправили свой комментарий, и теперь мой ответ на него растерял смысл. Грустно.
Возможность есть не всегда. Если уменьшите вероятность ошибки в одной ситуации, она легко может подняться в другой. Задача не имеет четкой формулировки и вполне может в полном объёме быть алгоритмически неразрешимой.
человека наказывают, чтобы исправить. алгоритм можно сразу исправить. но мне всё-равно кажется, что лучше обезвредить, чем убить
В наказании смысла нет. Нужно предотвращать ошибки, а не наказывать опосля.
вы не можете предусмотреть всё. много да, но не всё
Смысла от этого больше не становится.
вы понимаете, что в таком случае, вам вообще ничего нельзя делать(и не делать кстати тоже)?.. потому что любым своим действием или бездействием вы можете теоритически нанести огромный вред?
Не понимаю.
Если у живых солдат процент ошибок, скажем, 3%, а у робота — 1%, то робот оказывается безопасней, и как ты своих солдат не наказывай, мёртвых этим не вернуть, процент ошибок не снизить, а вот моральный дух подорвать — запросто.
Если у живых солдат процент ошибок, скажем, 3%, а у робота — 1%, то робот оказывается безопасней, и как ты своих солдат не наказывай, мёртвых этим не вернуть, процент ошибок не снизить, а вот моральный дух подорвать — запросто.
так что вы предлагаете делать в случе ошибки у человека и у робота?
А что вы делаете с взбесившейся машиной, которая отказывается цепляться за лёд и летит на встречку?
Как вы хотите наказывать машину, которая убила человека?
… По-моему море уже пороли за потопленные корабли.
Как вы хотите наказывать машину, которая убила человека?
… По-моему море уже пороли за потопленные корабли.
А как вы будете предупреждать разбитую вазу, порванную книгу, пролитую кастрюлю?
Только закреплением «поступок-последствие».
Только закреплением «поступок-последствие».
Робот это оборудование. Если при использовании оборудования произошел несчастный случай, значит нарушена техника безопасности или что-то еще. Наверное, такое можно применить и к боевым роботам (обязать воюющие стороны повесить вокруг поля боя таблички «Используются боевые роботы. Мирным жителям не входить. Trespassers will be executed»).
Сильно большая цена у таких ошибок и такая статистика ложных срабатываний сильно циничная для моего мировосприятия.
Откуда только этих долбаных бюрократов столько развелось. И всех хлебом не корми, дай пустой хайп развести.
Интересно, как роботы будут определять «мирность» человека. По поднятому вверх автомату?
А если серьезно, то правильно, что начали об этом задумываться. Но думаю скайнет все равно восстанет.
А если серьезно, то правильно, что начали об этом задумываться. Но думаю скайнет все равно восстанет.
На первый взгляд, такая альтернатива выглядит как гуманный выбор, но специалисты предупреждают о неизбежных ошибках, которые связаны с несовершенной работой алгоритмов компьютерного зрения. В некоторых ситуациях даже человек не может абсолютно точно определить разницу между вооружённым противником и мирным жителем
Теперь очень гуманно отправлять робота убивать врага-человека.
Человечество не смогло договорится о запрещении кассетных боеприпасов, а вы тут о первом законе робототехники…
Как раз исключить «нехорошие» действия разгаречённых адреналином солдат — довольно тяжело. А ИИ может иметь одобренную(кем — другой вопрос) программу определения гражданских лиц. Всё просто — ведёшь себя по определённому паттерну — ты гражданское лицо. Несоответствуешь паттерну — твои проблемы (ну или разработчиков, если суд признает).
А дети?
«Кто же наконец подумает о детях?!» (с)
К сожалению, дети — понятие растяжимое. 15 лет — формально ещё дети, но реально… К тому же нажать на спусковой курок может и десятилетний ребёнок.
В любом случае, программы можно совершенствовать, куда проще чем совершенствовать людей. Да и от злости ИИ стрелять не будет.
К сожалению, дети — понятие растяжимое. 15 лет — формально ещё дети, но реально… К тому же нажать на спусковой курок может и десятилетний ребёнок.
В любом случае, программы можно совершенствовать, куда проще чем совершенствовать людей. Да и от злости ИИ стрелять не будет.
Красиво звучит, но только пока не появятся первые читеры. У Пелевина есть отличный рассказ на эту тему: «Зенитные кодексы Аль-Эфесби».
1. Микроб не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Микроб должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Микроб должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Предлагаю начать с трёх законов микробиологии.
2. Микроб должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Микроб должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Предлагаю начать с трёх законов микробиологии.
законов 4, еще есть нулевой (самый последний добавленный)
«Слава роботам! Убить всех человеков!» (с)
Даёшь разрешение локальных конфликтов через кулачные бои роботов!
Сразу вспоминается фильм "Robot-Jox". В свое время, кстати, неплохим фильмом был
Люди не научились контролировать себя, а хотят контролировать роботов.
Все конвенции и разграничения на мирных/комбатан это все хорошо и прекрасно. Но до тех пор, пока обе стороны конфликта этого придерживаются. А ведь суть и терроризма, то не придерживания норм (да и суть конфликта) — а достижение своих целей. Победы своей стороны, освобождение или захват. То есть — в каждом конкретном случае — выполнение поставленной задачи.
Допустим — солдаты — это понятно, 100% участники. Но с другой стороны — ага, мы знаем, что им нельзя стрелять на поражение в не-солдат. А давай мы вон того мальчика пошлем к ним с миной? В него не выстрелят, он выполнит задание, мы останемся целы, отряд противника будет уничтожен. Сплошной вин.
Допустим — солдаты — это понятно, 100% участники. Но с другой стороны — ага, мы знаем, что им нельзя стрелять на поражение в не-солдат. А давай мы вон того мальчика пошлем к ним с миной? В него не выстрелят, он выполнит задание, мы останемся целы, отряд противника будет уничтожен. Сплошной вин.
А я, вот, совершенно не понимаю ценности этих законов. Достаточно дать роботу информацию, что кислород смертелен для организма человека и тот, чтобы «своим бездействием [не] допустить, чтобы человеку был причинён вред», пережмёт ему горло.
А тут ведь дело в том, что другой робот (в широком смысле слова — компьютер, программа) такую информацию роботу не передаст, поскольку это будет считаться нарушением 1-го закона. Если же такую информацию передаст роботу напрямую человек — преступником будет он, а не робот (ну как если бы человек сам задушил врага). Да и плюс к тому, робот его первого, получив такую инфу, и задушит :)
Он скорее зависнет, так как он не сможет не нарушить первый закон.
Поверьте, если когда и появится ИИ, способный понять и следовать этим 3 законам, то он будет намного качественнее и аккуратнее определять достоверность информации. Человек очень сильно уязвим к дезе, потому что в его голове куча дыр вроде «это мнение моего авторитета», «тысячи людей купили акции МММ», «это по всем новостям говорят», «это совпадает с моим мировоззрением, а значит правда», через которые все как хотят, так и вертят человеком-обыкновенным. Логичный робот должен быть неуязвим к такому.
Так что не стоит боятся, что человек надует робота, скорее будет наоборот: робот просекёт фишку и быстро станет у руля, пудря всем мозги.
Так что не стоит боятся, что человек надует робота, скорее будет наоборот: робот просекёт фишку и быстро станет у руля, пудря всем мозги.
Когда уже клонирую Боба Фета?
У нас есть полностью исчерпывающее определение человека? Мирного человека? И определения можно усложнять.
Каналы связи между роботами можно взломать и исказить поступающую информацию. Достаточно вломиться в систему робота и всё, каюк всем вашим законам, диверсий никто не отменял.
Каналы связи между роботами можно взломать и исказить поступающую информацию. Достаточно вломиться в систему робота и всё, каюк всем вашим законам, диверсий никто не отменял.
Военные просто не допустят принятия этих и подобных им законов.
С какого это перепугу человек сделает меньше ошибок по распознаванию чем робот? А отчего же тогда такое огромное количество смертей чуть ли ни в каждой военной операции?
Вы возьмете ответственность за разработку автоматического оружия если есть 0.000001% сбоя?
Количество смертей в военной операции точно неуменьшиться. Можно подумать кому то там есть дело до на верхушке до гражданских, когда военная операция с «лозунгом цель оправдывает средства.»
Количество смертей в военной операции точно неуменьшиться. Можно подумать кому то там есть дело до на верхушке до гражданских, когда военная операция с «лозунгом цель оправдывает средства.»
Ждем появления организации Robot Rights Watch
Главное, быть осторожнее при демонстрации возможностей
специалисты предупреждают о неизбежных ошибках, которые связаны с несовершенной работой алгоритмов компьютерного зрения. В некоторых ситуациях даже человек не может абсолютно точно определить разницу между вооружённым противником и мирным жителем, так что у систем компьютерного зрения наверняка будут ложные срабатывания.
На самом деле человек может открыть огонь по мирному населению, если ему только покажется, что его жизни угрожает опасность. Робот же, в случае не 100% уверенности, может вести только ответный огонь.
Самсунгу надо было на эпл идти с Samsung Techwin :D
Для меня с детства было загадкой, каким образом законы написанные на человеческом языке в человеческой системе понятий можно вставить в программу или электронный блок. Посему, эти законы выглядят очень наивно и даже абсурдно.
Кто пишет правила игры — тот и выигрывает. Разработали на Западе малошумные ТРД — всё, не будем принимать иностранные самолёты с более шумными двигателями. Разработали высокоточное оружие — запретим всем пользоваться неточным оружием, т.к. это негуманно. С роботами, я думаю, будет то же самое.
Бред.
Во-первых промышленные роботы слишком тупы чтобы вообще знать о том что такое человек.
Во-вторых военные — специально предназначены для уничтожения людей.
Имхо авторы — люди с lurkmore.to/%D0%93%D0%A1%D0%9C
Во-первых промышленные роботы слишком тупы чтобы вообще знать о том что такое человек.
Во-вторых военные — специально предназначены для уничтожения людей.
Имхо авторы — люди с lurkmore.to/%D0%93%D0%A1%D0%9C
гм.
Чем меньше люди полагаются на защиту «законов» — бумажек по сути, тем более они защищены от неприятностей. В данном случае, это означает, что люди должны развиваться наравне с роботами или по иному пути, но так, чтобы уравнять свои шансы в случае «чего». Но это уже совсем фантастика и киберпанк.
Чем меньше люди полагаются на защиту «законов» — бумажек по сути, тем более они защищены от неприятностей. В данном случае, это означает, что люди должны развиваться наравне с роботами или по иному пути, но так, чтобы уравнять свои шансы в случае «чего». Но это уже совсем фантастика и киберпанк.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Правозащитники призывают принять Первый закон роботехники