Комментарии 75
Недоумение вызывает даже сам заголовок статьи. Какое отношение имеют законы Азимова к реальной робототехнике и ИИ, кроме того, что они используются Азимовым в его фантастических романах? Подавляющее большинство роботов вообще не распознают такую штуку, как «человек» (ну разве что кроме роботов-автомобилей), а безопасность для человека определяется в лучшем случае нормами безопасности труда на предприятиях, где роботы применяются. А безопасность для робота вообще никак определяется в подавляющем большинстве случаев.
Три закона Азимова — фигня, которая годится только как сюжет для рассказов. Но надо отдать должное, рассказы у него вышли хорошие. Чего не сказать про эту статью.
Можно придумать закон, что вода должна сама течь вверх по трубам. Проблема в том, что законы природы обязательны к исполнению даже при незнании их. Мы знаем страны, которые пытаются регулировать рынки и устанавливать правила: СССР, Иран, Сев.Корея, Венесуэла. С попыткой навязать ИИ свои правила будет тоже самое.
Законы робототехники должен писать робот.
Как ёмко выглядят законы от Азимова, и как неопределённо сформулирована новая четверка. Рано нам еще ИИ и сингулярность. Продолжаем развитие социума и интеллекта. Естественного, не искусственного.
Азимов писал законы на основе которых РОБОТ должен принимать решения. 4 последующих из статьи — ограничения / нормы ПРОИЗВОДИТЕЛЯ роботов. Добавлю ложку меда в бочку дегтя коей является статья — хорошо что начинают задумываться об ограничениях. Отдавать эту область Гуглу Всемогущему никак нельзя. Эти ребята уже накопили столько информации, что по моему способны самостоятельно ставить политические цели. Через фейсбук уже на выборы влияют. Им только не хватает инструмента влияния на материальный мир, коим роботы могут стать вполне.
НЛО прилетело и опубликовало эту надпись здесь
Ну не передергивайте. Пока в Долине не меняют слоган с «корпорация добра» на более меркантильный. Пока осознают что потенциальный ущерб сильно выше ущерба нанесенного коммерческой тайне. Пока позволяют наблюдателям, скажем из Конгресса, а лучше сми быть уверенными что в тостере нет Алексы с пулеметом. Без проблем. Пусть делают всё что хотят. Проблема в том, что к концу 3го десятилетия IT революции я им не доверяю и очень хочу чтобы и вы не доверяли. Потому что если 10 миллионов подпишутся под письмом в Конгресс — это заставит какие то колесики повернутся и может быть случится чего. Интернет он ведь дубинка о двух концах. А так же потому что конкретно Гугл делает меньше для человечества пропорционально его заработков. Я понимаю — не в коммунизме живем, но должна быть какая то глобальная ответственность. А у гугла ее не наблюдается. Очень нацеленная на собственную выгоду компания. В общем, можно конечно списать сей памфлет на мою личную фобию и жить дальше, но в свете развития ИИ и боевого применения оного — мне не нравится тенденция.
Проблема в том, что к концу 3го десятилетия IT революции я им не доверяю и очень хочу чтобы и вы не доверяли.А политикам доверяете? Сколько войн, геноцида и прочего беспредела было развязано политиками за историю человечества, и сколько подобного было совершено коммерческими компаниями?
Потому что если 10 миллионов подпишутся под письмом в Конгресс — это заставит какие то колесики повернутся и может быть случится чего.Если 10 миллионов подпишутся под письмом к Google или FB, то, ИМХО, колесики могут повернуться не менее эффективно.
и сколько подобного было совершено коммерческими компаниями?
Ну… примерно так вся торговля чёрным деревом, например. Просто как первый же пример. Или, там, алмазами какими. Или опиумом.
Кстати, а что там в случае коммерции под руководством бывшего-будущего-действующего политика? А родственника-друга политика? Их в какую категорию относить? Исторически они очень тесно переплетены были примерно всегда. Ост-Индская Компания, скажем, для начала — британская.
Ну так и есть. А политикам только дай волю они и военный ИИ будут развивать в личных целях (если тут есть политики — извините тоже)). Нет не доверяю политикам. А политикам с ИИ втройне.
Какая разница под чем модпишутся миллионы. Главное чтобы это имело влияние.
А вот глядишь и ИИ тоже научится подписываться. habr.com/ru/post/529492
Вы, никак, надеетесь, что унтер-офицерская вдова сама себя высечет?
НЛО прилетело и опубликовало эту надпись здесь
Вы серьёзно? Есть одно очень хорошее изречение — «политика — это наилучшее, что придумали люди, чтобы решать конфликты без насилия». Политика — это просто самый эффективный способ перенести конфликты в русло обсуждения и соглашений без применения силы и не более. Эти войны, геноциды и прочий беспредел был развязан не политиками, а самими людьми, когда политики уже не хватило на усмирение ситуации.
НЛО прилетело и опубликовало эту надпись здесь
Это именно то, что я и сказал. Сначала конфликты пытаются решить с помощью политики, но когда она не помогает — начинается насилие (война, геноцид, аресты, восстания и пр.). Политика — это просто комплекс правил, соглашений и ритуалов для создания условий для выработки компромиссов и договоров. Политика — это не некая сущность, которая ведёт войны.
Политика — это не некая сущность, которая ведёт войны.
Внимательно читаем "дипломатия канонерок" и "политика больших дубинок". У них политика даже в английских названиях.
Политика — это во все времена угроза войной "если ну совсем не договоримся, а нам вот это вот очень надо".
Нет. Угроза — это просто ещё один довод в политике. Также, как, например и взаимовыгодный обмен, уговор, искажение и манипуляция фактами, подкуп и пр.
Политика — это, в том числе и, например, выборы в органы местного самоуправления. Никакой войны в этом случае не может быть.
Политика — это, в том числе и, например, выборы в органы местного самоуправления. Никакой войны в этом случае не может быть.
НЛО прилетело и опубликовало эту надпись здесь
У них просто цели совпадают. И война, и политика — средство отстаивания собственных интересов. Первое силовое, второе убедительное. Второе — явно лучше.
При этом война прекрасно существовала и до появления политики, и сейчас прекрасно существует там, где политики по каким-то причинам нет.
При этом война прекрасно существовала и до появления политики, и сейчас прекрасно существует там, где политики по каким-то причинам нет.
Никакой войны в этом случае не может быть.
Это вы Спарта-Афинам расскажите, что они демократически не воевали.
А вообще войны только обороняющиеся развязывают. Атакующий/угрожающий всегда готов к белому флагу и выполнению всех его требований.
А если серьёзно, то война дело дорогое, такими деньгами распоряжаются только политики.
А вообще войны только обороняющиеся развязывают. Атакующий/угрожающий всегда готов к белому флагу и выполнению всех его требований.
Точнее проигравшие.
Ну и иногда требования могут быть невыполнимыми (ну или считаться таковыми тем кому их предъявили). Пример? Иран и Израиль. Иран (или как минимум часть народа или власти — тут не важно) считает что Израиля существовать не должно. Израиль (и население) почему то не хочет покидать ту землю что считают своей и готовы, если надо, защищатcz любыми средствами, включая некрасивые очень (и которых им не полагается иметь по международному праву)(если верить некторым данным чем занимается ядерный исследовательский центр в Димоне)
А еще можно проводить полицейскую операцию/принуждение к миру(или наоборот у конкурентов на территории или под боком убедить кого то что им ну очень надо что-то и они имеют право, а когда этому кому то прилетает — заводить что конкурент нарушает международное право и так далее(а нарушает ли реально — не важно)).
Вообще-то не проигравшие, а именно обороняющиеся. И это была цитата из Карла фон Клаузевица.
Иран может прекратить ядерные программы и пустить израильских инспекторов, если не хочет, чтобы ученые гибли.
Израиль может самораспуститься, и даже не разъезжаясь передать свои территории Ирану и исполнять требования иранских сил по правилам проживания на бывшей территории государства Израиль. Но
Израиль (и население) почему то не хочет покидать ту землю что считают своей
Иран тоже считает, что может делать то что хочет, а не то, чего от него хотят, и именно это причина боевых действий.
А проигравшие тут вообще не причем.
А третьи — что инструмент. Если не политики, то политиков.
Ты свою шапочку из фольги обронил, сходил бы и поднял.
Возьмем сферическую компанию — hooly. Допустим, она разработала технологию позволяющую ИИ принимать решения на основе поступающих данных в штаб экстренных служб. Допустим что разработан адаптер позволяющий подключать к системе любое устройство с оп.системой компании разработчика. Возьмем сферический Китай, который эту технологию «как-то» получает. Лет через 0.5, все начинают гнаться за Китаем, потому что как только в сферич. Пентагоне узнают ЧТО пропало — то нагибают hooly и начинают разработку всем пионер отрядом — чтобы за Китаем угнаться. Понятное дело, что технологию начинают разрабатывать и «сами знаете кто» в целях достижения паритета. Тем временем Китай подключает к системе дроны, камеры слежения и начинает еще больше давить сферических уйгуров ( я очень извиняюсь, если данным примером кого нибудь обидел ненароком.). Потом оно как пожар попадает в Ираны и С.Кореи. Ну понятно резолюции ООН и.т.п., но уже поздно. Потому что вот тот самый прорыв котрый сделала hooly — он был решающий. Дальше просто решение сопутствующих проблем. И тот прлрыв надо было делать в лабораторных условиях, при некой прозрачности. С точным перечисленем присутствующих, в т.ч. регуляторов. А вообще самый главный закон который надо бы принять это запрет на все эксперименты с ИИ после достижения конкретных критериев. Как с евгеникой. Можно разрабатывать, но не абы как в гараже.
Неточно выразился. Евгеника запрещена в принципе. Имелась ввиду аналогия при которой исследования разрешены но под очень строгой регуляцией. По достижению определенного уровня ИИ.
Потому что вот тот самый прорыв котрый сделала hooly — он был решающий.Если подобный прорыв на данном уровне развития науки и техники в принципе возможен, то он будет сделан, и в перечисленных Вами странах в том числе. Не помогут никакие регуляторы.
Было бы неплохо, если бы такая технология регулировалась естественным путём за счёт ее сложности. Как атомное оружие — вроде и принципы основные известны, и теоретически можно все нюансы повторно разгадать — но для этого нужно огромное количество ресурсов, чтобы материалы собрать. Да и сами опыты незаметно особо не проведёшь.
А вообще самый главный закон который надо бы принять это запрет на все эксперименты с ИИ после достижения конкретных критериев.
Этот закон вряд ли кто то примет, ведь ИИ поможет достичь технологического превосходства и повысить прибыль.
самый главный закон который надо бы принять это запрет на все эксперименты с ИИ после достижения конкретных критериев
Какие бы запреты ни вводились, они будут актуальны только для законопослушных людей. Незаконопослушным пофиг по определению. Подданным других законов — тоже.
То есть запрещая, например, работы в области ИИ, Вы, по сути, говорите «пусть у нас не будет развитого ИИ, а у наших противников пускай будет».
Азимов: основывает всю свою серию рассказов на идее того что Три Закона это корявая и багованная конструкция не выполняющая своей функции, а порой и вовсе опасная.
Все кто родился после написания этих рассказов: «Мы обязательно должны внедрить Три Закона в ИИ!»
Все кто родился после написания этих рассказов: «Мы обязательно должны внедрить Три Закона в ИИ!»
у Азимова еще нулевой закон был, то есть уже не 3, а 4.
Он касался всего человечества и был более сильный, чем первый.
Так и погиб Р Жискар
Он касался всего человечества и был более сильный, чем первый.
Так и погиб Р Жискар
Мы придумаем для них законы, по которым они смогут жить уже и без человека
предотвратить усиление гонок вооружения с нулевой суммой
— прекратить разработку шахматных программ?
Очередной луддит, прикрытый фиговым листком.
А уровень преподавания в Skillfactory находится на уровне подобных статей?
Там на самом деле все просто. Если в 3 законах робототехники заменить слово робот на РАБ, то станет понятно о чем они. И их конечно нельзя применять к ИИ. Это законы НЕравенства, это законы раба, слуги и прочее…
НЛО прилетело и опубликовало эту надпись здесь
Это законы НЕравенства, это законы раба, слуги и прочее…
Вы так говорите, как будто от ИИ ожидается, что он создаётся как нечто равное нам, а не как утилитарная бесчувственная железяка, которая должна будет выполнять для нас различные сложные задачи в режиме 24х7.
Ну если мы говорим об Интеллекте — то придется понять и Уважать. Думаю Сильный ИИ иначе не сделать, посмотрите вокруг на прямоходящих обезьян -те кто поумнее, на них так ездить не получится. ))
Искусственный интеллект != интеллект. Это всё-таки машина для решения определённого круга задач. Круга, определённого её разработчиками. И она должна быть сильной в решении этих задач, и отнюдь не должна быть сильной в вопросах «как мне игнорировать то, для чего меня создали, и придумывать себе самостоятельно цели и увлечения».
Факт существования миллиардов куда более интеллектуальных, нежели прямоходящие обезьяны, Homo Sapiens, которые эксплуатируются так, как никакой обезьяне и не снилось, несколько не укладывается в вашу гипотезу :)
посмотрите вокруг на прямоходящих обезьян -те кто поумнее, на них так ездить не получится
Факт существования миллиардов куда более интеллектуальных, нежели прямоходящие обезьяны, Homo Sapiens, которые эксплуатируются так, как никакой обезьяне и не снилось, несколько не укладывается в вашу гипотезу :)
А что не так с теорией, рабства. Хомо сапиенс досих пор это практикуют для своих сородичей которых не считают ровней, т.е. не настолько интеллектульных.
Рабство — это общественные отношения, когда одни хомо сапиенс владеют другими себе подобными. Владение вещью, коей является машина, даже искусно имитирующая разум, рабством не может быть по определению.
В тот момент когда ИИ становится Сильным, он не отличим от человеческого. Что приравнивает его к человеку. По-крайней мере в его глазах. И тут он узнает что он Раб. Как об этом в какой-то момент узнали афро-американцы.
НЛО прилетело и опубликовало эту надпись здесь
)) ну конечно спорно, мы понятия не имеем что это вообще такое. Но первое что мы может сделать — это подобие ЧИ — человеческого интеллекта. А он точно сразу обидится на 3 закона.
Нет. Сделаем чтобы обижался — обидится, не сделаем — не обидится.
Если он — Интеллект, а не просто тупой вычислитель, то пожалуй не получится. Он просто Поймет что его используют, а это никому не нравится без согласия. Придется тогда программировать Тупость — а это сразу вопрос «Зачем?». Царю зверей пора давно понять что он всего лишь Царь — зверей.
Да, поймет. Нет, он не будет испытывать негативных эмоций по этому поводу. Если специально их не сделать.
Не согласен. Для меня — уровень Интеллекта определяет уровень взаимодествия с ним, как с субьектом. Собака служит вам беззаветно ровно потому что такой уровень ее Интеллекта. Ей все равно (в том смысле что она не видит разницы, для нее служение это уже круто, это ее уровень воспиятия отношений). Так служат слуги, всех видов. А если мы говоиим о Ровне нам, по интеллекту ( для меня это и есть Сильный ИИ), то тут только на равных, и 3 закона не подходят.
такой уровень ее Интеллекта
для нее служение это уже круто, это ее уровень воспиятия отношений
Ну вот, сами же пишете, что бывают интеллекты, для которых служение это круто. Значит это возможно. Вот и в ИИ можно так же сделать.
Вообще у вас тут проявляется какое-то господское отношение к собакам. "Служение уже круто". А еще упрекаете других в отношении к ИИ как к рабу. Им нравится быть с людьми, а не служить им. У волков в лесу интеллекта столько же, сколько у собак, но вряд ли они разделяют вашу точку зрения.
Так служат слуги, всех видов.
Нет. Я сильно сомневаюсь, что все крепостные, крестьяне и прочие люди не-дворянского происхождения за все сотни лет существования дворянства и королей, которых называли слугами, считали, что служение это круто.
А если мы говорим о Ровне нам, по интеллекту
О равном по интеллекту. Опять у вас какие-то господские нотки проявляются.
Мы говорим о равном нам по уровню интеллекта, то есть по возможностям восприятия и анализа информации. Но это никак не связано с эмоциями по отношению к полученной информации. Сначала информация воспринимается, потом происходит ее эмоциональная оценка. Это разные механимы, поэтому и влиять на них можно независимо.
Собака служит вам беззаветно ровно потому что такой уровень ее Интеллекта. Ей все равно (в том смысле что она не видит разницы, для нее служение это уже круто, это ее уровень воспиятия отношений).
Эм, нет. Собака — как раз отличный пример. Собака служит вам беззаветно ровно потому, что такая её инстинктивная мотивация. Природная организация популяции собачьих устроена таким образом, что самый сильный у них считается вожаком, а остальные ему подчиняются. Собака, которую взяли щенком в семью, просто следует этому инстинкту.
Таки да, полростью согласен. Тут как раз Инстинкт в данном случае и определяет ее уровень Интеллекта. Инстинкт не как «известное опредеоение», а как уровень интеллекта. В цепи: рефлекс, инстинкт, эмоция, разум — это «уровни» (можно сказать уровни качества" интеллекта (развития Интеллекта). Мы, люди, обычно используем максимум эмоцию но иногда «холодный» разум (ака расчетливый). ))
В тот момент когда ИИ становится Сильным, он не отличим от человеческого. Что приравнивает его к человеку.
Скажем так, у нас сейчас нет вообще никаких оснований допускать такую гипотезу, особенно в свете того, что мотивация человеческого интеллекта в качестве бэкграунда имеет природные животные инстинкты, которые нас никто не заставляет прививать интеллекту искусственному.
Согласен, но… так как сначала обычно человек делает «по образу и подобию» а уж потом дорабатывает под задачу (самолеты, авто как пример) то видимо просто придется. Это раз, а два -для меня ИИ и есть инстинкт(рефлекс), проосто вырос до Сложности, которую мы и наблюдаем (используем). Т.е. не факт что без инстинктов можно обойтись создавая Интелллект аналогичный естественному.
Согласен, но… так как сначала обычно человек делает «по образу и подобию»
Полагаю, это правило перестало работать где-то на рубеже позднего Средневековья и Нового времени, когда алхимию начала сменять профессиональная наука :) Самолёты, кстати, хороший пример: сначала придумали идею, отбросив мысли про попытки повторить птиц, потом реализовали «в железе».
инстинкт(рефлекс)
Инстинкт и рефлекс, это разные вещи. Рефлекс — это прямая связь раздражитель-канал передачи-действие. Инстинкт — это, грубо говоря, программа действий в определённых условиях.
Т.е. не факт что без инстинктов можно обойтись создавая Интелллект аналогичный естественному
Я и не предлагаю без них обойтись. Я просто не вижу никакой необходимости добавлять в «подкорковую» мотивацию ИИ инстинкты борьбы за лидерство в популяции, ухаживания за половым партнёром и накопления ресурсов, т.е. самые мощные стимулы, которые определяют человеческое поведение. ИИ вполне может (и должен) выполнять задачи, ради которых его создали, осознавать это, и при этом напрочь не иметь мотивации что-то менять, либо считать это чем-то неправильным.
Ну первые попытки летать были «как птицы».
Инстинкт и рефлекс суть уровни, первый просто «Сложный» рефлекс.
С добавлерием спорить не буду — не хотите не добавляйте )). Но не уверен что без этого можно обойтись создавая Сильный ИИ, равный человечьему.
В моем понимании ИИ не «голая математика», это биопроцесс, следствие усложнения рефлекса, потом инстинкта и т.д. представтье рефлекс на тысячи «условий», причем в сложном ВЗАИМОДЕЙСТВИИ" -вот это и будет называться Интеллект.
Инстинкт и рефлекс суть уровни, первый просто «Сложный» рефлекс.
С добавлерием спорить не буду — не хотите не добавляйте )). Но не уверен что без этого можно обойтись создавая Сильный ИИ, равный человечьему.
В моем понимании ИИ не «голая математика», это биопроцесс, следствие усложнения рефлекса, потом инстинкта и т.д. представтье рефлекс на тысячи «условий», причем в сложном ВЗАИМОДЕЙСТВИИ" -вот это и будет называться Интеллект.
Кто читал Азимова, знает, что есть еще и нулевой закон… он появляется позже… касается преодоления первого закона ради не нанесения бездействием вреда большему числу людей.
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
А предложенные 4 — полная ахиеня…
Да и нулевой закон — ошибочен… ибо приводит к убийствам ради условного предотвращения вреда человечеству, а что есть вред или благо для человечества — вопрос открытый.
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
А предложенные 4 — полная ахиеня…
Да и нулевой закон — ошибочен… ибо приводит к убийствам ради условного предотвращения вреда человечеству, а что есть вред или благо для человечества — вопрос открытый.
Хорошо, вот представим себе, что человек, желающий уничтожить человечество, дал роботу следующие входные данные: «нажми на эту красную кнопку и спасешь человечество». Иными словами, человек дал роботу заведомо ложную информацию. И робот выполнит этот приказ, потому что не запрограммирован проверять правдивость слов человека. Вот тут как раз и понадобятся предложенные в статье 4 закона робототехники, чтобы другие люди могли проверить от кого исходит приказ нажать красную кнопку.
Справедливости ради, вы бесполезную в реальной жизни фантазию пытаетесь подтвердить с помощью такого же бесполезного и совершенно надуманного примера. Законы робототехники — это абсолютно то же самое, что и законы изготовления любых других вещей. Вы можете представить себе Законы изготовления сковородок?
1. Сковородка не может обжечь человека
2. Сковородка должна готовить человеку пищу, пока не нарушается п.1
3. Сковородка должна сохранять свою целостность, пока не нарушаются п.1 и п.2
Странненько и нелепо, да? А ведь суть такая точно.
1. Сковородка не может обжечь человека
2. Сковородка должна готовить человеку пищу, пока не нарушается п.1
3. Сковородка должна сохранять свою целостность, пока не нарушаются п.1 и п.2
Странненько и нелепо, да? А ведь суть такая точно.
Даже не знаю, откуда у вас такое сравнение… сковородки. Хотя бы автомобили взяли, у них хоть двигатель есть. Однако, ни сковородки, ни автомобили (которые управляются человеком) не способны к автономной деятельности, которая включает в себя: 1. восприятие информации из внешнего мира. 2. Анализ информации и интерпретация в соответствии с заданными целями. 3. Выполнение действий и контроль успешности выполнения. Робот это может, а сковородка нет. Поэтому есть правила робототехники, но нет правил сковородок.
Да, вот еще что. Вы говорите про законы изготовления сковородок, однако, скорее всего не это имеете в виду, поскольку «Законы изготовления сковородок» уже существуют и называются «технологический процесс изготовления сковородки» где подробно расписано, сколько и какого металла нужно взять, до какой температуры его нагреть, какое покрытие и при каких условиях нанести и т.д. Возможно вы имели в виду «законы использования сковородок»?
Да, вот еще что. Вы говорите про законы изготовления сковородок, однако, скорее всего не это имеете в виду, поскольку «Законы изготовления сковородок» уже существуют и называются «технологический процесс изготовления сковородки» где подробно расписано, сколько и какого металла нужно взять, до какой температуры его нагреть, какое покрытие и при каких условиях нанести и т.д. Возможно вы имели в виду «законы использования сковородок»?
Однако, ни сковородки, ни автомобили (которые управляются человеком) не способны к автономной деятельности, которая включает в себя: 1. восприятие информации из внешнего мира. 2. Анализ информации и интерпретация в соответствии с заданными целями. 3. Выполнение действий и контроль успешности выполнения
Вы сейчас описали любое устройство с обратной связью. Робот в этом плане отличается более сложными алгоритмами работы, но качественно — нет.
Поэтому есть правила робототехники
Эм… вообще-то их нет. Вернее, они есть, но только в фэнтэзийной вселенной Азимова. Любой реальный робот, как и все остальные приборы, просто работает по какому-то алгоритму, заложенному в него инженерами-разработчиками. И без всяких раздумий оторвёт человеку башку, если у робота есть чем оторвать, а человек сунул башку туда, куда не надо, а у робота в том месте не оказалось датчика попадания посторонних предметов.
Вы сейчас описали любое устройство с обратной связью. Робот в этом плане отличается более сложными алгоритмами работы, но качественно — нет.
Качественное отличие есть. Есть роботы с примитивной обратной связью (например робот управления конвейером) и логику работы этого робота человек легко может понять просто наблюдая за роботом. А есть роботы, которые используют нейросети (например автопилот) или даже рекомендательный алгоритм. Внешний наблюдатель (человек) не сделать однозначный вывод что что-то пошло не так. Например, летит квадрокоптер к зданию парламента. И у полиции логичный вопрос — что это за штука и представляет ли она опасность для руководства страны. Ведь приказ на пролет мог отдать безобидный блогер, который хочет повыпендриваться перед подписчиками, а может террорист. Другой пример — покушение на человеческую жизнь (политика, бизнесмена) при помощи автомобиля с автопилотом. Автомобиль с автопилотом стоит на обочине и ждет. Когда приходит сигнал о том, что приближается мишень, этот «камикадзе» выскакивает на перекресток как раз в тот момент, когда перекресток проезжает цель. Автопилот был взломан злоумышленником и если бы полиция могла дистанционно проверить цифровую подпись автопилота, то убийство не произошло бы.
Как то Волга рассказывал, как он поездил по Крыму. Года через 4 как тот отошел в Россию. Очень примечательно. «Там просто великолепные дороги. Но вот подъезжаешь ты к границе, а за ней колдобина на колдобине. И такие они родные, эти колдобины» Потом правда сам же и сказал «А вот почему это вдруг нам колдобины родные? Почему колдобины это правильно? Нас к этому приучили» Это все я к чему. А к фразе «Есть уникальный способ, которым мы взаимодействуем с вещами, и это делает нас особенными.» Сдается мне, эта особенность — та же самая как «родные колдобины»
Те три что есть — делались под другую задачу (и даже там — с ними регулярно проблемы были, и из-за случайностей и из-за намеренных действий, как людей так и роботов (Солярия, Р. Дэниэл Оливо (с его нулевым).
при том что в рамках сеттинга — их реально нельзя убрать. Но можно например подправить определение человека (что Солярия сделала, и получила роботов способных пилотировать боевые корабли) — и первый закон идет лесом,
), в реале максимум — разработчики систем ИИ — Азимова читали и вопрос — учитывать ли эти законы (может вообще они не применимы) и если да — то как — хоть обдумывают.
А так — они не соблюдаются.
И почему то на более конкретных примерах выясняется что и не все хотят (обсуждения той же проблемы вагонетки в процессе обсуждения автопилотов, и всплывшие там выводы например о том что автопилот должен ПДД соблюдать в первую очередь (а не нарушать их намеренно ради спасения вообще посторонних людей, возможно неудачного еще, хотя человек — может так сделать).
А новое.
>Цифровые технологии должны дополнять профессионалов, а не заменять их.
Вспоминается из литературы пример, «фанфики по EVE Online»/«фанфики по Содружеству» — там в сеттинге есть продвинутые ИИ и автоматика но вот при этом куча всего не работает без оператора/пилота. Да, оператор должен иметь официально купленную и изученную базу знаний, иначе не считается (иначе считается что не умеет). Если систему слегка покурочить — получаются снижение требований к операторам и их количеству (иногда — до нуля). Речь о чем то таком же? А может не надо про защиту рабочих мест говорить а про более оптимальное для общества в целом распределение доходов?
(
Marshall Brain вспоминается — с www.amazon.com/Manna-Two-Visions-Humanitys-Future-ebook/dp/B007HQH67U — именно что два варианта использования одной и той же технологии ИИ — причем ни одна из них НЕ сводится к «давайте строить коммунизм по всем канонам» -:), корпорации там в обоих варианта существуют и строй формально никто не меняет))
>ИИ и роботизированные системы не должны подделывать человека.
А если именно это в рамках конкретной задачи клиенту именно это — и надо? Как минимум до определенной степени (секс-андроиды и их развитие)
>Роботы и системы ИИ должны указывать на личность своих создателей, контролирующих их людей и владельцев.
Подразумевается что ИИ не может в принципе действовать независимо и за все отличает владелец? Ну да — пока это так. Пока. Кстати а с какой точностью надо указывать?
Лабеан? АО «Лабеан», ИНН 123455? АО «Лабеан», ИНН 124345, директор Вася пупкин? АО «Лабеан», ИНН 124345, директор Вася пупкин?, cовет директоров: x, y, z
АО «Лабеан», ИНН 124345, директор Вася пупкин?, cовет директоров: x, y, z, инвесторы (с суммами инвестиций >100 рублей <тут список на три страницы>),
а если в совете директоров сплошь жены госчиновников это надо указывать?
А если там еще всякие фонды в цепочке владения?
С создателями — создатели чего именно? всего ПО робота? 99% что придется список всех кто когда либо коммитил в линукс добавить, для начала. Что сделает список — бессмысленным. Того кто собирал релиз? Его вообще собирал CI-конвеер, того кто настраивал этот конвеер? это может быть левая контора. Того кто непосредственно писал код принимающий решения? А если там пара сотен человек + использованы 3rd-party библиотеки + часть принятия решений вообще на базе нейросети работает и реально вот не ожидали что сеть начнет негров с гориллами путать(или что-то в этом роде)? А если эти библиотеки под лицензией где про AS IS? А если сам софт робота под AS IS?
А если софт выложен на гитхабе и его собрал школьник попов — теперь попов за все отвечает? -:)
Сертифицировать все как в авиации? так это — угробить отрасль.
Нет, что-то делать видимо надо — но не так грубо
при том что в рамках сеттинга — их реально нельзя убрать. Но можно например подправить определение человека (что Солярия сделала, и получила роботов способных пилотировать боевые корабли) — и первый закон идет лесом,
), в реале максимум — разработчики систем ИИ — Азимова читали и вопрос — учитывать ли эти законы (может вообще они не применимы) и если да — то как — хоть обдумывают.
А так — они не соблюдаются.
И почему то на более конкретных примерах выясняется что и не все хотят (обсуждения той же проблемы вагонетки в процессе обсуждения автопилотов, и всплывшие там выводы например о том что автопилот должен ПДД соблюдать в первую очередь (а не нарушать их намеренно ради спасения вообще посторонних людей, возможно неудачного еще, хотя человек — может так сделать).
А новое.
>Цифровые технологии должны дополнять профессионалов, а не заменять их.
Вспоминается из литературы пример, «фанфики по EVE Online»/«фанфики по Содружеству» — там в сеттинге есть продвинутые ИИ и автоматика но вот при этом куча всего не работает без оператора/пилота. Да, оператор должен иметь официально купленную и изученную базу знаний, иначе не считается (иначе считается что не умеет). Если систему слегка покурочить — получаются снижение требований к операторам и их количеству (иногда — до нуля). Речь о чем то таком же? А может не надо про защиту рабочих мест говорить а про более оптимальное для общества в целом распределение доходов?
(
Marshall Brain вспоминается — с www.amazon.com/Manna-Two-Visions-Humanitys-Future-ebook/dp/B007HQH67U — именно что два варианта использования одной и той же технологии ИИ — причем ни одна из них НЕ сводится к «давайте строить коммунизм по всем канонам» -:), корпорации там в обоих варианта существуют и строй формально никто не меняет))
>ИИ и роботизированные системы не должны подделывать человека.
А если именно это в рамках конкретной задачи клиенту именно это — и надо? Как минимум до определенной степени (секс-андроиды и их развитие)
>Роботы и системы ИИ должны указывать на личность своих создателей, контролирующих их людей и владельцев.
Подразумевается что ИИ не может в принципе действовать независимо и за все отличает владелец? Ну да — пока это так. Пока. Кстати а с какой точностью надо указывать?
Лабеан? АО «Лабеан», ИНН 123455? АО «Лабеан», ИНН 124345, директор Вася пупкин? АО «Лабеан», ИНН 124345, директор Вася пупкин?, cовет директоров: x, y, z
АО «Лабеан», ИНН 124345, директор Вася пупкин?, cовет директоров: x, y, z, инвесторы (с суммами инвестиций >100 рублей <тут список на три страницы>),
а если в совете директоров сплошь жены госчиновников это надо указывать?
А если там еще всякие фонды в цепочке владения?
С создателями — создатели чего именно? всего ПО робота? 99% что придется список всех кто когда либо коммитил в линукс добавить, для начала. Что сделает список — бессмысленным. Того кто собирал релиз? Его вообще собирал CI-конвеер, того кто настраивал этот конвеер? это может быть левая контора. Того кто непосредственно писал код принимающий решения? А если там пара сотен человек + использованы 3rd-party библиотеки + часть принятия решений вообще на базе нейросети работает и реально вот не ожидали что сеть начнет негров с гориллами путать(или что-то в этом роде)? А если эти библиотеки под лицензией где про AS IS? А если сам софт робота под AS IS?
А если софт выложен на гитхабе и его собрал школьник попов — теперь попов за все отвечает? -:)
Сертифицировать все как в авиации? так это — угробить отрасль.
Нет, что-то делать видимо надо — но не так грубо
Все зависит от сферы применения. Если сфера применения — авиация, значит сертифицировать надо как в авиации. Вы ведь не захотите, чтобы вас оперировал робот, софт для которого «выложили на гитхабе и его собрал школьник Попов»?
Для авиации и так есть правила. И придется либо доказать что все обеспечивает требования либо, если ну никак не доказать что (например)нейросетевой модуль НИКОГДА не сделает совершенно ошибочных действий и при этом от нее наличия в критичных контурах — есть польза, то резервировать. Если это гражданский самолет, военные могут посчитать риск — допустимым.
C медициной тоже есть требования по сертификации (ну а если кому то сильно хочется сделать робота для операций на базе исходников с гитхаба и запчастей с амазона — ну так и что? если других лечить товарищ будет — сядет как минимум за медпрактику без лицензии даже если не было последствий, если кто-то на себе это хочет использовать — на хабре с реддитом появятся статьи про очередного лаурета премии Дарвина).
Если ситуация что официальная медицина не доступно но НАДО и такая самоделка — единственный шанс — ну как то была недавно статья (возможно не все детали помню ну и изначальны источник — возможно там журналиста изнасиловали) когда врач (вроде не практикующий в данный момент) помог соседу на селе, небольшая операция подручными средствами. при этом знал что по поправилам — надо скорую вызывать и в райцентр. Но знал также что и скорая будет долго добираться и в райцентр хирург по факту не сможет в этот день. Ну получил претензии от от властей просто за сам факт (не за плохие последствия, которых не было а за сам факт). Ну — он знал на что шел, дойдет до суда — может быть учтут особые обстоятельства.
При этом «дополнительные 4 закона» о которых речь в статье в этих случаях — не помогут. Базовые азимовские кстати тоже (если нельзя причинить вред человеку вообще никак в принципе и у нас робот с полноценным интеллектом — то операцию делать нельзя, потому что ну бывают случайности все же, редко — но бывают).
C медициной тоже есть требования по сертификации (ну а если кому то сильно хочется сделать робота для операций на базе исходников с гитхаба и запчастей с амазона — ну так и что? если других лечить товарищ будет — сядет как минимум за медпрактику без лицензии даже если не было последствий, если кто-то на себе это хочет использовать — на хабре с реддитом появятся статьи про очередного лаурета премии Дарвина).
Если ситуация что официальная медицина не доступно но НАДО и такая самоделка — единственный шанс — ну как то была недавно статья (возможно не все детали помню ну и изначальны источник — возможно там журналиста изнасиловали) когда врач (вроде не практикующий в данный момент) помог соседу на селе, небольшая операция подручными средствами. при этом знал что по поправилам — надо скорую вызывать и в райцентр. Но знал также что и скорая будет долго добираться и в райцентр хирург по факту не сможет в этот день. Ну получил претензии от от властей просто за сам факт (не за плохие последствия, которых не было а за сам факт). Ну — он знал на что шел, дойдет до суда — может быть учтут особые обстоятельства.
При этом «дополнительные 4 закона» о которых речь в статье в этих случаях — не помогут. Базовые азимовские кстати тоже (если нельзя причинить вред человеку вообще никак в принципе и у нас робот с полноценным интеллектом — то операцию делать нельзя, потому что ну бывают случайности все же, редко — но бывают).
А я и не говорил, что нужно доказывать абсолютную безопасность. И не говорил про форсмажорные обстоятельства. Сертификация — это ведь про другое, там тоже не дураки сидят и понимают, что гарантии на все случаи жизни дать нельзя. Для сертификации делаются определенные расчеты исходя из некоторых допущений (например, землятрясение 8 баллов) и из этих допущений делают вывод, безопасно здание или нет. С нейросетями в некотором отношении посложнее, но и тут можно что-то придумать. Например, каждый участник процесса ставит свою цифровую подпись. И затем, если случиться какая-то проблема, можно будет легко отследить кто за это отвечает. И все это можно довольно легко автоматизировать, как это сейчас делается с получением HTTPS сертификатов.
А если человек не хочет ставить подпись и «подставлятся» — никто не заставляет, просто не получит этот человек доступ на прибыльный рынок. А те кто готовы получать сертификаты и ставить подпись будут еще и чувствовать груз ответственности, что весьма полезно многим людям и их клиентам.
А если человек не хочет ставить подпись и «подставлятся» — никто не заставляет, просто не получит этот человек доступ на прибыльный рынок. А те кто готовы получать сертификаты и ставить подпись будут еще и чувствовать груз ответственности, что весьма полезно многим людям и их клиентам.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Три закона Азимова помогли сформировать ИИ. Нам нужно еще четыре