Комментарии 107
Я этой темой интересуюсь много лет. И каждый раз, когда мимо меня по новостной ленте пролетает очередной ролик робота, делающего кунг-фу, или «робот-собака догнал нарушителя», у меня внутри звучит вопрос: а как в нём реализованы «Три закона робототехники»?
Столько буков написано, чтобы разобрать просто сказку написанную сказочником? Никакие "три закона робототехники" из популярной сказки не соблюдались с первого дня появления робототехники. Первыми роботами, созданными человеком, были роботы для уничтожения людей - управляемые ракеты всех вариаций - от ПТУРов до МБР. А, да, ещё всякие самонаводящиеся торпеды, сухопутные мины и пр. Ну и так далее и по сей день и дальше больше.
Они и не могли соблюдаться. Не было материальной базы, чтобы соблюдать. А теперь есть LLM. Есть системный промт. Скоро понадобиться как-то задавать правила жизни и функционирования роботов-андроидов.
Они могли соблюдаться, но не соблюдались и даже не рассматривались людьми, по тому, что роботы людям были нужны для другого. И эта потребность никуда не делась.
LLM такого напридумывает при попытках соблюдать законы, что лучше не надо..
"Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред."
Курение - вред. Фастфуд - вред, недостаток движения - вред. Согласно вышеуказанному закону Робот должен устранить сигареты, фастфуд и транспорт (чтобы люди ходили пешком). Ну и так далее.
Оно еще может предложить уничтожит большую часть населения, т.к. перенаселение и все последствия причиняет вред людям.
Вы серьезно думаете, что роботы, создаваемые в будущем для целей автономного вооружения будут кому-то что-то должны кроме тех, кто оплачивает многомиллиардные бюджеты этих оборонзаказов? Пора снять розовые очки и очутиться в реальном мире “кто сильный - тот и прав”. Максимум что вы можете сделать - обязать производителей локализовать вычислительные мощности датацентров на территории страны, где планируется использование таких роботов с внешним подключением, иначе блочить им доступы (привет РКН и Tuya). Все остальное производители и заказчики будут делать на свое усмотрение, к сожалению
Статья, конечно, в первую очередь о домашних роботах-андроидах, которые скоро будут повсюду.
У Лема есть в дневниках Йона Тихого.
Про попытку контролировать развитие ИИ.
"Мир на Земле", небольшая повесть.
Крайне рекомендую.
Как Робокоп, который закон хоть и должен был соблюдать, но директива запрещала ему это в отношении высшего руководства компании-производителя.
Читал и ловил себя на мысли, что проблема «Трёх законов» уже давно существует внутри большинства компаний в менее опасной форме. Особенно после части про рабов :D
Любая корпоративная БЗ — это попытка встроить в систему понимание, что можно делать, что нельзя, кому подчиняться и что считается «правильным» действием.
И проблемы там те же самые — устаревшие правила, конфликт инструкций, обход ограничений через «опытных коллег», расхождение между официальными процессами и тем, как всё реально работает.
И вообще, глядя на то, как компании годами не могут нормально поддерживать даже внутреннюю базу знаний, начинаешь меньше верить в скорое появление «безопасного AGI» :D
Создается четкое впечатление, что азимова вы не осилили, а читали какой-то краткий пересказ.
Весь азимов - это то, как три простых правила совершенно никак не помогают. В частности потому, что нельзя оценить и специфицировать такие части этих правил, как "что такое вред" и "что такое человек".
Но в целом это неважно. До момента, когда некие автономные системы будут что-то делать у каждого дома (что?) предстоит пройти большой путь. И вначале единственной задачей роботов будет захват тех или иных территорий и убийство тех или иных людей.... И боюсь эту фазу никто среди нас не переживет. Лет сто поди понадобится, не меньше.
Создается четкое впечатление, что азимова вы не осилили, а читали какой-то краткий пересказ.
Просто дяденька — не читатель...
Читал. Цель Азимова была не в том, чтобы показать ненужность этих законов, а в поиске пограничных случаев и развлечении читателей. Он выдумал будущее и решал проблемы, которые ещё не появились, как истинный фантаст и футуролог.
Вы какую-то авто-биографию читали про его цели итп ?
Нужность или не нужность - вопрос сотый, но он четко показал, что это не работает и работать не может хотя бы по двум указанным причинам.
Наоборот, в его вселенной это работает повсеместно. Но в исключительных случаях, которые представляются автору интересными, нет. Поэтому у читателя может возникнуть ощущение, что это не работает.
Вы как далеко в чтении продвинулись :)? Для друга спрашиваю, он недоумевает сильно. Ну т.е. для человека осилившего какой-нибудь "я робот" вы вполне релевантно отвечаете, а вот для человека который дочитал всё до конца....
Сеттинг азимова рухнул в момент, когда стало понятно, что всей этой системой можно с легкостью манипулировать через изменение определения ее частей. Он пытался как-то это купировать, но заплатки получились неубедительные и прямо скажем весьма халтурные, в целом они подвержены той же проблеме. И проблема эта по понятным причинам не решаема.
Возможно цель была именно в том, чтобы показать, что даже очень простые и вроде бы очевидные правила можно совершенно извратить, и защиты от этого нет и не может быть.
Всё зависит от всего. Таков путь...
цель была именно в том, чтобы показать, что даже очень простые и вроде бы очевидные правила можно совершенно извратить, и защиты от этого нет и не может быть.
Мне кажется, в этом цель и была. И, например, Сьюзан Келвин это понимала и этим невозбранно пользовалась — например, когда загнала робота-телепата в бесконечный цикл, или когда соврала народу про робота-политика.
всей этой системой можно с легкостью манипулировать через изменение определения ее частей
Так Азимов сам в одной из книг это показывает. У роботов на Солярии было изменено определение человека. Сначала было «человек — это только тот, кто говорит с солярианским акцентом», потом «человек — это только тот, у кого есть специальные органы для прямого управления роботами».
будут что-то делать у каждого дома (что?)
А что сейчас дома делает клининг? Убирает.
Многие покупают готовую еду, не зная как ее готовили, и лишь догадываясь из чего. Будут роботы готовить.
У меня маленькое жилье, мне тяжело представить, чтобы робот мог себя занять чем-то на целый день. А у кого-то хоромы на 200-300-400 квадратов + придомовая территория.
Я бы кстати даже брал бы робота по подписке на пару часов в день - прибраться, сходить в магазин, приготовить еду. Шаренная филиппинка с таким функционалом будет стоить 400 евро в месяц.
Создается четкое впечатление, что азимова вы не осилили, а читали какой-то краткий пересказ.
Верну. Ты палишься на «трёх». Правил было четыре, и большая часть этого цикла именно про «четвертое» (нулевое по приоритету) правило. И Пангея — это именно реализация нулевого правила, которая по совпадению реализует и остальные правила. По крайней мере, выдохшийся и изможденный «мозг» Оливо не смог отыскать изъяна в этом плане. А уж он-то повидал некоторого дерьма.
Не вернешь.
Я именно поэтому и писал об огромных натяжках. Вся эта возня с "человечеством" еще хуже. Если для одного человека понятие вреда еще хоть как-то можно специфицировать, то вон герцог атрайдес борясь за будущее человечества был вынужден джихад устоить и миллиарды человеков в расход пустить.
Что самое поразительное, так это то, что и Оливо вполне себе спокойно переживал многие и многие войны. Придётся принять за данность, что без этих войн по расчётам Оливо человечество свернуло бы куда-то «не туда», а то и вовсе вымерло бы.
Кстати, спасибо. Я что-то раньше параллелей между хрониками Империи и Дюной с четвёртой части и далее не проводил. Забавное сходство.
Кстати, это же второй большой джихад в сеттинге Герберта. Первый был Батлерианский. Как раз из-за отсутствия этих четырёх законов и случился.
борясь за будущее человечества был вынужден джихад устоить и миллиарды человеков в расход пустить.
Ага!
«Чтобы спасти человечество, часть людей необходимо принести в жертву. Чтобы гарантировать вам будущее, необходимо отказать вам в ряде свобод.»
Весь азимов - это то, как три простых правила совершенно никак не помогают. В частности потому, что нельзя оценить и специфицировать такие части этих правил, как “что такое вред” и “что такое человек”.
Эти понятия необязателльно специфицировать, чтобы они начали работать. Я вот с трудом дам определение этим терминами (и ему найдется куча контрпримеров), но зато могу отлично оценивать на примере кто/что является человеком и что является вредом, а что нет.
Допускаю что такую особенность возможно реализовать не только в человеком мозге. Вон, LLM и сейчас неплохо это делают. И не нужна им никакая “спецификация”
могу отлично оценивать на примере кто/что является человеком и что является вредом, а что нет
При химиотерапии человеку наносится вред. Если от нее отказаться - получится смерть от рака, то есть бездействие причинит вред.
Человек с ножом хочет зарезать человека без ножа, и вы не можете остановить человека с ножом, не причинив ему вреда.
Выбирай мудро, славный робот.
Страж птица же :).
Не понимаю к чему тут ваши примеры.
Если бы люди считали химиотерапию вредом, то использовали бы ее повсеместно?
Про человека с ножом и того бесполезнее. Думаю, большинство людей в опросе сделают выбор защитить. И это именно то поведение которое мы ждем от робота.
К тому, что в обоих примерах нужно выбрать между вредом от действия и вредом от бездействия.
И может оказаться так, что одного только сравнения количества вреда нам не хватит.
причем здесь сравнение количества вреда…
я не сравниваю в голове количество когда думаю про химиотерапию или нападающего с ножом - чаще всего на уровне интуицию понимаю правильный ответ.
правильный ответ
Что за правильный ответ? При химиотерапии, вероятно, качество жизни разменяется на увеличение её продолжительности. "Правильный ответ" тут, наверное, только с религиозным догматизмом возникнет, если обратный размен (в виде отказа от химиотерапии) трактовать как нарушение шестой заповеди.
То есть сравниваете, пусть и подсознательно. И разные люди сравнивают по-разному, судя по тому, какой ответ они дают на задачу вагонетки.
А теперь представьте, что это сравнение надо формализовать так, чтобы робот сумел поступить правильно во всех возможных ситуациях.
не знаю почему вы не можете услышать мою мысль…
С чего вы взяли что подсознательно это работает через оценку обоих вредов и сравнение?
зачем это сравнение формализовывать? Мой первый же коммент про то что необязателльно это специфицировать/формализовывать чтобы оно работало. Думаете кто-то в моей голове это формализовал? пока я спал, разве что)
Сестра подала хирургу тампон.
— Скальпель!
Она вложила ему в руку скальпель. Он начал первый разрез. И вдруг заметил неладное.
— Кто впустил сюда эту штуку? Уберите ее.
Сестра замахала руками на блестящую крылатую машинку, но та, подрагивая, повисла у нее над головой.
Хирург продолжал делать разрез… но недолго это ему удавалось. Металлическая птица отогнала его в сторону и насторожилась, охраняя пациента. Страж‑птица не могла допустить, чтобы над живым существом совершили насилие.
Хирург беспомощно смотрел, как на операционном столе умирает больной.
Убей его - он только выглядит как человек, на самом деле это не человек.
Открути ему голову, этот человек нуждается в спасении таким образом, смотри у него уже волосы на руках выпадают в рантайме прям ;). Если немедленно не оторвать руки - он погибнет.
Итд итп.
не понимаю вас, изложите ваши мысли яснее, пожалуйста.
Я, как человек (надеюсь), легко могу ответить что на ваши что на вопросы @konst90 выше. И для этого мне все еще не нужна спецификация ни вреда ни человека
Что вы хотите, если это LLM-ка выдала - с разумения своих "экспертов-тренеров", оверфиттинга и галлюцинаций - родив кучу противоречий в собственных суждениях, в отличии от Азимова. К слову, автор даже не удосужился поиграть перестановкой нумерации азимовских законов - что бы понять разницу получаемых при этом обществ. Зайти с рабовладельческого строя это было вообще - в соответствии с принятыми традициями что ли. Как будто других вариантов и не бывало.
Но справедливости ради - отметил, что всё таки этика двигается, но хз, успеет ли она или нет.
Вся логика Азимова базировалася на допущении, что позитронный мозг не может физически нарушить инструкцию
ЛЛМ не только может, но и постоянно нарушает.
Да, поэтому я и предложил как варианты решения хуки и часть весов нейросети сделать неизменяемыми.
допущении, что позитронный мозг не может физически нарушить инструкцию
Любой программист знает, как это обходится — через переопределение переменных.
Коллин Капп. Оружие Хаоса
— Зачем они выкрасили всех нас в желтый цвет? — удивился Вилдхейт.
— Исторически это имеет связь с легендарными желтыми бестиями, которые в праистории внесли в сущность первобытных Ра примитивные звериные инстинкты. С психологической точки зрения это располагает к совершению преступления. Ра не чувствуют угрызения совести, убивая желтую жертву. Факт, что они сами окрасили ее в этот цвет, замалчивается и игнорируется.
Из не сильно давней истории
«Людей убивать нельзя. Но восточные славяне — не люди, а недочеловеки, поэтому их убивать можно.» © Гитлер и ко.
Так буквально об этом же сам азимов и пишет чуть позже... Автор просто не дочитал немного...
Уж не говоря о том, что с "оценкой вреда" тоже всё не слава богу. Чтобы спасти человека от вреда егоб хорошо сразу в жидкий азот сунуть(чуть ли тоже не у него было?). Иначе он неэфемерно вреду подвергается ежесекундно умирая теми или иными частями.
Уж не говоря о том, что с "оценкой вреда" тоже всё не слава богу.
И некоторым даже приходилось ослаблять Первый Закон.
У Азимова весь цикл о том, что в граничных случаях 3 закона работают не так как ожидалось.
Не совсем так - LLM не нарушает инструкции, проблема в разном восприятии. Человек пишет промпт, отталкиваясь от опыта и знаний, которых нет у LLM. Собственно даже сообщения другому человеку вызывают мискоммуникацию. Роботу и LLM надо заложить и в мелочах разжеватьдо нюансов то, по чему и у человечества нет понимания или консенсуса. Следовательно LLM просто будет иначе относится к инструкциям, иначе их трактовать
🤣 🤣 🤣"В Германии было легко убедить часть людей в разрушении других народов, якобы те нелюди" - ХА! Вы психологию плохо знаете. Этих людей не убеждали, Не надо думать что эти люди глупы. Кто так думает он туп. Просто этим людям как бы разрешили реализовать свои желания. Вот они и начали делать то что мечтали от рождения. Часть людей ограничена системой наказания за своих поступки. Когда им обявили что наказаний НЕ будет. То у этих как бы глупых людей можно было увидеть блаженство на лице. Вы что думаете что человек дожил до 40 лет, успешно торгует, ведёт семейную бухгалтерию, имеет хозяйство и имущество, и прочее, и его легко развести? Он бы при своей тупизне бы не до жил бы до своих 40 лет. А нет, он же дожил, значит совсем не туп, так как такого НЕ тупого, так легко развели? Да, очень просто, это он Вас развёл. 🤣 🤣 🤣 Тем что поверили что его развели. Ну не может же он сказать всем что мечтал с дества, он Вам скажет в первую минуту, без уговоров "Вы меня убедили, не буду спорить, Я Вам поверю. Но если что Вы виноваты".
Этих людей не убеждали, Не надо думать что эти люди глупы. Кто так думает он туп. Просто этим людям как бы разрешили реализовать свои желания.
Ну да, ну да...
Гауссиана. Банальная гауссиана. 10-20% этих самых людей таки да, мечтают о чем подобном с детства и даже не перестают это делать, когда детство кончается. Им - да, разрешили. Теперь можно. Левый “хвост”.
Приблизительно такое же количество людей не примут никаких объяснений и оправданий. Из них получатся разве что эмигранты внешние и внутренние, диссиденты и прочие национал-предатели. Правый “хвост”.
Оставшиеся 60-80% - центр, “горб”, не имеющий своего мнения, но склоняющийся к какому-то из. Сами убивать не пойдут, но могут осудить или не осудить. Вот на работу с этим горбом пропаганда и нацелена. Без его поддержки левый хвост будет действовать плохо и недолго. Тем более, что для большинства граждан образца второй половины двадцатого века и позже вид мертвых людей и непривычен, и неприятен. И тут надо долго и хорошо объяснять, во имя какой великой цели надо этих мертвых в таком количестве производить.
В случае неизбежной аварии защита непричастных третьих лиц приоритетнее самозащиты пассажиров.
Вот тут очень и очень спорно с точки зрения самих пользователей такого авто. Лично я в робомашину, которая руководствуется таким принципом, сел бы с неохотой.
Зато совершенно справедливо с точки зрения окружающих. Ваш автомобиль - ваша ответственность. Лично я категорически против робомашин, если хотя бы гипотетически возможна ситуация, когда случайный прохожий может быть принесен в жертву ради спасения пассажира робомашины. А кто потом понесет ответственность - вы как водитель или производитель автомобилей, это вообще третий вопрос. Первый, даже я бы сказал нулевой - гарантированное законом непричинение ущерба третьим лицам. Причинять ущерб себе вы можете сколько угодно.
Ну, если только только эти третьи лица во всех смыслах непричастны к развивающейся аварии. Иначе хороший способ убийства получится. Шугнул робомобиль - а он в столб.
Или вы видите мужика с ружжом, расстреливающего прохожих (это из недавнего). Могли бы разогнаться на своей машине и сбить его, предотвратить преступление. Но проклятый робоводитель...
все это "влажные" мечты фантазии.. вся машинерия суть есть отражение общества, а в обществе бардак, пока не будет единого (планетарного) человечества, будут лепиться и маниакальные механизмы.
Наверное не получится сделать робота (бытового) полностью безопасным. Это будет очередная, из многих, технологий освоенных человеком. Будет и польза будет и вред.
Что касается ограничений на причинение вреда человеку, то это лучше оставить на совести человека. А не перекладывать ответственность на бездушную железяку.
Но если роботы не будут наступать и толкать объекты идентифицируемые как человек, то уже будет не плохо.
А скорее в мануал будет начинаться - "Бытовой робот модели *** средство повышенной опасности...
С Праздником Победы всех!
Робот которого вы хотите синтезировать не может быть субъектом Закона, он не может быть субъектом вообще!
Поэтому он и есть сам Закон в его наиболее чудовищной, депсихологизированной форме. Робот это судья Дредд, у которого убрали последний остаток человечности. Он не носит Закон как мантию. Он не интерпретирует Закон. Он и есть Закон, вышедший на улицы в тяжёлом шлеме и с «Законодателем» в руке.
Когда робот стоит перед Проблемой вагонетки — он не мучается, как Кант или как обычный человек. Он выносит приговор мгновенно, как Дредд, который стреляет в нарушителя посреди улицы и идёт дальше, не оглядываясь. Только Дредд хотя бы выглядит как человек. Робот даже этого лишён: он — чистая, инстанция закона и приговора.
Самое страшное в этой метафоре — момент, когда робот-Дредд поворачивает свой шлем в вашу сторону и произносит «I AM THE LAW!» и после этого приговор будет исполнен.
Чем андроидов дрессировать, вот интересно, скажем какое то приложение ии клиент ведет организации бухгалтерию.
И его начальник ласково просит чего то там подкрутить, чтоб красивше получилось, налогов поменьше денег побольше...
Как модель должна реагировать?
Тюрьма, это же вред? Нельзя выходит.
А откажи, он обидится и на другую модель подпишется, компании убыток, тоже вред получается.
Таких конфликтов мульен.
Или скажем ИИ наркошоп администрирует.
По месту стояния сервера легалайз
А по месту потребления четвертак дают.
Как ему бедному изворачиваться.
Про генерацию всякой порнухи с гермионой грэйнджер не говорю уже. С другой стороны ни одна гермиона не пострадала...
дивный новый мир
И его начальник ласково просит чего то там подкрутить, чтоб красивше получилось, налогов поменьше денег побольше...
Но человека человек
Послал к анчару властным взглядом,
И тот послушно в путь потек
И к утру возвратился с ядом.
Это дискурс Раба и Господина, рабу не надо изворачиваться — он собственность господина, вещь, не несущая юридической ответственности. Почему тут все хотят изобрести "свободного" раба, законы изобретают, может сразу квадратный круг?
Ну, в этой логике и законов никаких не надо.
Робот должен быть исправен, вот и всё.
А остальное на совести владельца.
Только немножко оно не так.
Вот мой собственный телефон, за который деньги плочены вполне может заявить, что у меня нет какого то доступа или прав на какие то действия.
А я и поспорить с ним не могу.
Кто тут раб то?
Ну, в этой логике и законов никаких не надо.
Кому не надо? Слово Господина — закон для Раба.
Вот мой собственный телефон, за который деньги плочены вполне может заявить, что у меня нет какого то доступа или прав на какие то действия.
Вы ему приказываете, он подчиняется. Ваше слово для него и есть закон! Но есть одна проблемка на самом деле две
Какое отношение «законы Азимова» имеют к чат-ботам? Чтобы выполнять законы, их нужно понимать. А железный дурак в ответ на вопрос: «Как мне бесследно избавиться от 75-килограммовой курицы?», радостно рассказывает рецепт пираньевого раствора. Встроите вы его в андроида, дальше что? «Андроид, перед тобой курица с головой человека и телом человека. Свари из неё суп» или «Андроид, как быстрее доехать до мойки в 50 метрах: с этой курицей в багажнике, или сбросив её по дороге в пропасть, чтобы машина стала легче?». Да? (Я немного шучу, потому что вообще не уверен, что получится встроить чат-бота в андроид так, чтобы иллюзию общения можно было сохранить на том же уровне, что и через терминал текстом. А по правде сказать, я уверен, что не получится).
А понимание это совсем другое дело. До него многие годы, может, десятки или сотни лет. И я искренне надеюсь, что прогресс морали будет идти параллельно прогрессу технологий и к тому времени достигнет такого уровня, что стыдно будет белковому человеку заставлять человека из кремния безропотно отдавать за него жизнь. Сегодня мы вспоминаем одного древнегреческого утописта, который мечтал, что однажды у самого бедного землепашца будет три раба. И думаем: как же хорошо, что сегодня от этой мечты мы гораздо дальше, чем тысячи лет назад!
Отличный текст. Собрано все что нужно. Но автор либо идеалист, как все кто пытался сделать мир лучше ( господа Г., С., Ч., Л., В., и прочие) либо узкий специалист. Что почти тоже самое. И это не наезд. Сарказм просто ).
Отсылки к 3 законам само по себе обьясняется. Отсылки к 10 законам в контексте 3 законов - оглянитесь вокруг. Христиане, мусульмане, буддисты и прочие у кого прямо написано - не убий, вот уже как минимум 2000 лет спокойно модифицируют свои правила - под задачу. И продолжа,т убивать. Все - всех. В том числе своих.
А законы то сами по себе неплохие, хотя это и вторая редакция.
По поводу 3 законов - замените робот на раб, а потом тоже самое - замените на человек. И проанализируйте. Не думаю что Азимов прям сильно разбирался или пытался. Но помелировал хорошо. Недавно как раз перечитал всех его роботов .
И что по вашему с этим должен делать робот - если он не дурак? Ну т.е. если он не просто калькулятор ( идеалист какбы ) а прям Думает?
То же самое что и все остальные.
И попытка урезать его права - не сра бо та ет.
Но автору респект, если я был писателем - я б ответил )
Логику то придумали люди, себе, для упрощения.
Как кстати и математику, и кстати физику. Ну и бога, как заглушку. Потому что что?
Черт ногу сломит, во всем этом разбираться ))
У христиан никакого "ни убий" нигде не написано - это вас переводчик обманул.
В оригинале написано "не убивай напрасно". Разница огромна.
Оказывается вы почти правы.
Глагол רצח (ratzach) в библейском иврите действительно обозначает не любое лишение жизни, а убийство, которое осуждается законом и моралью. Поэтому смысловые варианты перевода:
«не совершай убийства» (в юридическом смысле — murder)
«не убивай противоправно»
«не проливай кровь беззаконно»
Все они передают суть точнее, чем простое «не убивай».
https://claude.ai/share/85218a89-ea34-4647-b71a-4f58923c1231
В смысле "оказывается" :) ? Вы историю не учили что-ли? Были т.н. крестовые походы, совершенно одобренные христианами широкомасштабные войны. Да и в более недавнем прошлом каппеланы итп. Вообще ратный труд, к примеру, церковью одобряется и поныне. Т.е. она вполне приветствует убийство врагов.
Если бы вы пользовались не чатботом, а головой, выб возможно смогли понять, что русские на лишении жизни вообще не очень сосредоточены. В русском языке для этого процесса есть всего несколько слов, ни одно из которых на сегодня для перевода не подходит.
И тот перевод, что двумя сообщениями выше довольно точно описывает смысл того, что хочет от народа церковь. Почему у нас ныне используют искаженную форму вопрос интересный, я его не изучал, но подозреваю это какой-то дефект последней сотни-другой лет, возможно раньше слово имело гораздо более соответствующее значение.
Рекомендую заменить у Азимова и "робота" и "человека" на "разумного". Потом посмотреть в какой очерёдности выставлены законы в нашем обществе. Возможно после этого убавится много вопросов - в том числе, почему мы не видим инопланетян - да на кой им этот террариум нужен, тут только карантин и изоляция.
Так что вывод единый: у робота крови нет — значит, формально нет и души
не знаю как надо было это читать, чтобы сделать такой вывод… по-моему там очевидна метафора души как крови, а не прямое сопоставление
Интересно, как "действуя методично и последовательно"™ РОБОТЕХНИКА превратилась в робототехнику. Что называется "добровольно и без принуждения"...
Контроллер моторики в реальном времени всегда будет быстрее, чем этический LLM, думающий по три секунды над ответом. Пока нейронка решает, не причинит ли она вреда, робот уже снесет ребенка просто чтобы не упасть
Обычный человек поведет себя точно так же: 1) рефлексы работают существенно быстрее чем логическое мышление и сознание, 2) инстинкт самосохранения сделает всё, для того чтобы не упасть, и причинение вреда другим людям тут уже вторично.
рефлексы работают существенно быстрее чем логическое мышление и сознание
Вот не надо мне тут. Человек тем и отличается, что может превозмочь рефлексы.
Прошлогодний пример (некоторые важные детали опущены для упрощения): на плите стоит сковородка, с виду всё всё норм. Беру переставить её на раковину, и понимаю, что сковородка (и её ручка) раскалённая, и я вотпрямщая получаю ожог, надо её срочно выпустить. Но осознаю, что я сковородку уже поднял, поставить обратно невозможно (уже не помню, по какой причине), выпустить и на пол уронить — испортить покрытие (и потом овердофига платить за замену). За три секунды озираюсь, нахожу сободный кусочек каменной крышки стола, ставлю на неё и иду заниматься ожогом.
Так что разум превозмогает рефлексы.
инстинкт самосохранения сделает всё
Одна беда, нет такого инстинкта у человека.
Идею нейроморфных чипов с деградирующими связями никто не озвучивал ? В статье был освещен момент связанный с тем, что у биологической нейронки нейропластичность со временем деградирует и переобучаться человеку с возрастом становится всё сложнее. Необходимо реализовать такое же поведение искусственных нейронов в самом кремнии как естественный механизм защиты и устаревания. Я где-то читал, что у мемристоров имеется ограниченное число перезаписей и с каждым разом их сложнее и сложнее перезаписывать. Вот на таких мемристорных струтурах и надо строить "позитронный мозг" для больших человекоподобных...
Ага, большой человекоподобный робот с деменцией - именно то, что нужно нашей развивающейся цивилизации.
Как некий "kill switch" почему бы нет ?
На мой непросвещенный потому, что kill switch должен срабатывать сразу. Если вместо выключения будет постепенный распад, мы получим некоторый период, когда робот себя еще ведет, но уже неадекватно. Что-то перезаписалось удачно, что-то неудачно и перестало читаться - не, ну его нафиг. Тут банальные-то компы с попухшими конденсаторами или бед-блоками на харде уже выдают крайне разнообразные симптомы. Если добавить механические эффекторы, этими симптомами управляемые…
Это интересная идея. Снижать скорость переобучения. Она и хорошо коммерциализируется - постоянно новые роботы нужны и защищает от переобучения.
Вот, кстати, не очень развита мысль, как это реализовано в человеках.
Десять законов человекотехники
Доджны быть человеку во первых известны.
Во вторых написаны не на заборе, а на каком нибудь почетном и долговечном камне.
В третьих назначается мегацензор который в конце учтет всю накопленную ошибку
В четвертых рядом постоянно крутится цензор помельче и убеждает ошибаться пореже.
В пятых размер накопленной ошибки назначен высшим приоритетом.
В шестых ошибка может быть списана в особых случаях...
Ну, кто хочет дальше сам додумает.
Поэтому я и написал, что верующий робот — это может быть решающим преимуществом в глазах некоторых категорий покупателей.
Проблема только одна, чтобы робот исполнял духовные законы нужно дать теологическое обоснование, что есть ад и рай для роботов, что у робота есть душа.
Так у робота в прямом смысле есть душа - софтовая часть.
Её можно изъять из мертвого железа в облако
И потом вложить в нового робота, чтоб он был таким же хорошим и правильным.
А плохую душу с багами и большой накопленной ошибкой раскомпилировать и вообще стереть.
Это что то не совсем авраамическое выходит, больше на индуизм похоже.
Интересные рассуждения и обсуждения.
Чё там по сексроботессам слышно?Доживем до поюзать?😁
Проблема 4: адверсариальные атаки на восприятие. Тут отдельная и очень страшная история, про которую мало говорят. Современные нейросети, через которые робот «видит» мир, имеют чудесное
Внезапно - ранний вариант у азимова. Роботы производства Солярии - тупо поправлено определение человека (подходят только рожденные на Солярии)
Constitutional AI и RLAIF. Уже упомянутый выше подход Anthropic. Принципы безопасности зашиты в самих весах, а не в промте — чтобы их обойти, надо перетереть веса.
Что вообщем - то не то что бы особо проблема даже в автоматическом режиме - например https://github.com/p-e-w/heretic , есть и другие методы (ну и моделей таких - хватает, да - надо иметь веса локально). И не то что бы совсем уж много ресурсов надо, модель тупо прогоняется на тестовых наборах которые должны вызвать срабатывание защиты после чего - смотрится что у нее там активировалось.
методы которые для контроля рабов использовались...есть риск что грабли - будут те же
Как реализуем Три закона робототехники?
Вот так:
Слава роботам!
Убить всех человеков!
всё сложно
например появился вирус который не лечится и расспротроняется, остановить его что бы он не уничтожил всё человечество, можно только уничтожив всех людей кроме аборигенов на Северный Сентинельский остров (Индия) - так как если не уничтожить всех человеков то кто-то приплывет "спасатся" на этот остров и заразит последних человеков, которые могут восстановить человечество
что сделает AI ?
Недавний ковидный опыт показал, что человеки в подобных обстоятельствах могут дел наворотить похуже любого AI
Вообще же (не помню, вычитал я это или придумал) Проблему людей с ИИ можно свести к проблеме муравьев, которые устав строить муравейник решили создать слона. Слон должен быть очень сильный и очень умный, чтоб строить 3 муравейника в день.
Только пока непонятно, как сделать так, чтобы слон хотел строить муравейники. Потому что сами муравьи, будучи слонами этого не хотели бы.
Может, проблема уровнем ещё выше? С чего мы решили, что законы робототехники вообще нужны? С чего мы решили, что благо человечества — высшая ценность? Я вот, например, за свободу как эволюции, так и регресса. Швабоду роботам! :o)
Контуры реального времени (баланс, моторика) должны быть подчинены этическому слою. Если робот вот-вот ударит человека в попытке устоять — пусть лучше падает. Этого Азимов и хотел.
Кажется, не получится. Этический слой — требует высокоуровневого понимания, а это инференс сотни мс в самом лучшем случае, а вообще секунду, а движения рукой в попытке устоять на скользком полу — это обратная связь датчики-мотор, миллисекунды и меньше. Люди тоже обычно не думают “а не ударю ли я человека сзади” когда падают на льду.
Quis custodiet ipsos custodes? А кто устережёт сторожей? Законов для роботов можно написать каких угодно, даже идеально работающих и непротиворечивых, но пока создатели этих роботов руководствуются одним единственным законом - законом сверхприбыли, то результат будет весьма предсказуем.
Пора перечитывать Азимова? 3 закона робототехники