Comments 19
При всей изрядной наивности этого цикла он затрагивает довольно глубокую тему: «люди могут сотворить исскуственный разум, но как собственно человечество будет обходиться с этим своим творением?»
И тут нас ждало открытие: оказывается, писатель-фантаст более полувека назад достаточно точно описал многие реалии современной разработки.
Писатель-фантаст хорошо знал людей и описал проблемы, встречающиеся при руководстве людьми — немного добавив фантастического антуражу.
(Самый быстрый способ получения такого опыта — должность сержанта в армии :)
Ты не говорил, что это очень важно, срочно?
Именно по этой причине к приказу обычно добавляется короткая, но энергичная фраза :)
Но стоит роботу остаться без присмотра, как он перестаёт работать
Именно!
Более того, пускается маршировать всей командой – весьма подозрительное занятие для рудокопа.
Да, это самый эффективный способ занять людей тогда, когда им нечего делать.
Я уничтожил одного из роботов, и Дейву пришлось командовать лишь пятью, инициатива уменьшилась, и он стал нормальным!
Временное понижение в должности — мера очень эффективная.
Так что эмоциональный приказ «уйди и не показывайся, чтобы я тебя больше не видел» даёт роботу лазейку
Многие люди только этого и ждут :)
И на какое-то мгновение он забыл или просто не захотел вспомнить, что другие роботы могут знать меньше, чем люди…
… что другие люди могут знать меньше, чем их руководитель или ведущий специалист (или преподаватель)
Если приказ неточен, он не в состоянии исправить ошибку сам
«Если хочешь что-то сделать правильно — сделай это сам»
А вот человек может сориентироваться уже на месте, исходя из увиденного и опираясь на свои умозаключения.
Далеко не каждый. Свои собственные умозаключения могут дать неожиданный эффект
Заголовок спойлера
он перестарался – и разломал пусковой механизм:
Заголовок спойлера
Подобных рассказов, отчасти кажущихся устаревшими, но во многом предвосхитивших события будущего, немало и у Азимова, и у других писателей.
Азимов тем и интересен, что писал о проблемах, близких и знакомых большинству людей.
Что и говорить — классик.
"… В результате робот зациклился на выборе, выполнить приказ или уцелеть..."
Вообще-то в «Хороводе» робот не бесцельно бегал кругами, а по сужающейся спирали медленно приближался к цели по доле мм за круг. Ослушаться приказа он не мог, т.к. приказ (первый закон) сильнее самосохранения (третьего), выходом стало максимально увеличить срок выполнения самоубийственного приказа.
Вообще-то в «Хороводе» робот не бесцельно бегал кругами, а по сужающейся спирали медленно приближался к цели по доле мм за круг. Ослушаться приказа он не мог, т.к. приказ (первый закон) сильнее самосохранения (третьего), выходом стало максимально увеличить срок выполнения самоубийственного приказа.
Законы гласят:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Так что приказ это всего лишь второй закон. И здесь проявляется гений Азимова.
Вряд ли кто то сформулирует это точнее, ну или правильнее будет сказать — так коротко, емко и точно.
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Так что приказ это всего лишь второй закон. И здесь проявляется гений Азимова.
Вряд ли кто то сформулирует это точнее, ну или правильнее будет сказать — так коротко, емко и точно.
Первый закон совершенно не функционален в реальном мире. Если ему следовать дословно, каждый робот обязан непрерывно предотвращать любой вред любому человеку на Земле (во Вселенной), вплоть до комариных укусов.
Это даже в исходной формулировке, где injure и harm означает только физический вред здоровью. А в приведенной русской версии ситуация ещё хуже.
Это даже в исходной формулировке, где injure и harm означает только физический вред здоровью. А в приведенной русской версии ситуация ещё хуже.
Аллен Роджер Макбрайд в своей трилогии сформировал новые законы:
Новый Первый Закон роботехники гласит: «Робот не может причинить человеку вред». Как видите, мы убрали пункт о бездействии. Согласно этому закону людям не придется защищаться от роботов. Однако на то, что роботы будут защищать людей, рассчитывать не стоит. Людям, как в прежние времена, придется полагаться только на собственную инициативу и уверенность в себе. Им придется самим о себе заботиться. И, что очень важно, этот Закон ставит роботов в относительно более высокое положение по сравнению с людьми, чем раньше.
Новый Второй Закон роботехники таков: «Робот должен сотрудничать с людьми, если это сотрудничество не противоречит Первому Закону». Роботы с Новыми Законами будут сотрудничать, а не подчиняться. Они больше не будут игрушками капризных людей. Вместо беспрекословного подчинения приказам новые роботы сперва осмыслят их и решат, стоит ли повиноваться. Заметьте однако, что сотрудничество по-прежнему осталось обязательным. Роботы должны стать партнерами людей, а не рабами. Люди должны нести ответственность за свои действия и не ждать, что будет исполнен любой, самый бессмысленный приказ. И не придется рассчитывать, что роботы согласятся разрушать самих себя или других роботов ради потехи какого-нибудь человека.
Новый Третий Закон роботехники: «Робот должен заботиться о собственной безопасности, пока это не противоречит Первому Закону». Заметьте, что Второй Закон здесь больше не упоминается, он теперь не доминирует над Третьим. Сохранность роботов так же важна, как и их полезность. И этим тоже повышается социальное положение роботов по отношению к людям по сравнению с тем, что было раньше. И одновременно люди освобождаются от своих рабов, перестают быть рабовладельцами, неспособными существовать без рабов.
И, наконец, Четвертый Закон роботехники, о котором мы только что говорили: «Робот может делать что пожелает, кроме тех действий, которые противоречат Первому, Второму или Третьему Законам». Этот Закон открывает двери свободе творчества для роботов. С таким совершенным, гибким мозгом, как гравитонный, роботы смогут приспособиться к окружающему миру, найдут пути для воплощения собственных мыслей и желаний, всех своих возможностей. Обратите внимание, что они «могут», а не «должны» делать что пожелают. Четвертый Закон дает право на свободу выбора. Свободу действий нельзя навязать в приказном порядке.
У Азимова в цикле «Основание» робот Дэниел Оливо выбирая путь развития человечества формирует нулевой закон:
«Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред».
«Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред».
«Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред».
Это какой же уровень знаний и интеллекта должен быть у робота — для таких глобальных прогнозов :)
Почитайте книгу, очень интересное развитие сюжета.
Почитайте книгу, очень интересное развитие сюжета.
Книги я читал, и не один раз :)
Но вопрос по поводу сверхспособностей роботов остается открытым.
Особых сверхспособностей не надо. Если работ сможет просчитать, что его действия или бездействия принесут вред человечеству, то он изменит своё поведение.
Если в биолаборатории мутирует вирус, то робот может решить, что подорвать лабораторию с зараженными людьми лучше, чем позволить вирусу выбраться наружу.
спойлер: этот умный робот управлял человечеством десятки тысяч лет, коверкая историю, а в результате, когда стал совсем маразматиком старым, пришел к выводу, что человеку не нужна индивидуальность и заменил всем мозги на коллективный разум муравейника)
этот умный робот управлял человечеством десятки тысяч лет
Это Айзек Азимов в 80х решил объединить все свои фантастические произведения в рамки одной вселенной.
Свести в одну кучу «Конец Вечности» и «Гальку в небе» было очень тяжело, но этот немыслимый коктейль ему вполне удался :)
При этом надо было куда-то пристроить роботов, о которых в первоначальной трилогии Основания не было ни одного слова.
И тут Азимов придумал твист с вечным и всезнающим роботом.
Потом подумал еще и добавил твист к твисту — с намеком на то, что и этот робот действует не сам по себе, а попал под контроль пришельцев из другой галактики :)
Вы не любите кошек? Да вы просто не умеете их готовить!
Азимов создал мир роботов которым восхищается уже не одно поколение умеющее читать.
Вы не можете создать робота отвечающего трем законам робототехники? Вы просто не умеете их представить.
Когда начинаешь понимать ВЕЛИКОЕ, удивляешься как же раньше не мог увидеть эту простоту.
Мешают роботу функционировать комары тиранящие человека? Сделаем ниже разрешение зрения робота. Не видит комаров — продолжает функционировать нормально — три закона не нарушены.
Нарушим или допишем законы — необходимо будет решать другие проблемы, которые сейчас не видны. И сразу получим код из г… и палок. Так всегда бывает когда алгоритм не продуман досконально.
На самом деле, в одной из книг немного дополняется формулировка первого закона.
спойлеры к одной из книг Азимова
Робот не может своим действием или бездействием причинить человеку вред, насколько ему известно(или как-то так)
Пример из той книги: одному роботу можно приказать отравить воду в стакане, а другому — подать ее человеку, и вуаля, убийство, совершенное исключительно роботами.
Пример из той книги: одному роботу можно приказать отравить воду в стакане, а другому — подать ее человеку, и вуаля, убийство, совершенное исключительно роботами.
Пример из той книги: одному роботу можно приказать отравить воду в стакане, а другому — подать ее человеку, и вуаля, убийство, совершенное исключительно роботами.
Стакан и вода используются (или могут быть использованы) для питья человеком — стало быть, отравление воды само по себе является попыткой убийства.
Был случай (и не один) когда хозяин квартиры, уезжая в отпуск, добавлял отраву в бутылку с вином/водкой и ставил ее в шкаф.
Квартиру взломали и обокрали. Сделав свое дело, воры нашли бутылку и тут же, на месте ее распили.
Хозяин вернулся и обнаружил в квартире три трупа.
Получил полный срок за тройное убийство.
Спасибо, конечно «второй» — описался)
Про законы, как раз, не хватает в статье.
Про законы, как раз, не хватает в статье.
Помните о том, что для робота вы не человек, если говорите без солярианского акцента.
Sign up to leave a comment.
Любовь, смерть и роботы: рассматриваем рассказы Азимова глазами разработчика