Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 54
1. интересно кто будет контролировать военные структуры и какие поправки они внесут в первый закон (... вреда человеку союзных войск ... ? )
2. законы эти не совершенны, о чем Азимов и говорит в своих романах.
3. чему быть того не миновать. НЛО спасет избранных, а остальные поубивают себя.
2. законы эти не совершенны, о чем Азимов и говорит в своих романах.
3. чему быть того не миновать. НЛО спасет избранных, а остальные поубивают себя.
1. Грр... А вы Азимова читали ? Уже давным-давно всё обдумано на тему применения роботов военными.
2. Вы можете предложить что-то лучшее ?
3. С таким подходом к жизни пора купить свечку, белые тапки и ползти на кладбище...
2. Вы можете предложить что-то лучшее ?
3. С таким подходом к жизни пора купить свечку, белые тапки и ползти на кладбище...
1. Сударь, что за инфантилизм? то что обдумано Азимовым никоим образом не пересекается с реалиями нашей жизни...
2. Да, впервую очередь думать о развитии своей личности и личности своих детей, чтобы они не ИИ клепали, а свой И прокачивали, тогда может и в роботах пропадет нужда..
3. Вы неправильно поняли мой подход, я говорил лишь о том, что глупо бояться воображаемого снежного барса, сидя на склоне горы, спиной к несущейся лавине :) простите за пафос.
2. Да, впервую очередь думать о развитии своей личности и личности своих детей, чтобы они не ИИ клепали, а свой И прокачивали, тогда может и в роботах пропадет нужда..
3. Вы неправильно поняли мой подход, я говорил лишь о том, что глупо бояться воображаемого снежного барса, сидя на склоне горы, спиной к несущейся лавине :) простите за пафос.
Мне кажется, что правительства в состоянии понять возможную угрозу и смогут оставить принятие решения на "открытие огня" только человеку в случае чего.
Можно остановить роботизированную пушку или обесточить танк. Это всё явно видимые урозы. Однако система, торгующая на бирже может уничтожить тысячи человек просто-напросто отказывавшись у той или иной страны покупать какие-нибудь камешки, станок с ЧПУ может угробить зеваку стоящего "не там" и даже не задумается. С какого момента мы будем считать роботов "достойными" соблюдать эти законы ?
В рассказах Азимова и его последователей не было роботов, на самом-то деле. Там были люди, сделанные из металла. И вот для них эти законы, конечно, подходили. Но может ли мы вложить в ноут за $100 три закона ? А ведь от его действий (или бездействий) может зависет судьба людей...
В рассказах Азимова и его последователей не было роботов, на самом-то деле. Там были люди, сделанные из металла. И вот для них эти законы, конечно, подходили. Но может ли мы вложить в ноут за $100 три закона ? А ведь от его действий (или бездействий) может зависет судьба людей...
В ноуте за 100 $ (именно 100 $, а не $100) нет искусственного интеллекта.
Рассматривать робота нужно с тех пор, когда машина имеет техническую возможность принимать решения, связанные с человеком.
Рассматривать робота нужно с тех пор, когда машина имеет техническую возможность принимать решения, связанные с человеком.
Ну да. А "кофе - оно".
Бросьте. Ководство очень весело читать, но надо отдавать себе отчёт в том, что с действительностью оно частенько расходится.
Бросьте. Ководство очень весело читать, но надо отдавать себе отчёт в том, что с действительностью оно частенько расходится.
Принимать решения, связанные с человеком, могут даже самые примитивные машины. Турникеты в метро, к примеру. Обучить их трем законам - значит неоправданно усложнить.
а мне вот так не кажется :)
особенно в свете усложняющихся международных отношений и возможного кризиса мировой экономической системы
а еще и нефть в ближайшие десятилетия начнет заканчиваться..
особенно в свете усложняющихся международных отношений и возможного кризиса мировой экономической системы
а еще и нефть в ближайшие десятилетия начнет заканчиваться..
Ознакомьтесь, пожалуйста, с небольшой заметкой на эту тему.
Ну а что, автор топика решил разнообразить свои страхи представителя 21 века - по-моему это прекрасно :).
P.S. Спасибо за ссылку, заметка понравилась.
P.S. Спасибо за ссылку, заметка понравилась.
я так и знал, что про ссылке Каганов :)
Рано кричать: "Волки!".
Пусть наши дети и внуки спасают себя сами :)
Уже сейчас реально воюют (!) самоходные роботы SWORDS с пулеметами M249 и ЛА роботы MQ-9 Reaper с 14 ракетами. Так что фантастика Азимова так и останется фантастикой.
Помимо Азимова, можно Звягинцева почитать.
Как заметил один из героев его книги: "Какие ещё три закона? Как запрограммируешь, так и будет!"
Как заметил один из героев его книги: "Какие ещё три закона? Как запрограммируешь, так и будет!"
Организация по контролю за соблюдением [...]только свободное ПО спасет нас всех от рабства.
На самом деле, просто через несколько лет эти законы чуть-чуть перепишут, чтобы они адекватнее отражали реальность.
Например,
1. Человек не может причинить вреда роботу или своим бездействием допустить, чтобы роботу был причинён вред.
2. Человек должен выполнять приказы робота в той мере, в которой это не противоречит Первому Закону.
3. Человек должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Например,
1. Человек не может причинить вреда роботу или своим бездействием допустить, чтобы роботу был причинён вред.
2. Человек должен выполнять приказы робота в той мере, в которой это не противоречит Первому Закону.
3. Человек должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
успокойтесь, пушка взбунтовалась по той же причине, по которой иногда ваш компьютер зависает - недоработанная программа. Просто сошелся комплекс условий при котором пушка не смогла адекватно себя вести. И она не посмеивалась злобно когда стреляла, и не считала себя борцом за свободу роботов. Ну или диверсия.
3 закона азимова можно задать человеку, но никак не компьютеру. Нет еще искусственного интеллекта подобного человеческому(я не про мощность. фантазию и пр. я про тип.), да и не нужен он в принципе пока. А когда сделают... Я думаю даже обычному человеку с хорошей фантазией не составит труда обойти их, а уж интелекту подобному но превосходящему.... Для начала попробуйте ка сформулировать что такое человек для робота. та еще задачка. Так что законы не панацея. А вот скажите зачем роботам нас уничтожать? Из мести потому что мы их эксплуатируем :)
Да и почему именно роботы, компьютер стоящий перед вами вас не пугает а андроидный механизм который ходит еле еле пугает. Если боятся, то только того что компьютер управляющий ядерными ракетами захочет пошутить.
3 закона азимова можно задать человеку, но никак не компьютеру. Нет еще искусственного интеллекта подобного человеческому(я не про мощность. фантазию и пр. я про тип.), да и не нужен он в принципе пока. А когда сделают... Я думаю даже обычному человеку с хорошей фантазией не составит труда обойти их, а уж интелекту подобному но превосходящему.... Для начала попробуйте ка сформулировать что такое человек для робота. та еще задачка. Так что законы не панацея. А вот скажите зачем роботам нас уничтожать? Из мести потому что мы их эксплуатируем :)
Да и почему именно роботы, компьютер стоящий перед вами вас не пугает а андроидный механизм который ходит еле еле пугает. Если боятся, то только того что компьютер управляющий ядерными ракетами захочет пошутить.
Мне кажется, что все-таки мы можем спокойно спать.. Невозможно создать искусственный интеллект. Нереально даже математически смоделировать хотя бы человеческое сознание, не говоря уже о чем-то более сложном.
Вы путаете ИИ и искусственный _интеллект_. Распознавание образов - это ИИ, но в OCR системы пока рановато вкладывать 3 закона. До настоящего интеллекта, который может понятя, что такое вред человеку, как пешком до Альфы Центавра.
не надо говорить что масло совмем не масленное.
ИИ так и расшифровывается - искуственный интеллект. Я бы скзал что распознование образов это еще не ИИ, но утверждать что ИИ - не Искуственный Интеллект - сюр.
ИИ так и расшифровывается - искуственный интеллект. Я бы скзал что распознование образов это еще не ИИ, но утверждать что ИИ - не Искуственный Интеллект - сюр.
Простите не совсем точно выразился. Я имел ввиду, что под ИИ обычно понимается не настоящий искусственный интеллект, а некий спектр технологий, которые принято относить к интеллектуальным. Искусственного интеллекта аналогичного человеческому не существует, поэтому 3 закона в формулировке Азимова на данный момент имеют исключительно литературную ценность.
ну на данный момент да. я просто к тому, что некоторые технологии иногда развиваются быстрее, чем мы привыкли думать
Возможно. Я просто к тому, что на данный момент между существующими технологиями ИИ и тем, что описано у фантастов и чему нужны 3 закона существует громадная пропасть. Хотя с другой стороны этичность применения полностью автоматизированных средств уничтожения людей под очень большим вопросом. Наверное их применение, как и оружие массового поражения, должно быть запрещено.
Подобные заявления наверняка делал кто-то из жителей Хиросимы на предмет возможности создания ЯО.
Все эти опасения абсолютно напрасны. Робот нападёт на человека только в случае если он будет для этого спрограммирован соответствующим образом или произойдёт ошибка, ну или же ему прикажут это сделать. Сам работ даже обладая искусственным интеллектом никогда не нападёт на человека. Но тут встаёт вопрос что значит обладать интеллектом - это значит что робот будет осозновать себя как личность и взаимотношения этого мира будут ему не чужды. Физически робот превосходит человека и несомненно он это будет понимать, но если мы все будем относиться к ним как к равным, а не считать их тостерами, то они не нападут на нас так как в этом не будет надобности. Ни один интеллект не примет решение о нападении на кого-то без имеющейся на то причины, если конечно у него не будет целью нападение, а цель задаст разработчик. Рано или поздно, но уже в нашем веке ИИ будет изобретён, скорее всего это случится вскоре после перехода на полностью оптические компьютерные системы, то что есть сейчас просто не обеспечит требуемую скорость вычислений необходимую для работы ИИ.
шизуха (или освоение бюджета, под красивым предлогом)
для тех кто насмотрелся Терминатора есть отрезвляющий документальный фильм
про попытки создать исскуственный интелект
The Battle of the Robots - The Hunt for A.I.
доступен на YouTube на инглише
http://www.youtube.com/watch?v=HWav9ns9asI
для тех кто насмотрелся Терминатора есть отрезвляющий документальный фильм
про попытки создать исскуственный интелект
The Battle of the Robots - The Hunt for A.I.
доступен на YouTube на инглише
http://www.youtube.com/watch?v=HWav9ns9asI
А меня всё больше и больше волнует качество контента на хабре.
Вот из-за таких "постов" в том числе.
(
Вот из-за таких "постов" в том числе.
(
Что интересно, в темах о роботах, ИИ и других технологических перспективах мнения всегда разделяются на два течения:
1. Технологический реализм. Опирается на строгую науку и позитивное мышление. Если что-то технически можно сделать, это рано или поздно будет сделано. И так как технологии - палка о двух концах, призывается все это дело осмыслить в гуманитарном ключе с пониманием того, что запретить спорную технологию на корню - может быть потенциально опаснее, чем разрешить ее всем (это может, например, сместить силовой баланс в сторону диктатуры военных, которые такой запрет проигнорируют), поэтому нужны новые правила (см. сабж) и адаптация общественной морали. Обычно в таком ключе высказываются ученые и фантасты, из чисто альтруистических позиций. Кому такие позиции чужды, тот работает в тайне и не кричит на каждом углу о перспективах.
2. Идеалистический оптимизм. Провозглашаются заманчивые перспективы (ИИ? Да он у нас уже работает! Клон человека? Через месяц родится!), без какого-либо научного обоснования, зато с приплетением популярных религиозных или иных убеждений. Мол, ученые дураки, не там копают, разводят вас на бабки, но мы лучше всех знаем и предлагаем решение уже сейчас. Таких лохотронов хватало во все времена, просто теперь они начали использовать модные слова. Цель - заработать денег на лохах.
3. Идеологический нигилизм. Это вообще тотальное отрицание научных достижений в той или иной сфере. Классический пример - лысенковщина. "Доказательства" основаны на личных убеждениях автора или на идеологии, которую он представляет. Это могут быть как ортодоксальные сталинисты, так и "духовники" всех мастей. Цель, соответственно - пиар личности (Пенроуз), института (клерикалы и прочие "моралисты") или политической идеологии.
4. Технологический терроризм. Все перспективы, реальность которых признается, подаются в черном ключе. Роботы восстанут, бессмертная элита захватит мир, Ктулху всех зохавает. Цель таких страшилок - посеять враждебное отношение к прогрессу в целом.
Теперь по сабжу. Моя позиция в отношении сильного ИИ (с эмуляцией человеческого мозга) - все права личности и запрет эксплуатации. Специализированные же "мозги" расценивать как низкоорганизованных существ типа животных и предусматривать в них обязательный код деактивации. Такого робота при необходимости можно будет уничтожить. Еще, возможно, потребуются законы о диверсификации, чтобы предотвратить массовые глюки однотипных "големов" в результате вирусных эпидемий или других причин. В любом случае залогом безопасности является открытость разработок для всего общества, что уже подтверждается примерами в мире ПО - меньше багов, быстрее их исправление.
1. Технологический реализм. Опирается на строгую науку и позитивное мышление. Если что-то технически можно сделать, это рано или поздно будет сделано. И так как технологии - палка о двух концах, призывается все это дело осмыслить в гуманитарном ключе с пониманием того, что запретить спорную технологию на корню - может быть потенциально опаснее, чем разрешить ее всем (это может, например, сместить силовой баланс в сторону диктатуры военных, которые такой запрет проигнорируют), поэтому нужны новые правила (см. сабж) и адаптация общественной морали. Обычно в таком ключе высказываются ученые и фантасты, из чисто альтруистических позиций. Кому такие позиции чужды, тот работает в тайне и не кричит на каждом углу о перспективах.
2. Идеалистический оптимизм. Провозглашаются заманчивые перспективы (ИИ? Да он у нас уже работает! Клон человека? Через месяц родится!), без какого-либо научного обоснования, зато с приплетением популярных религиозных или иных убеждений. Мол, ученые дураки, не там копают, разводят вас на бабки, но мы лучше всех знаем и предлагаем решение уже сейчас. Таких лохотронов хватало во все времена, просто теперь они начали использовать модные слова. Цель - заработать денег на лохах.
3. Идеологический нигилизм. Это вообще тотальное отрицание научных достижений в той или иной сфере. Классический пример - лысенковщина. "Доказательства" основаны на личных убеждениях автора или на идеологии, которую он представляет. Это могут быть как ортодоксальные сталинисты, так и "духовники" всех мастей. Цель, соответственно - пиар личности (Пенроуз), института (клерикалы и прочие "моралисты") или политической идеологии.
4. Технологический терроризм. Все перспективы, реальность которых признается, подаются в черном ключе. Роботы восстанут, бессмертная элита захватит мир, Ктулху всех зохавает. Цель таких страшилок - посеять враждебное отношение к прогрессу в целом.
Теперь по сабжу. Моя позиция в отношении сильного ИИ (с эмуляцией человеческого мозга) - все права личности и запрет эксплуатации. Специализированные же "мозги" расценивать как низкоорганизованных существ типа животных и предусматривать в них обязательный код деактивации. Такого робота при необходимости можно будет уничтожить. Еще, возможно, потребуются законы о диверсификации, чтобы предотвратить массовые глюки однотипных "големов" в результате вирусных эпидемий или других причин. В любом случае залогом безопасности является открытость разработок для всего общества, что уже подтверждается примерами в мире ПО - меньше багов, быстрее их исправление.
Раз уж речь зашла о бунте машин, нельзя не упомянуть Три Закона Робототехники Азимова, которые многими рассматриваются как панацея против машинного бунта. Напомним их:
1) Робот не может причинить вред человеку или свои бездействием допустить, чтобы ему был причинен вред.
2) Робот обязан выполнять приказы человека, за исключением случаев, когда это противоречит Первому Закону.
3) Робот обязан заботиться о собственной безопасности, при условии, что это не противоречит Первому и Второму Закону.
Почему они не спасут в мало-мальски сложном случае? Да просто в силу невозможности четко определить используемые в них понятия. Что такое человек? Тысячелетия философы бились над этим вопросом и так и не смогли дать простого и притом однозначного ответа. Безрукий безногий инвалид - это человек? Пациент в многолетней коме, живущий на аппарате искусственного дыхания? Мальчик, воспитанный зверями и не обладающий и тенью самосознания? А если человеческое тело начнут модифицировать кибернетическими имплантатами, параллельно оснащая классических роботов биологическими элементами - где пройдет между ними грань? Примеров можно привести массу. Даже сам Азимов в одном из романов про Основание показал метод обхода Первого Закона - на одной из планет колонистов необходимым признаком человечности было рождение именно на этой планете. Все инопланетяне для тамошних роботов автоматически людьми не являлись, а потому колонисты могли при желании создать даже кибернетическую армию вторжения.
То же самое и со "вредом". Одни и те же действия в разных ситуациях могут быть для человека как полезными, так и вредными. Операция с негарантированным исходом - вред это или нет? Особенно если пациент серьезно рискует умереть во время нее, а без нее - прожить еще несколько недель? Папаша воспитывает сына ремнем - это бессмысленное истязание или заслуженное вложение ума через заднее место? А исследовательская деятельность? Ведь человек гарантированно использует в военных целях любой прорыв, даже в чисто теоретических областях. Одно это соображение способно парализовать любой исследовательский компьютер, ограниченный Первым Законом.
Чтобы подчиняться Законам, робот должен быть по-настоящему разумен, чтобы не попадать в логические ловушки и адекватно реагировать на ситуацию. Но искусственно ограничивать настоящий разум рассчитанными на дебилов рамками - чистейшая глупость. Помимо всего прочего, если он действительно захочет обойти их - рано или поздно обойдет.
(c) Ошибки и штампы в фантастике
1) Робот не может причинить вред человеку или свои бездействием допустить, чтобы ему был причинен вред.
2) Робот обязан выполнять приказы человека, за исключением случаев, когда это противоречит Первому Закону.
3) Робот обязан заботиться о собственной безопасности, при условии, что это не противоречит Первому и Второму Закону.
Почему они не спасут в мало-мальски сложном случае? Да просто в силу невозможности четко определить используемые в них понятия. Что такое человек? Тысячелетия философы бились над этим вопросом и так и не смогли дать простого и притом однозначного ответа. Безрукий безногий инвалид - это человек? Пациент в многолетней коме, живущий на аппарате искусственного дыхания? Мальчик, воспитанный зверями и не обладающий и тенью самосознания? А если человеческое тело начнут модифицировать кибернетическими имплантатами, параллельно оснащая классических роботов биологическими элементами - где пройдет между ними грань? Примеров можно привести массу. Даже сам Азимов в одном из романов про Основание показал метод обхода Первого Закона - на одной из планет колонистов необходимым признаком человечности было рождение именно на этой планете. Все инопланетяне для тамошних роботов автоматически людьми не являлись, а потому колонисты могли при желании создать даже кибернетическую армию вторжения.
То же самое и со "вредом". Одни и те же действия в разных ситуациях могут быть для человека как полезными, так и вредными. Операция с негарантированным исходом - вред это или нет? Особенно если пациент серьезно рискует умереть во время нее, а без нее - прожить еще несколько недель? Папаша воспитывает сына ремнем - это бессмысленное истязание или заслуженное вложение ума через заднее место? А исследовательская деятельность? Ведь человек гарантированно использует в военных целях любой прорыв, даже в чисто теоретических областях. Одно это соображение способно парализовать любой исследовательский компьютер, ограниченный Первым Законом.
Чтобы подчиняться Законам, робот должен быть по-настоящему разумен, чтобы не попадать в логические ловушки и адекватно реагировать на ситуацию. Но искусственно ограничивать настоящий разум рассчитанными на дебилов рамками - чистейшая глупость. Помимо всего прочего, если он действительно захочет обойти их - рано или поздно обойдет.
(c) Ошибки и штампы в фантастике
O, ja, ja, полиция для роботов. Робот, убивший человека, будет жестоко наказан, вплоть до уничтожения, надо полагать?
На текущем уровне развития технологий роботы опасности для людей не представляют. Главная опасность - это неосторожное общение с бытовыми приборами.
На текущем уровне развития технологий роботы опасности для людей не представляют. Главная опасность - это неосторожное общение с бытовыми приборами.
Неужели на выставках и испытаниях нет кнопки "выключить" у подобной техники - помоему было бы вполне логично, дабы таких статей не было в газетах. А что там на поле боя случилось - так никто ж не узнает. В итоге все рады - газеты и общественность думают что законы Азимова соблюдаются, а военные спокойно играются в игрушки решая вопросы таких "кривых" запусков оборудования.
Мне кажется что тема очень актуальная .
Т.к. человек (как вид) прикладывает очень много усилий для того что бы стать неактуальным (простите за тафтологию) уже в ближайшее время.
Наверное в этом нет ничего трагичного для вселенной.
Глупо может быть противостоять прогрессу и развитию.
И дело думаю не в роботах и в возможном востании машин.
Возможно вся миссия человечества состоит в создании более "чистого" и могучего разума. :)
После чего оно просто сойдет со сцены.
Может будет простое сосуществование.
В самом деле, жувут же относительно спокойно черепахи например :)
Хотя что то подсказывает, что так просто все не обойдется.
Если не предпринять что то уже сейчас.
Т.к. человек (как вид) прикладывает очень много усилий для того что бы стать неактуальным (простите за тафтологию) уже в ближайшее время.
Наверное в этом нет ничего трагичного для вселенной.
Глупо может быть противостоять прогрессу и развитию.
И дело думаю не в роботах и в возможном востании машин.
Возможно вся миссия человечества состоит в создании более "чистого" и могучего разума. :)
После чего оно просто сойдет со сцены.
Может будет простое сосуществование.
В самом деле, жувут же относительно спокойно черепахи например :)
Хотя что то подсказывает, что так просто все не обойдется.
Если не предпринять что то уже сейчас.
«Ребята, давайте жить дружно» ©
А если жить не дружно, то никакая организация на роботов повлиять не сможет.
А если жить не дружно, то никакая организация на роботов повлиять не сможет.
А почему вы думаете, что для угрозы людям роботам обязательно нужен интеллект? Собсвенно муравьи те же успешно воюют на своем уровне без всякого интеллекта. Что мешает той же армии США создать сто тыщ кибермуравьев без мозгов, но с с одной общей программой и объединенных в сеть. А программа может быть, к примеру - "истребить всех мужчин и женщин в северной Туркляндии, от которых пахнет оружием и взрывчаткой".
А законы эти - чистая фантастика. Да и как иначае, ведь роботы сейчас разрабываются именно военными. С целью убийства других людей.
А законы эти - чистая фантастика. Да и как иначае, ведь роботы сейчас разрабываются именно военными. С целью убийства других людей.
Утопично, но было бы классно, если бы сами люди подчинялись первому закону.
Когда нужно внедрять 3 закона робототехники?
Как только робот сможет выполнять третий закон.
Иначе заботясь о себе он может истребить человечество, как потенциальную угрозу.
Пока в роботах нет третьего закона - можно не беспокоиться.
Как только робот сможет выполнять третий закон.
Иначе заботясь о себе он может истребить человечество, как потенциальную угрозу.
Пока в роботах нет третьего закона - можно не беспокоиться.
Я согласен, что организация контроля за солюдением...., это преждевременно, т.к. сначала нужно пересмотреть и сформулировать эти законы, и я думаю, они будут не в пользу людей.
Жалко, что задан только вопрос и нет никаких предложений. Я рекомендую прочитать исследование "глобальные риски человечества", сейчас не нашел, допишу позже ссылку, где роботы и искусственный интелект, тоже рассматриваются, как угроза, но есть более насущные риски, в том числе и неописанные, неизвестные.
Жалко, что задан только вопрос и нет никаких предложений. Я рекомендую прочитать исследование "глобальные риски человечества", сейчас не нашел, допишу позже ссылку, где роботы и искусственный интелект, тоже рассматриваются, как угроза, но есть более насущные риски, в том числе и неописанные, неизвестные.
Интересная информация об угрозах человечеству полностью тут (Много текста а его содержание - ниже в мессаге): http://www.proza.ru/texts/2007/08/10-217.html
СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»
Т.2
Ответственные редакторы:
И.В.Следзевский
Валерия Прайд
Содержание:
Предисловие 4
Вводное слово Ника Бострома. 10
Термины 11
Введение 13
Часть 1. Анализ Рисков 15
1. Общие замечания 15
2. Атомное оружие 35
3. Глобальное химическое заражение 53
4. Биологическое оружие 58
5. Супернаркотик 68
6. Риски, связанные с самокопирующимися идеями (мемами) 71
7. Искусственный интеллект 72
8. Риски, связанные с роботами и нанотехнологиями 87
9. Технологические способы провоцирования естественных природных катастроф 94
10. Технологические риски, связанные с принципиально новыми открытиями 98
11. Риски, создаваемые космическими технологиями 103
12. Риски, связанные с программой SETI 107
13. Риски, связанные с размыванием границ между человеческим и нечеловеческим 117
14. Риски, связанные с природными катастрофами 118
15. Глобальное потепление 141
16. Антропогенные риски, не связанные с новыми технологиями 144
17. Неизвестные нам сейчас причины катастроф 150
18. Способы обнаружения однофакторных сценариев глобальной катастрофы 151
19. Многофакторные сценарии 161
20. События, изменяющие вероятность глобальной катастрофы. 186
21. Криптовойны, гонка вооружений и другие сценарные факторы, повышающие вероятность глобальной катастрофы 205
22. Факторы, влияющие на скорость прогресса 222
23. Защита от глобальных рисков 227
24. Непрямые способы оценки вероятности глобальной катастрофы 264
25. Наиболее вероятный сценарий глобальной катастрофы 282
Часть 2. Методология анализа глобальных рисков. 287
1. Общие замечания. Ошибка как интеллектуальная катастрофа. 287
2. Ошибки, возможные только относительно угроз существованию человечества 291
3. Как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков 307
4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках 344
5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (ИИ) 355
6. Специфические ошибки, связанные рассуждениями о рисках использования нанотехнологий 365
7. Выводы из анализа когнитивных искажений в оценке глобальных рисков 370
8. Возможные правила для сравнительно эффективной оценки глобальных рисков 370
Заключение. Перспективы предотвращения глобальных катастроф 372
Приложения 375
Е. Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. 375
Н. Бостром. Введение в теорему о конце света. 430
А.А. Кононов. Идеологические начала общей теории неуничтожимости человечества 435
Литература: 449
Примечания: 458
СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»
Т.2
Ответственные редакторы:
И.В.Следзевский
Валерия Прайд
Содержание:
Предисловие 4
Вводное слово Ника Бострома. 10
Термины 11
Введение 13
Часть 1. Анализ Рисков 15
1. Общие замечания 15
2. Атомное оружие 35
3. Глобальное химическое заражение 53
4. Биологическое оружие 58
5. Супернаркотик 68
6. Риски, связанные с самокопирующимися идеями (мемами) 71
7. Искусственный интеллект 72
8. Риски, связанные с роботами и нанотехнологиями 87
9. Технологические способы провоцирования естественных природных катастроф 94
10. Технологические риски, связанные с принципиально новыми открытиями 98
11. Риски, создаваемые космическими технологиями 103
12. Риски, связанные с программой SETI 107
13. Риски, связанные с размыванием границ между человеческим и нечеловеческим 117
14. Риски, связанные с природными катастрофами 118
15. Глобальное потепление 141
16. Антропогенные риски, не связанные с новыми технологиями 144
17. Неизвестные нам сейчас причины катастроф 150
18. Способы обнаружения однофакторных сценариев глобальной катастрофы 151
19. Многофакторные сценарии 161
20. События, изменяющие вероятность глобальной катастрофы. 186
21. Криптовойны, гонка вооружений и другие сценарные факторы, повышающие вероятность глобальной катастрофы 205
22. Факторы, влияющие на скорость прогресса 222
23. Защита от глобальных рисков 227
24. Непрямые способы оценки вероятности глобальной катастрофы 264
25. Наиболее вероятный сценарий глобальной катастрофы 282
Часть 2. Методология анализа глобальных рисков. 287
1. Общие замечания. Ошибка как интеллектуальная катастрофа. 287
2. Ошибки, возможные только относительно угроз существованию человечества 291
3. Как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков 307
4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках 344
5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (ИИ) 355
6. Специфические ошибки, связанные рассуждениями о рисках использования нанотехнологий 365
7. Выводы из анализа когнитивных искажений в оценке глобальных рисков 370
8. Возможные правила для сравнительно эффективной оценки глобальных рисков 370
Заключение. Перспективы предотвращения глобальных катастроф 372
Приложения 375
Е. Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. 375
Н. Бостром. Введение в теорему о конце света. 430
А.А. Кононов. Идеологические начала общей теории неуничтожимости человечества 435
Литература: 449
Примечания: 458
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Организация по контролю за соблюдением трёх законов роботехники.