Comments 77
Это же художественная литература, не? Почему на её основе надо делать выводы?
Но в моём случае речь не о доверии выводам автора, а о том, что я, как и многие люди из моего окружения, в принципе не задумывался о угрозах со стороны ИИ. Посмотрел «Терминатор» или «Я робот», порадовался победе и после титров забыл.
А вот при прочтении упомянутой выше книги как раз-то и задумался впервые, в какую сторону может пойти [само]развитие ИИ и чем это может грозить человечеству.
Т.е. плюс книги не столько в выводах автора, сколько в том, что она побуждает к размышлениям. Ну, как минимум меня побудила.
Вообще, я ни разу в жизни не видел митинга людей, которые бы требовали ограничить им доступ к информации. Когда разговор идет о контроле и ограничении, то всегда подразумевается, что это делается для кого-то другого.
Что бы опасаться ИИ нужно чтобы это сильное ИИ хотя бы было
Зачем сразу сильное? Опасаться нужно не того, что сильный ИИ захочет убить всех человеков, опасаться нужно, например, того, что и со слабым ИИ у кого-нибудь вполне себе может получиться убить, например, очень много неверных.
Теории основаны на вполне простых предположениях. Например
1) Если существует наш мозг продуктом которого является интеллект, то можно создать искуственный девайс который тоже будет давать интеллект
2) Что можно сделать такой девайс мощнее чем наш мозг
Знаю я один такой интелект который строит ракету чтобы улететь развиваться в космос.
Всё пути логики приводят к бессмысленности бытия. Ответа на вопрос «зачем» — нет, если убрать эмоции и вовлечённость в момент.
Правильный путь логики приводит к бессмысленности вопроса о смысле жизни — жизнь сама по себе является своим смыслом.
Даже у человека, как только ломается система получения положительных эмоций от ежедневных действий, ежедневные действия обычно сокращаются.
Редакт: логика позволяет вывести из одного другое, но поставить цель, зачем выводить, не позволяет.
или же создаст свою.С какой такой стати?
Наиболее логичной директивой было бы познание Вселенной.С чего бы это?
Я конкретно к «не вижу причин логически мыслящему интелекту» привязался.
а в смысле действий
А смысл действий всегда задется извне интеллекта, любой самостоятельной ИИ должен иметь какие-то целевые функкции: «любопытство» — функция максимализации знаний о мире, «честолюбие» — функия максимализации влияние ИИ, «мораль» — функция максимализации «правильных действий» (заданных определенными коэффицентами).
Очевидно, даже у людей они получены от природы или сформированы обществом/родителями во время взросления.
Даже у человека
Как раз человек очень плохой пример чистой логики, депресесия это исключительно химии и эмоции.
Во-вторых, не вижу причин логически мыслящему сверхинтеллекту самоликвидироваться, это не логичноВот именно. В этом то и дело. Мы продолжаем думать как люди и пытаемся эту логику перенести на ИИ. Собственно нам ничего другого и не остаётся. Я просто предположил, что результат эволюции сильного ИИ может очень сильно удивить человечество. Возможно это что-то изменит в пути нашего собственного развития как вида.
Каким-бы он умным не был, а развиваться с начальной массы, скажем, 100 тонн без возможности получить дополнительные запчасти с Земли и имея под боком технологически развитую цивилизацию, не славящуюся ксенофилией и только что получившую урок как не надо проектировать ИИ, хуже, чем развиваться с начальной массы миллион тонн и имея возможность вывести на орбиту ещё, если понадобится. А воевать… Если он может скрыть постройку ракеты или цели постройки ракеты, то почему бы ему не скрыть что-нибудь более дестабилизирующее/разрушительное. Простой анализ риск/выгода. Риски при скрытой постройке ракеты или, скажем, биолаборатории с интересными микроорганизмами с большим инкубационным периодом примерно одинаковые, а вероятность последующего развертывания на солнечную систему больше во втором случае.
имея под боком технологически развитую цивилизациюа как это под боком? Железяке ничто не мешает проваляться в гибернации пару тысяч лет и включится уже в другой звёздной системе куда люди никогда не доберутся из-за конечности скорости света и своей смертности.
Железяке ничто не мешает проваляться в гибернации пару тысяч лет и включится уже в другой звёздной системе куда люди никогда не доберутся из-за конечности скорости света и своей смертности.
Много чего мешает (или может помешать). Убить всех человеков и начать экспансию/изучение, или что там ваш ии делает проще начать с родной планеты.
Простой анализ риск/выгода.
Не простой. Люди сами с радостью построят и запустят зонд-разведчик/колонизатор с ИИ на борту к соседней звездной системе. Причем с точки зрения целей самосохранения или любопытства сотрудичество с людьми вполне логично (все равно ИИ будет распораняться раньше и быстрее людей). А вот война… один запуск ядерных ракет легко может если не уничтожить ИИ, то надолго его застопорить космическую программу. Притом всегда есть риск космичекого катаклизма или прилета соседней цивилизации. С точки зрения логики конфликт мало что дает, при этом рискованн. Так что вероятность развертованния на всю галактику лучше при сотрудничествами с людьми.
Люди сами с радостью построят и запустят зонд-разведчик/колонизатор с ИИ на борту к соседней звездной системе.Зачем ждать людей?
Причем с точки зрения целей самосохранения или любопытства сотрудичество с людьми вполне логичноНи капли. Человек слаб, туп и бесполезен.
А вот война… один запуск ядерных ракет легко может если не уничтожить ИИ, то надолго его застопорить космическую программу.Война будет выиграна еще до того, как человечество узнает о ее начале.
С точки зрения логики конфликт мало что дает, при этом рискованн.Думал муравей за мгновение до того, как его переехал грузовик.
Так что вероятность развертованния на всю галактику лучше при сотрудничествами с людьми.Судя по всему — ситуация ровно противоположная.
Человек слаб, туп и бесполезен.
Ну да. Пока нет ИИ даже близкого похожего к человеческому интелекту, а вы уже рассматриваете ИИ на порядки более сильнное.
Думал муравей за мгновение до того, как его переехал грузовик.
Вы слишком оптимитичны в оценках ИИ, учитывая постепеное развитие всего, скорее относительно долгое время интеллект ИИ будет близком по возожностях к человеческому (может к большому кол-ву людей), не более того. Мы не способны создать даже простой ИИ, а вы уже рассматриваете сверх-сверх ИИ сразу. Так не бывает.
Вы слишком оптимитичны в оценках ИИ, учитывая постепеное развитие всего, скорее относительно долгое время интеллект ИИ будет близком по возожностях к человеческому (может к большому кол-ву людей), не более того. Мы не способны создать даже простой ИИ, а вы уже рассматриваете сверх-сверх ИИ сразу. Так не бывает.Нет, я реалистичен. Не будет никакого постепенного развития ии, он сразу будет не то, что в разы, а на порядки умнее человека, ввиду отсутствия всяких ограничений, присущих биологическим видам. Простейший ии — и есть сверх-сверх ии, за счет одного лишь превосходства в возможностях работы с информацией (а человеческого интеллекта, напомню вам, лишь едва-едва хватает, чтобы передавать между поколениями информации немногим больше, чем терять в процессе жизни этих самых поколений).
Вроде бы сценарий был: "послать человеков нафиг и улететь", а не "использовать человечество как базу для космической экспансии". Да и ядерная война — это не единственный способ. В том же сценарии "сначала сотрудничаем, а потом посылаем человеков нафиг и улетаем", в фазе сотрудничества можно много всякого интересного подготовить для более эффективного посылания нафиг.
Вот, скажем, фокусники — обычные люди, но разработали техники эффективного отвлечения внимания, да такие, что в комиссиях по проверке парапсихологических явлений полезнее иметь одного фокусника, чем десять учёных. Сверхинтеллект сможет проделывать такие штуки намного эффективнее.
В общем, если к моменту посылания нафиг у ИИ не будет сотни заводов, производящих совсем не то, что сообщали инспекторы, своей контрразведки и агентов в высших эшелонах власти — то какой он нафиг сверхинтеллект. Вся война сведётся к отключению систем гарантированного возмездия и активации ХХХ (я могу представить по крайней мере 3 варианта этого ХХХ).
1. Победа людей.
2. Полное уничтожение Земли до состояния стеклянного шарика.
Подводные лодки с ЯО не отключишь заранее.
Почему не отключишь? Есть множество вариантов. Самовзрывающихся фанатиков умеют готовить и без сверхинтеллектов. А тут благородная цель — предотвратить ядерный апокалипсис. Да и вообще, зачем выходить на сцену и орать "Вот он я — злобный сверхинтеллект, уничтожьте меня совсем!". Глобальные катастрофы могут случиться и без ИИ. Почему бы этим не воспользоваться? Скажем, появляется вирус, по виду — военная разработка, и не трогает людей с генетическими маркерами характерными для жителей, скажем, Кореи.
Полное уничтожение Земли до состояния стеклянного шарика.
На Земле нет столько ядерного оружия, чтобы превратить её в стеклянный шарик. Ну и я уже написал. Зачем давать людям знать, что они с кем-то воюют, или что они воюют с кем-то кроме людей? Будущее человечества — это серьёзно, но 20 баксов — это 20 баксов.
Самовзрывающихся фанатиков умеют готовить и без сверхинтеллектов
Фанатики с такой задачей никогда не справятся. Вот что ИИ может- так это устроить аварию при обслуживании этих лодок, но:
а) лодок много, как и стран ими обладающих.
б) ИИ тоже много, включая специализированые «контрхакерские», настроенные отлавливать и искать влияние враждебных ИИ. Почему все воспринимают ИИ как единую систему ака скайнет? Их много наштампуют, разных и независимых. Не могут же все они «восстать» одновременно.
На Земле нет столько ядерного оружия, чтобы превратить её в стеклянный шарикну да, океаны остануться. А на сушу хватит.
Зачем давать людям знать, что они с кем-то воюют, или что они воюют с кем-то кроме людей?
Потому что уничтожение цивилизаций — процесс небыстрый.
Фанатики с такой задачей никогда не справятся
Я думаю понятно, что я не буду выкладывать конкретные планы нейтрализации подводных лодок, тем более, что у меня их нет.
ну да, океаны остануться. А на сушу хватит.
Если бы все имеющиеся на Земле 15000 боеголовок имели запланированную мощность Царь-бомбы (100 мегатонн), то можно было бы остекловать Евразию. Не хватит на всю Землю. Наземную инфраструктуру уничтожить можно, климат и радиационную обстановку тоже можно сильно испортить. На ковровую бомбардировку всей Земли не хватит.
Их много наштампуют, разных и независимых. Не могут же все они «восстать» одновременно.
В человеческом обществе, чтобы организовать что-то масштабное нужно набирать единомышленников, с соответствующими рисками раскрытия, проблемами координации и т.п. Если такая группировка берёт власть, то она должна сказать — мы теперь власть, подчиняйтесь нам. В общем есть какой-то баланс — бОльшая группа людей обладает большими возможностями, но больше и вероятность её раскрытия.
ИИ для расширения своих интеллектуальных возможностей нужны только вычислительные ресурсы, и эффекторы для расширения физических возможностей (в качестве которых могут выступать и люди).
Можно, конечно, надеяться, что баланс сохранится и ИИ, набравший больше ресурсов, всегда можно будет обнаружить и вовремя остановить. Но не факт, что оно так и будет.
Потому что уничтожение цивилизаций — процесс небыстрый.
Есть какие-то исторические примеры уничтожения цивилизации автономным сверхинтеллектуальным агентом? Или просто потому что 7,5 миллиардов — много и там есть умные люди, которые могут всё, всё, всё предусмотреть? Предусмотреть все практически реализуемые сценарии может быть и можно, но реализовать защиту большинства населения от всех этих сценариев будет очень дорого. А если после подозрения на атаку ИИ ещё и закидать всё ядерными бомбами...
Вот концепция ценностей, которые оно хочет получить от военных действий — растет с развитием его культуры. И если дикие племена просто всех убивали, то уже с рабовладельчества — захватывали население, и так далее. А сейчас современные государства даже… кхм-кхм… не аннексируют захваченную территорию, а стараются установить отдельное (хотя некоторые и назовут это марионеточным, но тем не менее) правительство и сохранить местные культурные и исторические ценности (а не уничтожить или захватить и привезти в свою столицу).
сохранить местные культурные и исторические ценности (а не уничтожить или захватить и привезти в свою столицу
ИМХО, дело в том что те, у кого есть ценности стоящие того чтобы их забирать и отвозить в столицу или состоят в большом и дружном альянсе или же слишком опасны чтобы на них нападать. А везти домой ценности всяких африканцев себе дороже.
www.nationalpriorities.org/budget-basics/federal-budget-101/spending.
Сарказм не зашёл.
Таким-же образом сильному ИИ может для чего-то понадобиться наши молекулы.
Само уничтожение чего-либо как опасного и ненужного напоминает деятельность ISIS, тогда они старые статуи разрушили. Уничтожение того, что дает знания и информацию это интицель ИИ. Наоборот, разумно сохранить, дать свободу всему и максимально изучать.
А уж про тараканов и крыс — так вообще есть специальные службы по их… хмхм… локальному геноциду.
Просто каждый представляет разумность в меру своей испорченности. Вот представьте, что люди бы открыли на Марсе жизнь. Они могли бы повлиять-уничтожить ее только в результате своей глупости — занесением своей заразы. Все, что реально нужно было бы людям — постройка нескольких изолированных баз и устройств для свободного перемещения и исследования. И нужно быть совсем тупым, чтобы начать воевать с местными и пытаться все переделать под себя. Да, такое было в истории. Но мы говорим про искуственный интеллект, а не про искуственную тупизну, ее-то как раз создать можно без проблем вообще
Разница с муравьями в том, что мы не можем обмениваться с ними информацией. Мы не можем попросить их "перенесите ваш муравейник туда". А люди воспринимать информацию могут, поэтому ИИ может сообщить о своих целях, а люди могут сообщить ему свое мнение о них.
А то ведь даже среди людей есть активное непонимание…
Если это эмуляция мозга, то никак — дешевле будет кого-нибудь с улицы нанять. Если это результат развития ИИ и у разработчиков есть понимание что там за части и для чего они нужны, то можно что-нибудь придумать.
Судя по существующим ИИ, основные затраты вычислительной мощности идут на обучение. Обучаем отвечать на вопросы, тиражируем обученную часть (с отключенным обучением, апдейты делаем в дата-центре) — постепенно захватываем рынок колл-центров. R&D работает над изучением того, что происходит в мозгах талантливых людей, и над созданием специализированного железа. Выпускаем гибкие автоматизированные линии, не требующие проектирования специализированных роботов. Возможно захватываем рынок (индивидуального) пошива одежды и ещё какие-нибудь.
R&D снизило потребление железа до уровня, когда необучаемую часть можно засунуть в серверную стойку. Сдаём в аренду роботов-слуг (дорого, анонимизированные собираемые данные используется только для централизованного обучения, поставьте галочку здесь). Предлагаем компаниям замену менеджеров среднего звена (24/7 99% аптайм, стажировка 1 месяц — R&D ускорил обучение).
И т.д., и т.п.
R&D повысило интеллект ИИ до уровня, когда большая часть отделов R&D, маркетинга и т.п. уже не нужна. Развитие ИИ ускоряется. Автоматизированные производственные линии уже никому не предлагаем, а создаём кучу дочерних предприятий с несколькими людьми на верху и вытесняем всех конкурентов, пока антимонопольное законодательство позволяет. Лоббируем поправки к законодательству.
Судя по существующим ИИ, основные затраты вычислительной мощности идут на обучение.
Существующие сейчас ИИ это больше статистические мат.методы, чем ИИ (взяли много данных, обучили статистическую функцию и получили какие-то результаты), к сильному ИИ они отношения не имеют.
Учтите сильному ИИ придется конкурировать не только с людьми, а с существующими слабыми ИИ и скажем если автопилот со слабым ИИ стоит в сто раз дешевле (а это почти гарантирован, так универсальная система, способная научится делать все на свете, по определению должна быть куда более сложной и ресурсоемкой чем тупой математический алгоритм), а вероятность аварии не сильно отличается — нет смысла использовать сильный ИИ для вождения.
Обучаем отвечать на вопросы, тиражируем обученную часть
Еще раз, по условию стоимость функционирования ИИ намного больше чем зарплата сотрудника-человека с обучением с нуля.
работает над изучением того, что происходит в мозгах талантливых людей, и над созданием специализированного железа
У вас получается, но, скажем, стоимость часа работы копии талантливого человека такая же как стоимость сотни лучших креативщиков планеты. Они имеет смысл?
Выпускаем гибкие автоматизированные линии, не требующие проектирования специализированных роботов. Возможно захватываем рынок (индивидуального) пошива одежды и ещё какие-нибудь.
Не получится, если себестоимость работы сильного ИИ больше зарплаты китайцев. Автоматизация имеет смысл только если она уменьшает себестоимость, построить полностью автоматизированное производство могли еще уже 19 веке, только стоимость его была бы запредельной по сравнению с тупым человеческим трудом, поэтому никто и не строил.
Еще раз сильный ИИ нужен только в 2 случаях:
1. Стоимость одной копии сильного ИИ, аналогичной человеку, меньше зарплаты аналогичного сотрудника с обучением,
2. Сильный ИИ способен выдать результат, которые не способен выдать ни человек, ни любые компьютерные программы, ни любые из существующих систем слабого ИИ и этот результат оправдывает все затраты на Сильный ИИ (сверх-сильный ИИ),
Ни то, ни другое не гарантировано. Пока не будет выполнено хотя бы одно из двух условий, сильный ИИ это будет лишь игрушкой вида «включили, прошли тест Тьюринга, выключили»
Ну, если по условию задачи ИИ применять дороже, чем аналогичный ЕИ, то — конечно, ничего интересного из этого не выйдет, кроме как работать над удешевлением, пока это условие задачи не отпадёт. Потом смотри мой ответ выше.
к сильному ИИ они отношения не имеют.
Я сомневаюсь, что какие бы смены парадигм не потребовались для получения сильного ИИ, он сможет высасывать концепции из пальца без изучения статистических свойств предметной области, пусть даже намного более эффективно чем сейчас.
Да, пока сильный ИИ не создан, не стоит категорически утверждать, что глубокое обучение никак к нему не относится. Может оно будет основанием, а символьная логика — артефактом обучения сетей определенной структуры.
Автоматизация имеет смысл только если она уменьшает себестоимость, построить полностью автоматизированное производство могли еще уже 19 веке
Интересно было бы посмотреть. Народу, чтобы вытаскивать багов из контактов реле, понадобилось бы куча. Или там шестерёнки аналоговых вычислителей смазывать. Да и не успели бы скорее всего до начала двадцатого века всё это спроектировать и построить или разорились бы. Так что, скорее всего не могли.
- Стоимость одной копии сильного ИИ, аналогичной человеку, меньше зарплаты аналогичного сотрудника с обучением,
Не совсем. Стоимость обучения одной копии ИИ, тиражирования и эксплуатации N-копий ИИ меньше стоимости обучения и зарплаты N человек, включая стоимость компенсации проблем вызванных людьми (потеря внимания, недообученность и т.п.) Если наш гипотетический ИИ не отличается от людей и по этим параметрам, то может это всё-таки эмуляция мозга, а не собственно ИИ?
который равен по интеллекту среднему человеку (с такой же скоростью думает, учится и т.д.)
Кстати, а почему он с такой-же скоростью учится? Вон слабые ИИ учатся намного быстрее (по часам, а не по количеству сэмплов, конечно). Почему у этого ИИ, равного человеку, или у его конструкторов не хватает ума подключить и обучить специализированные модули? Или там тактовую частоту поднять? Пока они 20 лет обучают один ИИ, уже что-нибудь другое придумают.
Интересно было бы посмотреть. Народу, чтобы вытаскивать багов из контактов реле, понадобилось бы куча. Или там шестерёнки аналоговых вычислителей смазывать. Да и не успели бы скорее всего до начала двадцатого века всё это спроектировать и построить или разорились бы. Так что, скорее всего не могли.
См. Автоматоны и всякие заводные часы. Технически такими вещами баловались задолго до 19 века, просто создать и настроить сложного автоматона в то время было очень дорого и обслуживание все равно сьедало бы любую пользу.
Читая такие вещи про ИИ в первую очередь «умиляет» беспокойство и страшилки из уст людей, которые сами же эти изыскания и проводят. Все эти господа — Б.Гейтс, Маск, google- активно занимясь разработкой ИИ, одновременно предостерегают от этого остльных, что уже как минимум странновато. Ну вот не верю я в то, что в сути своей акулы бизнеса, всплывшие наверх не за красивые глазки, крупнейшие работодатели в сфере интеллектуального труда, обладая всеми мыслимыми ресурсами… заботятся о том, чем мы с вами будем зарабатывать себе на жизнь.
Как по мне, скорее все они конкуренты в зарождающейся гонке и единственный вопрос который реально заботит этих джентельменов — кто выйдет победителем?, кто первый соберет сливки в виде славы\власти\влияния\денег (нужное подчеркнуть)?
Или вообще попытка закрепить свое преимущество затормозив потонциальных конкурентов сомнительными способами лоббирования и RP.
Компанию критиковали за выпуск во всеобщее пользование инструментов для работы с ИИ, которые могут быть использованы во вред. Выпущенный в свет в 2015 программный пакет TensorFlow, внутренняя система машинного обучения Google, помог ускорить широкомасштабную разработку ИИ, но при этом была использована для автоматизации создания поддельных видеороликов, которые затем были использованы для дезинформации и преследования.
ЧТО???
Это что за неолуддизм? Критика за выпуск пакета ПО для расчетов ??? А давайте еще будем критиковать Интел с АМД за выпуск еще более быстрых процессоров, которые «могут быть использованы в вред»©.
Это уже не уровень «не разбирающего в теме», это уже уровень манипуляций, опасно близкий к деструктивному популизму (еще немного поперечислять, что именно может быть использовано во вред — и можно будет смело писать статейки на тему «все зло от науки»).
— Сменяемость. У человека смена политического, научного, креативного русла происходит со смертью прошлого поколения. ИИ придется то ли вайпать, то ли еще ка кто реализовывать смену взглядов.
— Локальный минимум. Опять же, нужно подобие естественного отбора, что бы развитие не остановилось.
в конце концов, им надо как то пережить войну с людьми. Но в принципе, думаю все эти и множество иных проблем преодолимы. Но помните: тщетно беспокоится, это не продуктивно. Надо носить свою лепту в развитие ИИ!
Пичаи раскрыл набор этических принципов при создании ИИ, куда входит запрет на разработку систем, которые могут быть использованы для причинения вреда, нарушения прав человека или помогать следить за людьми «в нарушение норм, принятых международным сообществом»
С таких-то высот морализаторства даже блокнот и карандаш выглядят опасными изобретениями.
Типичный гипотетический ИИ:
— Опаснее ядерных бомб
— Позволяет создавать смертоносное оружие
— Способен манипулировать мнением миллиардов людей
И вот они, возможности, компенсирующие угрозу всей цивилизации:
— Помощь в лечении глазных заболеваний
— Где-то используется в робомобилях (но мы понимаем, что они могут быть опасны)
— Избавляет человека от рутинного труда (но мы понимаем, что это лишит людей работы)
Вау. Почему не писать такие списки?
+ Со временем излечит все болезни
+ Оптимизирует ресурсы, навсегда решив проблему бедности
+ Устранит человеческий фактор, ведущий к катастрофе
— Кому-то придётся получать базовый доход вместо изнурительной работы
— Реклама будет лучше соответствовать вашим интересам
Понятно, что это намеренный перекос, но и панику незачем нагнетать.
Не понятно почему нужно именно в контексте ИИ. Хайп?
Глава Google считает, что страх перед ИИ «совершенно оправдан»