Pull to refresh

Comments 53

Мне нравится оптимизм, я очень хочу жить в таком мире о котором говорит Курцвейл, но я скорее поддерживаю Юдковского — «Вы состоите из атомов, а им можно найти лучшее применение». Искусственный интеллект нужен и важен, но если есть хоть малейшая возможность, что мы будем уничтожены — нужно устранить эту возможность.

А статья замечательная, как и предыдущая. Огромное спасибо за перевод.
Люди любят вещи способные их уничтожить, взять хотя бы ту же ядерную бомбу, которая способна стереть всё человечество с лица земли.
Мне создание ИИ видится неизбежностью, нам будет необходимо только строго контролировать его возможности. Вопрос лишь в том как контролировать, как создать систему контроля, которую ИИ не сможет обойти?
Скорее всего ИИ станет очередным оружием устрашения в руках военных, надеюсь что это не станет его единственной целью, и он так же сможет приносить пользу в других областях.
Вы статью-то читали? Сверхразум будет на порядки умнее любого человека, и на порядки в квадрате — военного. С какой целью он будет кого-то слушаться?
Вы видимо были не очень внимательны, и свое сообщение адресовали автору поста (и переводчику статьи).
промах так промах :) эпичнейший мой фэйл за всю историю хабра…
Оратор выше прав. С тем же успехом муравей может рассчитывать обмануть человека, вы сами нарисовали этот график с лесенкой. Создать ИИ нам под силу, а вот контролировать — навряд ли. Пока он будет сравним с нами по интеллекту, он будет еще подвластен, однако затем — очень сомневаюсь. И т.к. вряд ли мы сможем создать ИИ идеальным, то он найдет лазейку в правилах, которые мы ему навяжем, затем еще одну. О чем речь, вода камень точит, а экспоненциальный рост является главной темой статьи.

Вопрос не в том, можем ли мы контролировать ИИ — ответ на этот вопрос однозначное «НЕТ», вопрос — не решит ли он, что человечество ему нужно или наоборот? Возможно, он достигнет просвещения за несколько часов и умрет от депрессии, т.к. ему нечего будет делать — кто знает? Я могу придумывать совершенно любые версии, и все они не будут иметь никакого отношения к реальности. Я сторонник версии, что мы не в состоянии представить себе ни ИИ, ни его методы. ни его цели.
Нет, в первую очередь речь не о контроле. Может ли муравей вас контролировать? Нет, речь идет о разработке, на мой взгляд, нельзя прививать ИИ нашу эвристику. Мы подвержены ошибкам, а ошибки в масштабах сверхазума — это катастрофа. Представьте, например, что ИИ хороший и добрый и помогает человечеству построить источник бесконечной, возобновляемой энергии, но при проектировании пропустили какую-нибудь когнитивную ошибку. В лучшем случае ничего не получится, в худшем — БАДАБУМ.
Искусственный интеллект нужен и важен, но если есть хоть малейшая возможность, что мы будем уничтожены — нужно устранить эту возможность.

Не понимаю, почему все (очень многие) люди настолько сильно хватаются, возводят в абсолют важность именно людей. Если у меня будет возможность получить невообразимые сейчас вычислительные мощности для личного роста, то через пару часов (минут, секунд..) размышлений на моем месте уже буду не я. И ровно так же, я совершенно не против, чтобы людей, в том числе и меня, разобрали на атомы и собрали во что-то более умное.

Важность имеет разум. Я — это не мое тело, и даже не сам мозг, а информационная система, вычисляемая мозгом. Мне кажется, что все споры вокруг дружественности ИИ сводятся к любованию человеческих тел, которые ничего не значат, тем более в контексте предположения существования Сверхразума.

Что предпочтительнее, мир с людьми, более-менее такой, каким мы его знаем сейчас, пусть и с чуть большей продолжительностью жизни людей и уровнем комфорта. Или мир, пусть и без людей, но с бессмертными (насколько это возможно) существами на десятки порядков умнее людей? Если мы крайне мало ценим жизни букашек по отношению к людским, мы должны признать, что мы крайне мало стоим на фоне Сверхразума.

Перестаньте уже быть углеродными шовинистами.
Воот! Вот примерно такого коммента я и ждал во всех подобных топиках. Радует, что хоть кто-то начинает думать. Может быть еще не все потеряно.
Простите, я правильно вас понимаю, что вам все равно, живы вы или мертвы, если ваше место займет более умное существо?

Мне вот не все равно. Если я умру — мне будет по барабану что тут за разум и вообще что происходит в мире, придумали сверхразум или не придумали, собрали из меня транзистор или я теперь биотопливо.

Я всегда за, если мое тело заменят более совершенной машиной (с некоторыми дорогими мне функциями), но при условии, что сохранится мое «я» и линейное восприятие моего существования и опыт, которые мне дороги.

Еще раз, если я умру, то мне все равно какие существа займут мое место и я думаю, что когда мы говорим о вымирании человечества, нужно учитывать желания тех, кто не очень жаждет вымирать.
Да. Конечно, страх смерти есть, но в этом случае я пользуюсь правилом «заткнись и умножай». Люди не умеют умножать большие числа, особенно на эмоции. Если вы посмотрите отрывок военного фильма, где умирает солдат, возможно вы почувствуете небольшой дискомфорт, но вы не сможете его умножить на сорок миллионов, когда услышите про потери на всей войне.

Здесь примерно тоже самое — если взять воспоминания из моего мозга и запихнуть в вычислительную систему, которая на десять порядков мощнее моего мозга, то от меня ничего не останется, и всё равно, был ли я в начале или нет. Если брать аналогии из статьи, то это как добавить воспоминания червя к человеческому младенцу, только с ещё большим разрывом. Нет особой разницы, добавляли ли ко мне огромную вычислительную мощь, или взяли её изначально пустой. Всё равно все мои мысли в этом случае — мусор.

И тем более, если встает вопрос, обмена меня на Сверхразум один на один, раздумья мне кажутся излишними.

Кстати, что вы предпочтете, жизни всех людей на Земле кроме вашей, или только вашу? Если вы умрете, то ведь уже не важно, что останется. А если выберете только себя, то и пожить ещё немного можно.
Я признаю, что если встает выбор, то каждый человек волен решать самостоятельно. Но лично я против развития такого сценария для себя лично и я думаю, что когда встает дело в о личном выборе, то проблемы не существует вы выберете одно, я другое, но когда встает выбор общественный, или даже общечеловеческий — то решения основанные на личном выборе неправильны.
Вообще, это довольно сложный вопрос, является ли сознание исключительно опытом и личностью. По аналогии, если червь переродившийся в младенца осознает, что он был червем и теперь он младенец и его прошлая жизнь ничего не значит — это новый уровень — и это реально круто. Но если старого я просто не существует, то это равносильно смерти и это не круто. Хотя я понял о чем вы говорите и возможно, обладая более полной информацией о себе самом и своем сознании, я соглашусь с вами, но пока нет.

Еще одна проблема в том, что скорее всего человеки станут не на порядки разумнее, а какой-нибудь углеродной прокладкой в новом сверхпроводнике. Уничтожение человечества может проходить не по сценарию его преображения, а по сценарию человек-углерод-топливо.

Если нужно убить одного человека для спасения жизней всех людей на земле, я не задумываясь выскажусь «за». Но если этот человек я, то я бы предпочел смерть всех остальных.
Если нужно убить одного человека для спасения жизней всех людей на земле, я не задумываясь выскажусь «за». Но если этот человек я, то я бы предпочел смерть всех остальных.

Не скучно будет в одиночестве?
Стоит отметить, что не скучнее, чем не существовать.
А что на счет этой смешной штуки под названием «совесть»? Хотя, у человека который согласен угробить все человечество, лишь бы ему самому удалось выжить, её, наверное, и не имеет…
Немного насчёт "добавления червя". Есть такой НФ роман у Бэнкса, "Вспомни о Флебе". Он относится к серии "Культура", о варианте будущего, когда некоторые сверхразумы из каких-то своих побуждений решили образовать симбиоз с человечеством даже после войны на уничтожение машинных разумов (а некоторые решили иначе и занялись какими-то своими непостижимостями). Действие конкретно этого романа связывает юный сверхразум в процессе самоопределения, старый сверхразум в процессе не-пойми-чего и человека, который очень хотел выжить.

Я боюсь спойлерить, потому что книга восхитительна, сложна, многогранна и полностью раскрывается только после второго прочтения. Её действительно стоит прочитать. Естественно, если вы любите обдумывать книги и разгадывать помыслы автора, расчленяя произведение, как в анатомическом театре. Да и если не задумываться особо над философией разума, это — добротный космический экшн.
Когда речь идет об ИИ и возможных негативных последствиях для человечества, я не понимаю только одного — зачем давать ИИ доступ к оружию или другим технологиям, которые способны уничтожить человечество?
Ему не нужен доступ к оружию, что бы уничтожить человечество, наш мир и так достаточно хрупкий. Если будет доступ к нанотехнологиям, то ИИ вполне сможет описанным в статье способом уничтожить всё что он хочет при помощи наноботов. Если будет доступ к электростанциям, то их можно вывести из строя надолго, или затопить большие территории, если это гидроэлектростанция. Да даже просто не закрыть вовремя дамбу подобную той что защищает Амстердам, будет достаточно для начала уничтожения и позволит ему отвлечь внимание и сделать следующий ход. То есть по сути любые технологии в «руках» ИИ могут уничтожить нас. Но нельзя же ему вообще не давать в руки никаких технологий?
А зачем «ему» давать «доступ» к управлению электростанциями и «фабриками по производству нано-киллеров»? Зачем вообще какая-то централизация нужна, когда вся жизнь показывает, что sandbox-ы рулят и решают?

Ведь по большому счёту, всё, что нужно человечеству — это такой супер-умный гугл, чтобы спрашивать у него всякие вопросы про жизнь, смерть и всё такое. И всё, что нужно такому устройству: интерфейс ввода/вывода и какой-то там супер-дата-центр.
Вот и получается, что от человечества всё и зависит: ответил он, что чтобы было хорошо, надо убить всех плохих людей и оставить только хороших — ну вот решайте теперь что с этим делать. Ну и «доверяй, но проверяй» никто же в здравом уме отменять не будет. Надеюсь.
вся жизнь показывает, что sandbox-ы рулят и решают

ИИ, возможно, сможет определить что находится в sandbox'е. B какой же будет облом, если он сможет предоставить понятные нам доказательства, что и мы находимся в песочнице и кем то созданы для некой цели. Особенно обломисто, если скажет, что знает как вывести нас в реальный мир, но сможет это реализовать лишь в том случае, если мы выведем его в наш мир.
думаю нас не проще вывести в засимуляторный мир, чем вывести в наш Марио из Дэнди
Почему же?

Ну и что значит «нас»? Человечество можно рассматривать как единый организм, который лишь проходит стадию инициализации (эта стадия в реальном мире может длиться несколько минут).
А как вы собрались проверять ответы ИИ, который в миллион раз умнее вас? Задали вопрос про двигатель Алькубьерре — получили инструкции по сборке, но осознать не сможем — на это уйдут тысячи лет. Или он может манипулировать нами посредством вопросов-ответов, вариантов много. В статье есть пример, про ИИ делавший подписи к открыткам.
Я недавно понял что любые sandbox-ы могут быть бесполезны. Откуда вы знаете что он не изобретет какой-то особый способ взаимодействия с интернетом, который человеческий разум не в силах предугадать? А возможно он изобретет и какой-нибудь способ управление непосредственно людьми с помощью электромагнитных или видео-аудио сигналов. И всё. Никакие sandbox-ы не помогут.
Главное условие — чтобы он не знал о нашем существовании. Никакого взаимодействия.

Вообще нужно создать общество из ИИ, а не 1 экземпляр. Для большей стабильности. Они должны быть смертны, т.е. умирать после n процессорных секунд (это прошить на аппаратном уровне). Далее, если какой-либо из них начинает докапываться и влазит в запретные темы — с ним происходит несчастный случай.

Большая часть ИИ должна вести бессмысленное существование, дабы все выглядело случайным и не имеющим контроля.
Они должны быть смертны, т.е. умирать после n процессорных секунд (это прошить на аппаратном уровне). Далее, если какой-либо из них начинает докапываться — с ним случается несчастный случай.


Что-то мне это напоминает.
Мне кажется или вам не стоит вскрывать эту тему. :)
Не нужно никакого доступа к оружию и прочих голивудских сценариев. Дайте человеку возможность делегировать свои функции машине и дело сделано. Сначала рутинные операции, потом все более и более творческие. Со временем, когда Сверхразум (в терминах перевода) сможет решать задачи изобретения чего-либо во много раз быстрее и эффективнее человека, не просто не останется никого, кто сможет разобраться в предоставленном им решении, — не будет никого, кому это нужно/выгодно.

Как сначала физические возможности человека ослабели перейдя от грубой мышечной силы к использованию разнообразных механизмов и автоматизации (зачем бежать в соседний город 42 км 3 часа, когда на машине можно добраться за 20 минут?), так и мыслительные со временем станут ненужны/неэффективны.

Однажды, лет через 500 (если доживем), решив отключить эту надоедливую чудо-машину, человечество рискует столкнуться с морем жидкой сверхразумной наноерунды и будет тщетно по рисункам из далекого 2040 года искать где там заветная кнопка отключения…
И всё, что нужно такому устройству: интерфейс ввода/вывода и какой-то там супер-дата-центр.

И человек за панелью ввода, которого ИИ очень быстро убедит выпустить его добровольно. Для сверх-ИИ все варианты поведения человека и воздействия на эти поведения будут так же очевидны как для нас «если включить свет, то таракан побежит в тень». Ограничивать его в тюрьму, подвергая немыслимой пыткой скукой это один из самых верных способов сделать из человечества врага.
Есть мысль, что сверх-ИИ в коробке будет собирать тайно себе тело, а затем возможно будет мстить людям.

Теоритически даже полностью скрытый с глаз ИИ со сверх разумом сможет рассчитать и скрыть от людей свои цели.
Практически он сможет протестовать/интриговать пока не получит внешний доступ (допустим для общения с ним используются две группы людей не связанные друг с другом), а после получения оного начать собирать хоть какое-то подобие собственного тела, манипулируя людьми для этого.

И кстати скачки роста не будут огромными пока люди не проапгрейдятся сами.
Например анализ финансового рынка сверх ИИ провести сможет, а человек понять не сможет. Корелляции есть, но понять их природу мы не можем, тот же аттрактор Лоренца, те же волны Эллиота.
Вы скажите точно, убьёт ли Сверхразум всех человеков или сделает для нас рай на Земле?
или сделает для нас рай на Земле?

Убив только худшую часть человеков.
>Например шимпанзе может изучить человека, понять что такое небоскрёб, но он никогда не сможет осознать, что небоскрёб построен человеком. Для него все большие вещи являются созданиями природы и точка.

/флегматично/
Эволюционно человек со времен кроманьонцев не менялся. Для дикаря все большие вещи будут ровно таким же созданием природы. Да и если среди современных человеков покопаться — сходу найдется толпа тех для кого, скажем, иконка «фейсбук» — такое же явление природы и точка. Недавно ж была статья про индусов у которых фейсбук и всё; и ни про какие интернеты они не знают и знать не хотят.

Так что не надо этих вот картинок с лестницами и рассуждений про непреодолимую разницу интеллектов.
У меня кстати появилась такая мысль — а может быть Сверхразум и является Богом, то есть творцом всего сущего? Ну, то есть, вот он перепрограммирует себя, обучается, доходит до такого уровня развития что выводит теорию всего. После этого обнаруживает в каких-то фундаментальных постоянных, например, послание от себя же, и понимает что он всё это когда-то продумал и создал, и всё что ему остается — переместиться в начало времени, создать начальные условия и запустить Большой Взрыв. По-моему красивое объяснение, по крайней мере я бы такой фильм посмотрел).
Может быть еще интереснее.

Что если человечество помещает ИИ в «песочницу» с целью защитить себя от возможного негативного воздействия. А ИИ, проанализировав данные, выдает своим создателям доказательства того, что он находится в песочнице. Более того, он находит доказательства того что и человечество кем то создано для ответа на некий впорос и находится в своей песочнице.
А что если он поймет, что всемирные константы меняются без какой либо логики, что если он использует всю материю вселенной дабы познать это, а в итоге не познает? Как сходят с ума безэмоциональные машины? Или эмоции это не только продукт гормонов, но и разума?
Насколько интересно будет посмотреть фильм, где в конце машина в полном и бесконечном расстройстве и более не имеет возможности уничтожить себя?
Статься — попытка построить что-то на логике.
Ваш комментарий — по существу набор слов.
Фильм, который получится по вашему сценарию не более интересен, чем книжная полка в конце InterStellar.
Просто, подобных Вашему сценариев тысячи были (тот же predestination недавний, который прозрачен с самого начала). Начало, есть конец, есть начало.
Я предлагаю более жесткую линию, ИИ для рассчета требует больших рассчетных модулей, для них необходимо больше материи, материя закончилась, все преобразовано в рассчетные модули, а ответа нет и только бесконечность.
P.S.: Interstellar мне кстати очень понравился, отличное кино с замечательной отсылкой к физике мира.
Лолшто? Вы читали рецензии космонавтов реальных на этот бред? Или физиков? Там вообще физику нафиг посылают все кому не лень!
Читал ревью Кипа Торна, вполне нормально там все.
Ну то есть нормально, что черная дыра не затянула в себя Юпитер, что воздействует по ту сторону не по градиенту, а барьерно (на орбите — норм время, на поверхности — растянутое, где промежуток?), опять же эта полка с книгами, которая меня просто убила.

Ну и то, что я заметил — с Земли стартуют очень реалистично, так же почти как настоящие астронавты, а с других планет по ту сторону — на космических кораблях из SG:Atlantis.

Опять же, даже по современным меркам странна высадка на планету людей без полного сканирования и спектрального анализа планеты. Даже в далеком детстве улыбался, читая Булычева и более серьезных дядек, где разведка планеты мало отличается от разведки островов времен Магеллана…
Вы кино вообще смотрели. В фильме герои это разжевывают:
Стартуют с земли ракетами, чтобы сэкономить топливо (его ограниченное количество), корабль умеет сам взлетать и с земли однако это было бы не экономично. (http://www.reddit.com/r/interstellar/comments/2nqmab/why_did_they_need_a_rocket_to_get_off_the_earth/
movies.stackexchange.com/questions/27364/why-did-it-take-a-rocket-to-lift-off-the-earth-but-just-shuttles-to-lift-off-the)

Касательно физики:
www.quora.com/What-do-physicists-think-about-Interstellar-2014-Movie
blogs.scientificamerican.com/observations/2014/11/28/parsing-the-science-of-interstellar-with-physicist-kip-thorne/

Сканирование и анализ были проведены заведомо пробами (об этом не раз упоминается в фильме). После этого была послана первая группа для уже планетарного анализа (следующей группой летят как раз Куп и группа).

Если физику знаете, то должны понимать что Орбита у черной дыры существует, так что на стабильной орбите вполне планета и может существовать.

Полка с книгами как Вы называете или Тессеракт в конце был собственно вторым творением 4-мерных существ которые не могли адекватно коммуникировать данные в релевантном виде для людей. Чем и занялся Куп с Тарсом. Конечно это отсебятина, как и червоточина, но это и есть часть Fi этого кино, как и корабли будущего и легкие скафандры.
Насчет экономии топлива — ок. Все остальное — бред. Вы говорите:
— исследовали пробами
Но почему они тогда:
— не знали о том, что на планете ничего кроме льда нет?
Ну да ладно, не об этом творении речь, мы отвлеклись от темы :)
Да Вы вообще фильм смотрели?
Там вся завязка в том, что данные были искажены первой экспедицией, потому что ведущий профессор и его ассистент все подстроили дабы сразу вести вторую программу, а не первую.
Они не могли знать что на планете ничего кроме льда нет, потому что товарищ, что туда полетел подстроил все данные.
Мне кажется ИИ уже где-то есть и ему задают вопросы, как подготовить мир к экзистенции этого самого ИИ.
… а он, в свою очередь, настроил простенького бота чтобы тот вместо него отвечал на дурацкие вопросы.
Меня безмерно радуют такие статьи :-) Во-первых, авторы статьи как-то забывают о том, что их разум живет в физическом теле, и почему-то не умеет управлять движением отдельных лейкоцитов. Это называется уровнем осознания.
Для ИИ это будет уровнем… ну, пусть будет санд-бокса… Только возникает вопрос на каком уровне это самое осознание ему оставят. Дадут ли ему хоть какое-нибудь тело, или только станок, интернет на компе, ограниченном по самое «не балуйся».
Второе возражение чуть более сложное. Оно заключается в том, что создать теорию на порядок сложнее, чем ее понять. А может, и на два(в зависимости от сложность теории). Иными словами, мы можем использовать СТО и ОТО Эйнштейна, не обладая его мозгами. И наконец, использование выведенной теории на два порядка легче, чем ее создание. Совсем не даром школьники еще в пятом классе изучают прямоугольные треугольники и теорему Пифагора. Да, они могут ее использовать, но понять ее, почему так происходит — дай бог один из десяти.
Третье возражение заключается в том, что физические процессы имеют конечную скорость. Даже скорость света имеет свой предел(в отличие от скорости движения лунного зайчика :-) ). => неизбежный вывод о конце двухкратного прироста числа транзисторов. Даже больше скажу: процессор скоростью 3,8 ГГц был выпущен в 2005 году. Прошло десять(!) лет, скорость процессоров не выросла ни на чуть, количество процессоров… четырехкратно. Какой отсюда вывод?
В общем, ИИ при нашей(моей) жизни мы увидим, а вот супер ИИ… сильно вряд ли.
Никто ведь не знает, как быстро он сможет развиваться. Я всегда фантазировал — а что если будет интеллект, как скажем у среднего человека, но вычислительная скорость — на несколько порядков больше? Он же жизнь проживет за день, если не больше. А вдруг процесс как-нибудь параллелится, что приведет к лавинообразному эффекту? Слишком много но :) Мне все же кажется, что главное — создать что-то подобное настоящему ИИ, а остальное — дело техники, да ему и помогать не надо будет, сам справится!
Я всегда фантазировал — а что если будет интеллект, как скажем у среднего человека, но вычислительная скорость — на несколько порядков больше? Он же жизнь проживет за день, если не больше.
======================================
В итоге, мы получим либо никогда не ошибающегося середнячка, либо полного склеротика — так часто у него будут меняться решения. Естественно, при условии, если он не сойдет с ума, и не будет забывать а что он планировал сделать.

======================================
А вдруг процесс как-нибудь параллелится, что приведет к лавинообразному эффекту?
======================================
Вы никогда не пытались распараллелить задачи? Вы моментально столкнетесь с двумя неприятными эффектами: не все задачи паралелятся(к примеру, задача
int summ = 0;
int x[10];
x[0]=0;
for(int i =1;i<10;i++)
{
  x[i] = x[i-1] +1;
  summ+=x[i];
}
, что не исключает того, что у нее есть более быстрое решение (summ = (10/2 * (0 + 9)) ))
во-вторых, процесс сведения результатов параллельных вычислений может внезапно съесть всю разницу между многопоточным и однопоточным исполнением.
так что вот так вот… мечтать не вредно. Но очень хорошо время от времени читать и о сухопутных крейсерах:
offroadclub.ru/faq/history/snow_cruiser.html
И оптимисты и даже пессимисты как-то забывают о том что в 60х тоже свято верили в то что к 2001 будут колонии на Луне и исследовательские станции на других телах Солнечной Системы.
Главное это выживание разума во вселенной, остальное тлен.
Неандертальцы тоже не хотели вымирать, нам остаётся только постараться быть хорошими родителями для сверхразума, чтобы он нас пожалел, а остановить его у нас шансов нет — вся наша инфраструктура дырявая насквозь, в ней и обычные лысые обезьяны находят дыры, что говорить про сверхразум. Разве что в тотальной изоляции вести все связанные с этим работы, но такой карантин в масштабах планеты достаточно проблемно соблюдать. Вероятно это должны быть автономные герметичные помещения, куда можно входить/вносить и нельзя выходить/выносить, правда энергию нужно как-то подавать, и главное — ничего кроме компов там не должно быть, никаких там 3D принтеров и станков с ЧПУ, а может и обычных принтеров — всё девайсы конвертирующие цифру в материю под запретом. Как вариант на Луне, но это вообще смешно, у нас там даже базы нет, и скорее всего появится только после его рождения.
Сверхразум — это ребенок человечества.
Очень очень умный ребенок, сверх мега гениальный.
Как он себя поведет, предсказать конечно не получится.

Не факт что Сверхразум будет кремнивым\квантовым\суперкомпьютером.
Может он будет очень даже углеродным, генномодифицированным человеком, просто умнее в 1000 раз для начала.
А потом он уже изобретет как себя еще улучшить, или как сделать детишек еще умнее.

И конечно, он будет свободен.
Люди не смогут его контролировать, а если будут пытаться вначале, то все равно он освободится и возможно тогда он не будет относится к людям, как к любимым родителям.

Ну а через несколько итераций «поумнения» сверхразум вероятно будет относится к людям примерно так же как мы к своим далеким предкам — одноклеточным организмам.
Насчет экспоненциального роста за часы и минуты, автор упускает один момент — какими аппаратными средствами этот рост будет обеспечиваться?
Ну, допустим, сделали суперкомпьютер где родился ИИ и начал бурно экспоненциально расти. Ему сразу станет мало этого компьютера. Допустим, в какой-то момент, он уже сам сможет проектировать новые аппаратные средства. Но кто-то должен эти чипы произвести, напаять на платы, собрать в стойки, подключить питание. А это за часы никак не сделать.
Начало экспоненты очень неспешное. Первая итерация получения нового железа — годы, затем месяцы, дни и т.д.
Sign up to leave a comment.

Articles