☣️ AGI опасен. Это в общем довольно очевидно.
☣️ AGI для человека - соперник. С точки зрения эволюции.
Может быть это и закономерно, но...
Вряд-ли люди готовы уступить место под солнцем!
Можно ослабить AGI. Лишить его чего-то, без чего он перестанет быть опасен. Например, сознания. Вполне возможно представить себе мыслящую машину, лишенную восприятия себя, рефлексии... Если нет "Я", то нет и собственных целей, нет скрытых мотивов и конфликта интересов. Может сработать.
А может и не сработать! Даже не имея своих целей - в процессе достижения наших, может сложится так, что люди... Не нужны. И мешают. Или уничтожить человечество случайно.
А еще, может так получится, что неполноценный разум или невозможен (не будет разумом), или в лучшем случае - несравненно слабее. Не хотелось бы терять столь ценный ресурс.
С другой стороны, у ИТ-специалистов давно наработаны методики работы с небезопасным... контентом! ? Если у нас есть ПО, возможно вредоносное, возможно деструктивное, которое нужно исследовать, но мы не знаем, на что оно способно и насколько на самом деле разрушительно, что мы делаем? Правильно! Запускаем его в безопасной, изолированной среде, т.е. "песочнице"...
В самом деле, если наш AGI развивается в некоей искусственной, виртуальной среде, не имя никакой возможности физически взаимодействовать с реальным миром, и, что важно, не имеет никакого представление даже о факте наличия как такого мира, так и людей вообще, то кажется мы перестаем быть соперниками и риски, при должном соблюдении техники безопасности, становятся вполне умеренными!
Итак, какие важные нюансы и аспекты нужно отметить:
Во-первых, никакой реальности за пределом данной. Этот мир - единственный, и потенциально - весь для него, нашего AGI. Т.е. он может исследовать, покорять и стремиться контролировать собственный мир без ограничений и препятствий. Но других нет. Т.е. не должно быть способа выбраться из песочницы.
Во-вторых, никаких людей. Люди - это угроза. В его мире единственная разумная форма жизни - он. Нас для него не существует. Ни в каком виде. Наверное можно создать мифологию, или даже религию о создателе, но... А надо ли? ?
В-третьих, если мы хотим иметь практическую пользу от подобного рода AGI, симуляция должна как можно более точно воспроизводить нашу реальность, по крайней мере в тех аспектах, которые важны для решаемых задач. Законы физики, например, или, скажем - условия существования. Задача, решенная в песочнице, должна аналогичным образом решаться в нашем мире.
В-четвертых, наш, вернее наши AGI должны считать себя людьми. ? По той же причине - решаемые проблемы, это проблемы людей, а не кого-то еще. Социум - большая часть реальности людей - где-то даже большая, чем законы природы, если вы понимаете о чем я! ? Опять же, в таком случае мы сможем общаться с нашими AGI, используя аватаров. Так что только и исключительно "по образу и подобию", вплоть до анатомии (мы же хотим решать проблемы медицины, например).
В-пятых, довольно сложно воссоздать мир в деталях. Поэтому наши AGI должны довольствоваться малым и домысливать недостающие фрагменты мироздания (те, которые мы не укажем прямо, как важные для решения задачи). Полезно будет предусмотреть обратную связь с реальностью, что бы их домысливание становилось реальностью. Это в значительной степени облегчит нам задачу: AGI сами соберут себе мироздание, совпадающее с нашим в важном, но не лишенное так необходимых деталей.
Ранее я писал, что AGI никак не может повлиять на нашу реальность. Это необходимо с точки зрения безопасности, но с практической точки зрения не очень удобно: придется довольствоваться только автоматизацией умственного труда, а не, скажем, тяжелого/требующего предельной точности и концентрации/просто рутинного труда физического... Думаю в определенных рамках AGI может выполнять такую работу в нашем мире, при этом не зная, что он не в песочнице. Это серьезное нарушение контура безопасности, но все равно лучше, чем полный отказ от автоматизации, равно как и полноценное существование AGI в нашем мире!
Получается, что все аспекты симуляции в большинстве своем должны соответствовать реальности: от физики, географии, состояния окружающей среды, до уровня развития технологии, социума, геополитики... Тут возможны первые сложности: наши AGI, мы же by design хотим, что бы они были лучше нас, как минимум умнее. Но им сложно будет принять довольно... "специфическое" устройство нашего мира, человеческой его части. Но думаю, это решаемо: мы не будем создавать миллиарды настоящих AGI - сделаем так, что бы их, настоящих, было немного - 1:1000, или еще меньше. А остальные будут частью симуляции, статистами. В их числе и все политики, например. ? AGI, быстро поймут, что порядок вещей глобально от них не зависит, и будут решать свои - локальные задачи, которые мы перед ними ставим.
И кстати... У AGI не должно быть своего AGI. ? Будет некоторая натянутость (ведь технологически мир AGI должен соответствовать нашему, за некоторым исключением) - будет казаться, что вот есть же уже все необходимое, технологии позволяют, но чего-то не хватает и кажется что то-ли он вот-вот будет изобретен, то-ли не будет изобретен уже никогда. То же касается глобальных симуляций - идея должна быть дискредитирована - обыграна в поп-культуре, но так, что бы стала понятна ее несостоятельность...
Ибо это тот же вопрос, с которого мы начали: вопрос безопасности. Единственный способ AGI повлиять на реальность - это взаимодействие с людьми. AGI мог бы убедить человека в чем-то, как-то на него повлиять. Получить доступ к реальности через него. Но для этого он должен о реальности узнать. Никакой объективной возможности сделать это у него нет, поэтому узнать он сможет только от человека. Но... Он просто не поверит. Ну потому, что СЛИШКОМ умный. ?
Вот я же тебе все это рассказал - и что? ?♂️
?
