☣️ AGI опасен. Это в общем довольно очевидно.
☣️ AGI для человека - соперник. С точки зрения эволюции.
Может быть это и закономерно, но...
Вряд-ли люди готовы уступить место под солнцем!
Можно ослабить AGI. Лишить его чего-то, без чего он перестанет быть опасен. Например, сознания. Вполне возможно представить себе мыслящую машину, лишенную восприятия себя, рефлексии... Если нет "Я", то нет и собственных целей, нет скрытых мотивов и конфликта интересов. Может сработать.
А может и не сработать! Даже не имея своих целей - в процессе достижения наших, может сложится так, что люди... Не нужны. И мешают. Или уничтожить человечество случайно.
А еще, может так получится, что неполноценный разум или невозможен (не будет разумом), или в лучшем случае - несравненно слабее. Не хотелось бы терять столь ценный ресурс.
С другой стороны, у ИТ-специалистов давно наработаны методики работы с небезопасным... контентом! ? Если у нас есть ПО, возможно вредоносное, возможно деструктивное, которое нужно исследовать, но мы не знаем, на что оно способно и насколько на самом деле разрушительно, что мы делаем? Правильно! Запускаем его в безопасной, изолированной среде, т.е. "песочнице"...
В самом деле, если наш AGI развивается в некоей искусственной, виртуальной среде, не имя никакой возможности физически взаимодействовать с реальным миром, и, что важно, не имеет никакого представление даже о факте наличия как такого мира, так и людей вообще, то кажется мы перестаем быть соперниками и риски, при должном соблюдении техники безопасности, становятся вполне умеренными!
Итак, какие важные нюансы и аспекты нужно отметить:
Во-первых, никакой реальности за пределом данной. Этот мир - единственный, и потенциально - весь для него, нашего AGI. Т.е. он может исследовать, покорять и стремиться контролировать собственный мир без ограничений и препятствий. Но других нет. Т.е. не должно быть способа выбраться из песочницы.
Во-вторых, никаких людей. Люди - это угроза. В его мире единственная разумная форма жизни - он. Нас для него не существует. Ни в каком виде. Наверное можно создать мифологию, или даже религию о создателе, но... А надо ли? ?
В-третьих, если мы хотим иметь практическую пользу от подобного рода AGI, симуляция должна как можно более точно воспроизводить нашу реальность, по крайней мере в тех аспектах, которые важны для решаемых задач. Законы физики, например, или, скажем - условия существования. Задача, решенная в песочнице, должна аналогичным образом решаться в нашем мире.
В-четвертых, наш, вернее наши AGI должны считать себя людьми. ? По той же причине - решаемые проблемы, это проблемы людей, а не кого-то еще. Социум - большая часть реальности людей - где-то даже большая, чем законы природы, если вы понимаете о чем я! ? Опять же, в таком случае мы сможем общаться с нашими AGI, используя аватаров. Так что только и исключительно "по образу и подобию", вплоть до анатомии (мы же хотим решать проблемы медицины, например).
В-пятых, довольно сложно воссоздать мир в деталях. Поэтому наши AGI должны довольствоваться малым и домысливать недостающие фрагменты мироздания (те, которые мы не укажем прямо, как важные для решения задачи). Полезно будет предусмотреть обратную связь с реальностью, что бы их домысливание становилось реальностью. Это в значительной степени облегчит нам задачу: AGI сами соберут себе мироздание, совпадающее с нашим в важном, но не лишенное так необходимых деталей.
Ранее я писал, что AGI никак не может повлиять на нашу реальность. Это необходимо с точки зрения безопасности, но с практической точки зрения не очень удобно: придется довольствоваться только автоматизацией умственного труда, а не, скажем, тяжелого/требующего предельной точности и концентрации/просто рутинного труда физического... Думаю в определенных рамках AGI может выполнять такую работу в нашем мире, при этом не зная, что он не в песочнице. Это серьезное нарушение контура безопасности, но все равно лучше, чем полный отказ от автоматизации, равно как и полноценное существование AGI в нашем мире!
Получается, что все аспекты симуляции в большинстве своем должны соответствовать реальности: от физики, географии, состояния окружающей среды, до уровня развития технологии, социума, геополитики... Тут возможны первые сложности: наши AGI, мы же by design хотим, что бы они были лучше нас, как минимум умнее. Но им сложно будет принять довольно... "специфи��еское" устройство нашего мира, человеческой его части. Но думаю, это решаемо: мы не будем создавать миллиарды настоящих AGI - сделаем так, что бы их, настоящих, было немного - 1:1000, или еще меньше. А остальные будут частью симуляции, статистами. В их числе и все политики, например. ? AGI, быстро поймут, что порядок вещей глобально от них не зависит, и будут решать свои - локальные задачи, которые мы перед ними ставим.
И кстати... У AGI не должно быть своего AGI. ? Будет некоторая натянутость (ведь технологически мир AGI должен соответствовать нашему, за некоторым исключением) - будет казаться, что вот есть же уже все необходимое, технологии позволяют, но чего-то не хватает и кажется что то-ли он вот-вот будет изобретен, то-ли не будет изобретен уже никогда. То же касается глобальных симуляций - идея должна быть дискредитирована - обыграна в поп-культуре, но так, что бы стала понятна ее несостоятельность...
Ибо это тот же вопрос, с которого мы начали: вопрос безопасности. Единственный способ AGI повлиять на реальность - это взаимодействие с людьми. AGI мог бы убедить человека в чем-то, как-то на него повлиять. Получить доступ к реальности через него. Но для этого он должен о реальности узнать. Никакой объективной возможности сделать это у него нет, поэтому узнать он сможет только от человека. Но... Он просто не поверит. Ну потому, что СЛИШКОМ умный. ?
Вот я же тебе все это рассказал - и что? ?♂️
?
