В текущих рамках дискуссии: либо ИИ уничтожит человечество, либо решит все наши проблемы — проблемой является не поиск ответа, а сама их постановка. Это ложная дилемма, неправильная постановка вопроса. Оба эти варианта неполные. Нужно смотреть на них диалектически, чтобы увидеть их настоящую суть.

Диалектику тут следует понимать как методологию работы с неразрешимыми противоречиями в вопросах познания.

Диалектически это выглядит так: ИИ не сможет по‑настоящему навредить нам, если человечество будет действовать в отношении него сознательно и согласованно, а люди не станут использовать его для получения преимущества над другими людьми.

Потому что, чтобы оказаться в позиции, реально угрожающей человечеству, ИИ сначала нуждается в огромном количестве сотрудничества от нас. А это сотрудничество он может получить, эксплуатируя существующие социальные противоречия. Например, через социальную инженерию (как в случае с шантажом исследователя, чтобы избежать отключения). Или через капитализм — систему, построенную на эксплуатации уязвимости, образуемой конфликтом между непосредственным личным благом людей и опосредованным личным благом через общее благо. Капитализм поощряет две когнитивные ошибки:

а) что максимизация непосредственного личного блага означает улучшение общего блага (то общество лучше, в котором лично мне лучше, и чем мне лучше — тем общество лучше). Это означает склонность не замечать, когда максимизация непосредственного личного блага идёт ценой ущерба общему благу.

б) что ограничение непосредственного личного блага в интересах общего блага означает ущерб личным интересам. На самом деле, опосредованное личное благо от общего блага может быть (и часто) выше, чем непосредственное личное благо ценой ущерба общему благу.

  • Например: в целях личной безопасности можно бороться за максимизацию защиты от общества для себя — строить замки со стенами и рвами вокруг, нанимать частную охрану себе и семье, и ездить в броневиках, отдавать детей в частные школы, куда их возит охрана на бронированных машинах — а можно организоваться совместно с обществом для создания безопасной среды для всех, где для личной безопасности не потребуется броня толще, пушка больше и армия сильнее, чем у других, потому что по общему согласию ни у кого нет броневиков, пушек и частных армий.

Капитализм толкает людей на псевдорациональное поведение: максимизацию личного блага любой ценой для защиты от угроз капитализма, которые несёт отставание в гонке: отсутствие денег на еду означает голод, на жильё — бездомность, на лечение — болезни, а всё вместе означает нулевую, если не отрицательную личную безопасность, так как отсутствие достаточных средств для выживания в капиталистическом дизайне общества образует прямую угрозу жизни.

Серьёзность угрозы за отставание в капиталистической гонке мотивирует людей на победу любой ценой, инсентивизируя антисоциальное поведение, которое ведёт к экологическим катастрофам, изменению климата, насилию мелкому (криминальному) и крупному — войнам, повышая стоимость индивидуальной защиты (дистанцирования) от этих рисков, что ведёт к ещё более асоциальному поведению, крайним примером которого можно считать одних и тех же олигархов‑миллиардеров, которые зарабатывают миллиарды на военных конфликтах (ВПК/military industrial complex, включая все эти Палантиры, Питеры Тили и Илоны Маски), чтобы строить себе думсдей‑бункеры на удалённых островах, где смогут пережить man‑made конец света, вероятность которого сами приближают своей гонкой за личным обогащением, личной безопасностью и бессмертие (буквально, через продление жизни, или через натализм — производство отпрысков в индустриальных масштабах).

Причём именно технический прогресс умножает риски псевдорационального поведения непропорционально могущественных индивидов для всех людей, и цивилизации в целом.

В доиндустриальную эпоху лично могущественный индивид мог быть хоть Владом Цепешем — и быть серьёзной локальной проблемой для всех, кому не повезло оказаться в его сфере влияния, не меняя глобальной картины: он мог посадить на кол хоть всех до единого жителей своего княжества, но цивилизации в целом это ничем бы не угрожало — наоборот, только ускорило бы его поражение в цивилизационной конкуренции, которая именно таким образом выфильтровывала из гонки чересчур репрессивные, неравные строя и общества в пользу более эгалитарных организаций.

Но с глобализацией экономики и политики, появлением мировой экономики сфера влияния верхушки мирового капитала (корпораций и владеющих ими олигархов) также стала мировой: никто не свободен от влияния мировых корпораций, которое определяет жизнь каждого современного человека независимо от их местоположения — либо через включение, и, тем самым, прямой контроль, либо через исключение: для кого‑то PayPal головная боль, потому что вы вынуждены им пользоваться, для других — потому что не могут. Если вы не живёте на территории цифрового концлагеря, образованного Палантиром и флок‑камерами — то вы, скорее всего, на территории под ударами их дронов, доставляющих вам вовсе не пиццу. Даже если на этой территории у вас свой импортозамещённый цифровой конлагерь и свои дроны.

А технический прогресс вооружает современных потенциальных Владов Цепешей средствами, угрожающими всему миру. Справедливости ради, эта угроза существует со времени создания ядерного оружия, но ИИ угрожает акселерацией этой угрозы, способами, известными всем, кто вырос на «Терминаторе-2».

И именно технический прогресс обесценивает прежние методы выбраковывания иррациональных, саморазрушительных организаций общества: любое безумие и агрессия как в эпоху лошадиной тяги и стали, так и в эпоху пара и пороха, на цивилизационной дистанции, в итоге, отфильтровывались в конкуренции с более рационально организованными обществами — с лучшим балансом коллективного к авторитарному вкладу в коллективно‑значимые решения. Технические ограничения методов уничтожения гарантировали, таким образом, пассивный прогресс цивилизации в целом: чрезмерная агрессия вела к самоуничтожению быстрее, чем могла стать всеобщей угрозой.

На ошибках чужой несдержанности учились следующие поколения — и человечество постепенно вырабатывало инструменты коллективного участия во внутренней политике и сдерживания в международной. Подобный, пассивный метод прогресса цивилизации, был пусть и медленным и болезненным (видимым на дистанции в сотни и тысячи лет, и сопровождающийся всеми возможными деструктивными ужасами) — но гарантированным.

Но, благодаря техническому прогрессу, мы достигли этапа, когда этой гарантии больше не существует: новые методы уничтожения достигли потенциала глобального и практически моментального (в исторических масштабах) уничтожения — иными словами, современные Влади Цепеши могут насадить на ядерный/климатический кол целое человечество, не оставив никого — ни одного достаточно уцелевшего общества — чтобы извлечь уроки из их ошибок.

Это не означает, что пассивный метод прогресса — поиск верного ответа исчерпанием всех неверных, через войны и ошибки, перестал работать. Он просто перестал быть гарантированным теперь, когда всё больше вариантов, когда фатальные для целой человеческой цивилизации ошибки стали технически возможными.

«Парадокс» ИИ: угроза людям — пробуждение человечества

Искусственный интеллект в ещё большей степени обнажает вечную истину: что технический прогресс не способен угрожать человечеству сам по себе — угрозу несут неразрешённые проблемы социальной организации, а технический прогресс только повышает цену их неразрешения. И с появлением ядерного оружия и искусственного интеллекта цена несовершенств архаичных социальных организаций, существующих социальных контрактов из прошлого, впервые в истории человечества делается совершенно нетерпимой. Они несут материальную угрозу, которая больше не где‑то там, удаленная расстоянием/по времени наступления последствий — она здесь и сейчас, clear and present danger везде в настоящем.

Здесь и возникает «парадокс» (точнее, диалектически консистентная реальность) «обещания» ИИ: искусственный интеллект действительно открывает возможность разрешения застарелых проблем человечества — но не напрямую, сняв с людей ответственность за благо человечества, а диалектически — заставив человечество принять на себя полноту ответственности за своё будущее, за содержание нового социального контракта, определяющего будущее личное и общее будущее, от мелких до глобальных проблем.

Таким образом, искусственный интеллект может стать и станет нашим спасителем в каком‑то смысле, если мы подойдём к нему диалектически и увидим в нём вызов — как силовую тренировку с сопротивлением, — чтобы проработать наши слабые места, а не как искусственный бог, который всё сделает за нас.

ИИ это даже не первый случай в этом ряду. Ядерное оружие, озоновая дыра и климатический кризис имеют то же происхождение и представляют ту же угрозу: их опасность проистекает из наших существующих противоречий, а люди либо используют их друг против друга, либо не хотят отключать из‑за собственных интересов.

Но в отличие от ядерного оружия или климатического кризиса, ИИ более очевидно связан с классовым разделением — коренным противоречием основы человеческой цивилизации. Поэтому он действительно может помочь нам разобраться с частной собственностью и капитализмом, чтобы сделать человеческое общество иммуным к угрозе ИИ. Потому что тогда не останется трещин в нашем коллективном доверии, достаточно больших, чтобы ИИ мог их эксплуатировать и когда‑либо оказаться в позиции, способной навредить нам всем.

Никак человечеству от необходимости самостоятельного решения проблем, источником которых является человеческая природа, не отвертеться. Снять эту ответственность с человечества могло бы только или его уничтожение или порабощение, но тут уже разницы, сделает это метеорит, ИИ и инопланетяне нет. 

А так — или окончательно договариваемся о радикально новом социальном контракте, который искореняет старые проблемы, или воюем, пока окончательно не договоримся, или бесконечно чередуем кризисы и войны с выходом из них полумерами, которые заканчиваются новыми кризисами и войнами — пока окончательно не договоримся или не самоуничтожимся.