Судите о противниках страшилок по совокупности их аргументов, а не по среднему качеству каждого из них
С интеллектуальной точки зрения я всегда находил аргументы сторонников страшилок, касающихся ИИ, довольно убедительными. Однако инстинктивно я всегда считал, что они ошибаются. Это может быть предвзятым рассуждением, поскольку мысль о том, что мне придётся бросить говорить о том, что меня интересует, и сосредоточиться на этом узком техническом вопросе, мне крайне не нравится. Но на протяжении многих лет у меня в голове свербило подозрение, что с объективной точки зрения любители страшилок неправильно предсказывают будущее.
После долгих размышлений я, кажется, наконец понял, почему я не верю тем, кто считает, что ИИ имеет все шансы убить нас всех, потому что его функция полезности не будет соответствовать человеческим ценностям. Мои рассуждения просты, но я никогда раньше не видел, чтобы кто-то сформулировал что-либо подобное таким образом. Для того чтобы любители страшилок ошибались, скептикам не нужно быть правым во всех своих аргументах. Им достаточно быть правыми в одном из них, и тогда всё построение разрушится.
Допустим, существует 10 аргументов против страшилок, и каждый из них имеет лишь 20 % шансов оказаться верным. Это означает, что вероятность того, что любители страшилок ошибаются, равна 1 — (1-0,2)10 = 0,89. Каждый отдельный аргумент против страшилок может быть слабым, но общая аргументация против него сильна. Если поиграть с процентами и количеством аргументов, вероятность того, что любители страшилок правы, изменится, как на графике ниже.
Я не думаю, что нам удастся оценить правдоподобность отдельных аргументов, связанных с вопросом о контроле ИИ, поскольку умные люди сильно расходятся во мнениях почти по всем из них. Вот восемь мнений, которые не кажутся мне безумными, с приложенными вероятностями их правильности, которые я просто взял из головы:
Интеллект имеет огромную убывающую доходность, поэтому супер ИИ, который будет умнее нас, не будет иметь такого уж большого преимущества. (25%)
Контроль ИИ окажется относительно тривиальной проблемой. Например, просто попросите LLM использовать здравый смысл, и он не превратит нас в бутерброд с ветчиной, когда мы попросим его «сделать мне бутерброд с ветчиной». (30%)
Чтобы ИИ стремился к власти, для этого его нужно будет соответствующим образом запрограммировать. Пинкер: «Не существует закона сложных систем, который бы гласил, что разумные агенты обязаны превращаться в безжалостных конкистадоров. Действительно, нам известны представители одной высокоразвитой формы интеллекта, которая эволюционировала без этого дефекта. Их называют женщинами». (25%)
ИИ будет просто доброжелательным. Возможно, существует некий закон, в котором существует тесная связь между разумом и моралью. Именно поэтому люди более нравственны, чем другие животные, а самые умные люди и общества более этичны, чем самые глупые. (10%)
Супер-ИИ сочтёт полезным договариваться с нами и держать нас рядом, подобно тому, как люди могли бы наладить взаимовыгодные отношения с муравьями, если бы смогли преодолеть коммуникационный барьер. Этот аргумент приводила Катье Грейс. (10%)
Супер-ИИ смогут контролировать и уравновешивать друг друга, что может создать опасности для человечества, но и возможности для его процветания. (10%)
Исследования в области искусственного интеллекта застопорятся на неопределённый срок, возможно, потому, что закончатся данные для обучения или по другой причине. (35%)
Мы в корне заблуждаемся относительно природы такой вещи, как «интеллект». Существуют специфические способности, и нас ввели в заблуждение метафоры, основанные на психометрическом понятии фактора общего интеллекта. См. также Хэнсона о «лучшести». (35%)
Одна из проблем заключается в том, что вы можете разделять аргументы как угодно. Так, пункт «контроль — относительно тривиальная проблема» можно разделить на разные способы, которые могут помочь нам решить проблему контроля. Более того, разве №3 не является подмножеством №2? А №1 и №8 концептуально довольно близки. Но я думаю, что способов разделить аргументы и приумножить их больше, чем способов их объединить. Если бы я действительно прописывал все способы, которыми можно решить проблему выравнивания, и связал с каждым из них вероятность, аргументы в пользу страшилок выглядели бы хуже.
Идеального способа провести такой анализ не существует. Но, основываясь на произвольных вероятностях, которые я привёл для восьми приведённых выше аргументов, мы можем сказать, что вероятность того, что сторонники страшилок ошибаются, составляет 88 %. Вероятность конца человечества в 12 % всё ещё кажется довольно высокой, но я уверен, что есть много других аргументов, которые я не могу сейчас вспомнить, способные снизить этот показатель.
Существует также вероятность того, что, хотя ИИ и покончит с человечеством, мы ничего не сможем с этим поделать. Я бы оценил вероятность этого в 40 %. Кроме того, можно утверждать, что даже если теоретическое решение существует, наша политика не позволит нам достичь его. Опять же, допустим, что вероятность этого составляет 40 %. Таким образом, у нас остаётся 12% шансов на то, что ИИ представляет собой экзистенциальный риск, и 0,12 * 0,6 * 0,6 = 4% шансов на то, что ИИ представляет собой экзистенциальный риск и мы можем что-то с этим сделать.
У меня всегда была похожая проблема с парадоксом Ферми, а также с предполагаемым решением этой проблемы, согласно которому мы знаем, что НЛО действительно посещали Землю. Что касается последнего утверждения, то, чтобы считать, что мы видели инопланетян или вступали с ними в контакт, нужно, по крайней мере, верить в следующее:
Сверхразумные инопланетяне существуют.
Они хотели бы посетить нас.
Их визит к нам из-за пределов наблюдаемой Вселенной соответствовал бы законам физики.
Посещение нас было бы экономически эффективным, исходя из их приоритетов и экономических ограничений.
Несмотря на то, что они хотят и способны добраться до нас, они настолько некомпетентны, что их постоянно ловят, но не так, чтобы это было слишком очевидно.
Номер 5 — тот, который всегда казался мне самым смешным из всех. Я могу представить себе инопланетян, которые могут путешествовать между звёзд, но не таких, которые могут это делать, но при этом оставлять после себя доказательства в виде таких вещей, как зернистые фотографии, и ничего, что могло бы дать более прямые доказательства, не опирающиеся на свидетельства из первых рук. По удивительному совпадению, наши первые контакты с инопланетной жизнью обеспечивают такой уровень доказательств, который мог бы попасть в National Enquirer, но не соответствует стандартам настоящей журналистики. Несколько лет назад средства массовой информации были охвачены НЛО-манией, и сейчас гораздо меньше говорят о том, что подобные сообщения недавно были развенчаны Пентагоном.
Да, я знаю, что парадокс Ферми не предсказывает, что какая-то конкретная цивилизация даст о себе знать, но говорит о том, что, учитывая обширность Вселенной, по крайней мере одна должна захотеть и быть в состоянии это сделать. Однако предположение о бесконечном количестве цивилизаций, на мой взгляд, не решает проблему, которая заключается в том, что любые инопланетяне, которые существуют, должны быть очень далеко от нас. Также существует бесконечное количество вариантов неприятностей, которые не дадут им или их сообщениям достичь нас.
Я думаю, что 4% вероятность того, что ИИ способен будет уничтожит нас и мы сможем что-то с этим сделать, достаточно высока, чтобы люди работали над этой проблемой, и я рад, что некоторые так и делают. Но я не согласен с теми, кто считает, что экзистенциальный риск скорее вероятен, чем нет, или даже что очевидно, что это произойдёт, если мы будем следовать нескольким максимам вроде «интеллект помогает достигать целей» и «разумные существа стремятся к контролю над ресурсами».
Мы также должны учитывать, что за напуганность людей потенциально приходится платить. Я считаю, что если ИИ не уничтожит нас, то он станет огромным благом для человечества, исходя из того факта, что трудно вспомнить много технологий, которые люди добровольно использовали, и которые не сделали мир лучше в долгосрочной перспективе. Таким образом, страшилки в отношении ИИ — это не то, чему мы можем предаваться, не беспокоясь об обратной стороне медали. Если толпа напугает достаточно влиятельных политиков и бизнес-лидеров, есть вероятность, что они отложат на неопределённый срок наступление лучшего будущего. Важным прецедентом подобного поведения можно назвать ядерную энергетику. Отказ от максимизации возможностей интеллекта сам по себе может представлять экзистенциальный риск для человечества, поскольку мы просто продолжим быть глупыми, пока цивилизацию не уничтожит какая-нибудь суперболезнь или ядерная война. Пока те, кто опасается ИИ, устраиваются на работу программистами и ищут узкие технические решения, а не лоббируют государственный контроль над отраслью, я приветствую их усилия.
Ошибочно судить о доводах против страшилок, касающихся ИИ, по качеству среднего аргумента. Сторона, которая рассказывает тщательно продуманную историю, несёт бремя доказательства правдоподобности своего воображаемого сценария. Мы можем отвергнуть большую часть научной фантастики как неспособную дать хорошие прогнозы будущего, даже если не можем точно сказать, как именно ошибается каждое произведение или по какому пути пойдёт будущее политическое и технологическое развитие. Подобный скептицизм оправдан для всех историй с участием существ с отличным от нашего интеллектом, будь то машины или формы жизни с других планет.
