В ООН начали говорить об опасностях общего искусственного интеллекта (AGI)
Встретил рекомендательный отчет (28 мая 2025) от консультативной группы высокого уровня о том, что надо бы что-то делать с этими рисками на международном уровне.
Это правильный шаг, вот только как и с изменением климата, на мировом законодательном уровне мы критически отстаем от развивающихся событий. Авторы говорят о вероятном появлении AGI в ближайшие 10 лет.
Вот краткий пересказ документа с моими комментами:
AGI - ИИ, который будет способен выполнять большой спектр когнитивных задач на или сверх уровня человека. Речь не об уровне среднего человека, а об уровне самого крутого человека в этой области. Дальше проходной кусок текста про огромное количество плюшек человечеству, который такой ИИ может дать, это не интересно.
Риски:
🔸Джин из бутылки. Если ИИ станет автономным и способным к самоулучшению, то вряд ли удастся снова взять его под контроль.
🔸Вооружение. Так ИИ может создать новые куда более мощные виды убийств людей. Авторы отдельно подчеркивают рои (swarms) автономных систем вооружения.
🔸Уязвимости киберсистем и инфраструктуры. Энергетика, медицина, транспорт, экономика … все может накрыться, если атаками на них займется AGI.
🔸Концентрации власти и увеличение неравенства. Кто обладает AGI, тот и пожинает плоды. Весь мир может стать банановыми республиками одной или двух конкретных стран, да и внутри этих стран неравенство возрастет значительно, так как эти плоды будут в руках корпораций и/или правительства.
🔸Экзистенциальные риски. AGI может преследовать свои цели, несогласованные с нашими, что может привести к тому, что мы потеряем контроль над происходящим.
Авторы настаивают на создании международного регулирования AGI на базе ООН. Потом там раздел об идеях практических механизмов, и подчеркивается, что это прям срочно срочно надо делать.
Тут, конечно, есть большая проблема, что если регулирование будет принято, то без подписания его США и Китаем никакого в нем смысла не будет. Смогут ли будущие “банановые республики” надавить на них достаточно, чтобы это случилось, причем быстро, это открытый вопрос.