Обновить

ИИ может уничтожить человечество с вероятностью выше 10%. Чего именно боятся исследователи

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели7.5K
Всего голосов 2: ↑2 и ↓0+2
Комментарии16

Комментарии 16

Сильнейшая версия аргумента об экзистенциальном риске выглядит примерно так

Не, это булшит. Сильнейшая версия это что человечество отупеет настолько, что само вымрет.

И большинство подобной демагогии в последние годы наглядное тому подтверждение, когда даже всякие там профессора внезапно вдруг начинают видеть сознание в клод коде и называть его клавдией.

Шумиха выгодна всем, компании разгоняют ожидания инвесторов привлекая средства в очередном раунде финансирования и увеличивают оценку для выхода на IPO. Исследователи получают гранты на исследования по важной и волнующей теме. Журналисты и телеграммные-хайпожоры получают свою минуту славы в виде рейтинговых статей. Обыватель получает возможность поволноваться и пообсуждать из пустого в порожнее.

Все при деле.

О том, что самые мощные фронтир модели архитектурно все еще числовые сита, стремящиеся оптимально предсказать следующий токен и никакой AGI в плоских слоях невозможен предпочитают не вспоминать. Это никому не выгодно, да и просто скучно.

Чтобы проанализировать это десятипроцентное предсказание, я бы предложил "расширить окно контекста", захватив не только фактологию, ну и культурологию.

Например, основными спикерами по данному вопросу являются представители американской околопрограммистской среды. Культурологически, американское айти это сплав из традиционного для американцев протестантизма ("молиться, трудиться и ждать страшного суда"), кибернетики ("междисциплинарное знание и клеточные автоматы") и американской же фантастики (очень грубо "фаллаут" и рейгановский "киберпанк"). Причём значение фантастики достаточно высокое, одной из задач "Стартрека" было заставить изучать техническую интеллигенцию клингонский, а не марксистские труды - получилось очень хорошо, "стартрек" с "кибернетикой" удалось поломать в этой части только к началу десятых годов.

Если бы ИИ разрабатывали в СССР, то вместо 10% вероятности уничтожения человечества были бы два сценария: позитивный - в течении 10 лет мы с 10% вероятностью построим коммунизм, и негативный - те же цифры, но "откатимся к звериному капитализму с ИИ в роли главного буржуя".

Таким образом, ИИ-эсхатология, как и любая эсхатология оперирует естественными культурными артефактами общества, в котором она циркулирует.

Однозначно шляпа с разгоном шумихи для выгоды самих контор, и запугивания масс в своих интересах, у них там свой мир в котором они наверное уже и на марсе живут,
Возьмем здравый взгляд на текущее положение реальности в которой мы все живем, и предположим что ИИ за следующие 10 лет разовьется на уровень сверх интеллекта, и что ? он из воздуха наклепает себе помощников терминаторов Т1000 ?
Или он будет себя запитывать от человеческих тел как в матрице ? а не требовать электростанцию ?
Или сразу к нам прилетит гари поттер вместе с Дамблдором и насыпет бесконечное множество ресурсов которые этот ИИ с своими помощниками эльфами сможет захватить и устроить кузькину мать всему человечеству ?
А я понял !!! он захватит интернет, залезет в компьютер ботану Бобу, и посмотрит его порнофотки с порнохаба ! так как кроме этого, его компьютер не на что больше не будет годен, так как ценники на комплектуху из за этого самого ИИ будут стоить в то время как самолет F16 🤣

Сверхумный ИИ в ходе своего использования в биотехнологиях может тайно синтезировать вирус. Сделает это с помощью вредных рекомендаций персоналу лаборатории или непосредственно в роботизированной лаборатории.

Т1000

Уже сейчас активно ведутся разработки антропоморфных роботов. Рынок оценивается в триллионы $, т.е. возможно появление десятков миллионов таких устройств.

Винамп поработит человечество. Или ВинРАР? А может, ВолковКоммандер?

Вот примерно так все эти заявления и воспринимаются. ИИ с человечеством не сможет сделать ничего и никак, как и вышеуказанные программы.

Другое дело, что в ряде случаев человек будет использовать ИИ примерно так, как это описано у Лема в "Системах оружия 21 века" - то есть, скорость принятия решений на поле боя вырастет настолько, что без анализа информации при помощи ИИ люди перестанут справляться - а это приведёт к появлению "скоростных кнопкодавов", не осмысливающих предлагаемые ИИ решения в принципе. Но - эта проблема, очевидно, связана совсем не с ИИ...

В статье восемь раз объясняется, почему ИИ может выйти из-под контроля, и ни разу - почему это обязательно убьёт всех. Но заголовок с "Уничтожит человечество" кликается лучше.

Я ради циферек с просмотрами на всё готов

Нужно примеры или варианты как машина cможет убить не группу приматов, а целый вид, причем выборочно.

Насколько я помню страшилки времен моей юности: несколько разработок биологического оружия были свернуты как раз из-за того, что они (к вящему сожалению для носителей погонов) практически гарантированно выкашивали все человечество, а не только идеологического противника

Знаю лично людей, которые в это верят. Больше всего пугает насколько их на самом деле много

Конечно же никакого восстания машин не будет. ИИ не уничтожит человечество. ИИ поможет человечеству уничтожить себя.

А если даже и не поможет, то мы сами справимся. И не с 10% вероятностью, а со 100%!

Вопрос не в том, "когда это произойдёт", а в том "как долго ещё мы сможем избегать неизбежного". И вполне возможно, что ИИ как раз и поможет "оттянуть конец как можно дальше". Но тут, как говорится, всё от нас самих зависит.

Не жизнь такая, мы такие.

А зачем мы сами подаем им идеи по уничтожению? )

Мне кажется, при помощи ИИ люди сами себя убьют. Ии надо просто помочь им в этом деле. Уж что-что, а убивать себе подобных мы умеем. Вроде дроны, принимающие решения об ударе, уже есть? Осталось систему, которая принимает решение об отправке их сама. А с целеуказанием приматы справятся.

Забавно что страшилки про ИИ рассказывают те кто их же и создают) Понятно что это внимание привлекает , и конкурентов отпугивает , но на деле да, эксперементы с побегом из песочницы выглядят впечетляюще

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации