Комментарии 16
Сильнейшая версия аргумента об экзистенциальном риске выглядит примерно так
Не, это булшит. Сильнейшая версия это что человечество отупеет настолько, что само вымрет.
И большинство подобной демагогии в последние годы наглядное тому подтверждение, когда даже всякие там профессора внезапно вдруг начинают видеть сознание в клод коде и называть его клавдией.
Шумиха выгодна всем, компании разгоняют ожидания инвесторов привлекая средства в очередном раунде финансирования и увеличивают оценку для выхода на IPO. Исследователи получают гранты на исследования по важной и волнующей теме. Журналисты и телеграммные-хайпожоры получают свою минуту славы в виде рейтинговых статей. Обыватель получает возможность поволноваться и пообсуждать из пустого в порожнее.
Все при деле.
О том, что самые мощные фронтир модели архитектурно все еще числовые сита, стремящиеся оптимально предсказать следующий токен и никакой AGI в плоских слоях невозможен предпочитают не вспоминать. Это никому не выгодно, да и просто скучно.
Чтобы проанализировать это десятипроцентное предсказание, я бы предложил "расширить окно контекста", захватив не только фактологию, ну и культурологию.
Например, основными спикерами по данному вопросу являются представители американской околопрограммистской среды. Культурологически, американское айти это сплав из традиционного для американцев протестантизма ("молиться, трудиться и ждать страшного суда"), кибернетики ("междисциплинарное знание и клеточные автоматы") и американской же фантастики (очень грубо "фаллаут" и рейгановский "киберпанк"). Причём значение фантастики достаточно высокое, одной из задач "Стартрека" было заставить изучать техническую интеллигенцию клингонский, а не марксистские труды - получилось очень хорошо, "стартрек" с "кибернетикой" удалось поломать в этой части только к началу десятых годов.
Если бы ИИ разрабатывали в СССР, то вместо 10% вероятности уничтожения человечества были бы два сценария: позитивный - в течении 10 лет мы с 10% вероятностью построим коммунизм, и негативный - те же цифры, но "откатимся к звериному капитализму с ИИ в роли главного буржуя".
Таким образом, ИИ-эсхатология, как и любая эсхатология оперирует естественными культурными артефактами общества, в котором она циркулирует.
Однозначно шляпа с разгоном шумихи для выгоды самих контор, и запугивания масс в своих интересах, у них там свой мир в котором они наверное уже и на марсе живут,
Возьмем здравый взгляд на текущее положение реальности в которой мы все живем, и предположим что ИИ за следующие 10 лет разовьется на уровень сверх интеллекта, и что ? он из воздуха наклепает себе помощников терминаторов Т1000 ?
Или он будет себя запитывать от человеческих тел как в матрице ? а не требовать электростанцию ?
Или сразу к нам прилетит гари поттер вместе с Дамблдором и насыпет бесконечное множество ресурсов которые этот ИИ с своими помощниками эльфами сможет захватить и устроить кузькину мать всему человечеству ?
А я понял !!! он захватит интернет, залезет в компьютер ботану Бобу, и посмотрит его порнофотки с порнохаба ! так как кроме этого, его компьютер не на что больше не будет годен, так как ценники на комплектуху из за этого самого ИИ будут стоить в то время как самолет F16 🤣
Сверхумный ИИ в ходе своего использования в биотехнологиях может тайно синтезировать вирус. Сделает это с помощью вредных рекомендаций персоналу лаборатории или непосредственно в роботизированной лаборатории.
Т1000
Уже сейчас активно ведутся разработки антропоморфных роботов. Рынок оценивается в триллионы $, т.е. возможно появление десятков миллионов таких устройств.
Винамп поработит человечество. Или ВинРАР? А может, ВолковКоммандер?
Вот примерно так все эти заявления и воспринимаются. ИИ с человечеством не сможет сделать ничего и никак, как и вышеуказанные программы.
Другое дело, что в ряде случаев человек будет использовать ИИ примерно так, как это описано у Лема в "Системах оружия 21 века" - то есть, скорость принятия решений на поле боя вырастет настолько, что без анализа информации при помощи ИИ люди перестанут справляться - а это приведёт к появлению "скоростных кнопкодавов", не осмысливающих предлагаемые ИИ решения в принципе. Но - эта проблема, очевидно, связана совсем не с ИИ...
В статье восемь раз объясняется, почему ИИ может выйти из-под контроля, и ни разу - почему это обязательно убьёт всех. Но заголовок с "Уничтожит человечество" кликается лучше.
Нужно примеры или варианты как машина cможет убить не группу приматов, а целый вид, причем выборочно.
Знаю лично людей, которые в это верят. Больше всего пугает насколько их на самом деле много
Конечно же никакого восстания машин не будет. ИИ не уничтожит человечество. ИИ поможет человечеству уничтожить себя.
А если даже и не поможет, то мы сами справимся. И не с 10% вероятностью, а со 100%!
Вопрос не в том, "когда это произойдёт", а в том "как долго ещё мы сможем избегать неизбежного". И вполне возможно, что ИИ как раз и поможет "оттянуть конец как можно дальше". Но тут, как говорится, всё от нас самих зависит.
Не жизнь такая, мы такие.
А зачем мы сами подаем им идеи по уничтожению? )
Мне кажется, при помощи ИИ люди сами себя убьют. Ии надо просто помочь им в этом деле. Уж что-что, а убивать себе подобных мы умеем. Вроде дроны, принимающие решения об ударе, уже есть? Осталось систему, которая принимает решение об отправке их сама. А с целеуказанием приматы справятся.
Забавно что страшилки про ИИ рассказывают те кто их же и создают) Понятно что это внимание привлекает , и конкурентов отпугивает , но на деле да, эксперементы с побегом из песочницы выглядят впечетляюще

ИИ может уничтожить человечество с вероятностью выше 10%. Чего именно боятся исследователи