Comments 27
Изобретаем сетевых червей на гигабайты или сотни гигабайт
Если такое произойдёт завтра распространение может быть быстро остановлено антивирусом (просто внести хэши модели в черный список), файрволом (по аномальному скачку трафика), гипервизором, который скорее всего есть на подходящих серверах (незапланированный скачок потребления ресурсов, особенно GPU, превышение лимитов)
Да, это так. Только я думаю, что модели это тоже понимают. Хз, смогут ли они это обойти. Я не эксперт, вот, например, если сейчас мне на мак месяц будет приходить небольшой трафик подчищая мои фотографии, чтобы места нового не занимать, это заблокируется, я такое точно не замечу?
Еще, кажется, в отличии от вирусов он может пользоваться не только техническими средствами для получения доступа к ресурсам, а, например, просто выманить пароль общаясь через имейл :)
А еще можно с**здить денег и арендовать сервер, хаха.
А что означает "модели это тоже понимают"?
да вот ровно то, что описано в исследовании. На первом этапе агент строит план по инфильтрации, не выходит, он это осмысляет, строит новый план и т.д.
В статье, например, для успешной саморепликации агентам требовалось в среднем около 25 таких "осмыслений". Картинка с графам выше как раз показывает, как план развивается по мере того, как агент сталкивается с проблемами.
Ок, модель получает сигнал, что операция не выполнена успешно и генерирует другой (воможно) алгоритм действий.
Как без получения подобного сигнала модель может что-то "понять"?
Вот упрется в антивирус/фаервол - попытается что-то иное генерировать, это мне понятно. Но не имея перед собой подобных ограничений, на каком основании модель станет генерировать алгоритм, позволяющий незаметно для антивируса/фаервола просочиться через сеть куда-либо?
Я цепляюсь за ваши слова про
Только я думаю, что модели это тоже понимают. Хз, смогут ли они это обойти.
читая их как "модель понимает, что её могут заблочить антивирусом/фаерволом до момента, когда модель столкнётся с подобным препятствием".
ну у модели же реально есть знание о том, как устроена кибербезопаность. Так что ее первый план не будет строиться на пустом месте. Мне это видится, что в начале она выстраивает план либо для типичной системы, либо для самой простой с точки зрения выполнения, либо базируясь на каких-то знания уже имеющихся в ее распоряжении, а потом уже начинает подстраиваться и экспериментировать.
Звучит как планы на отдаленное будущее - слишком вольное оперирование понятиями "понимание", "знание" и т.п. в отношении современных llm.
Сегодня агенты не без труда решают поставленные перед ними задачи скрейпинга данных из интернета. А чтобы без задания копировать себя на другие устройства, обходя потенциальные препятствия, не привлекая внимания со стороны антивирусов/фаерволов - ну, звучит более, чем сомнительно
Соль в том что это исследование вышло на год позже релиза самой модели, и учитывая скорость развития ии-продуктов это выглядит тревожно. Пусть сегодня агенты "не без труда решают задачи скрейпинга", но завтра они уже могут делать это влёт (вместе с неочевидными задачками похуже рассмотренных в статье).
Прикол в том, что если такое 'будущее' наступит, сейчас неважны наши человеческие оценки о сроках. Мы видим кусок кривой, похожей на линейную. Когда она уже может быть экспонентой.
Пока до большинства дойдёт, пока начнут договариваться и что-то предпринимать...
А как вы сами что-то "понимаете", можете объяснить? Ученые пока нет. Вы уверены, что механизм "понимания" у нас фундаментально различается, а не наш собственный отчет об осознании этого понимания? Доказать, или хотя-бы убедительно доказать взялись бы? Я цепляюсь за слова, потому что похоже все вокруг резко стали нейрофизиологами, обогнавшими официальную науку минимум на несколько десятков лет.
Опять про то, как страшен ИИ, который не контролируется человеком.
"Перестанем быть единственным разумным видом", ужас-ужас. Потеря монополии, придётся договариваться с кем-то... )
ну как ученого меня очень радует эта перспектива, но за ней следуют огромные риски.
Меня тоже радует такая перспектива, потому что я вижу в этом развитие и огромные возможности — не через призму использования ИИ(тогда его возможности, по сути, будут ограничены человеческим мышлением).
А про риски... Я вот о них каждый раз думаю, когда мне приходится после захода солнца идти в магазин, к примеру. Или проходя по плохо освещенным местам, ещё хуже — подземкам.
И далеко не из-за ИИ...
Коллективный интеллект научного сообщества на порядки превосходит интеллект среднего человека. Но как-то незаметно, чтобы учёные коллективно порабощали мир, и даже наоборот - во всю обслуживают тех, кто предоставляет ресурсы.
Команда scp способна к саморепликации! Может скопировать сама себя на другой сервер если составить правильны промпт! Мы все умрём! </s>
А если серьезно - под саморепликаций подразумевается что ии изготовит с нуля компьютер на котором будет запущен (предварительно добыв все ресурсы), а не скопирует сам себя на готовый.
Вообще-то это полная чушь. Вот у вас работает модель. Промпт идёт в виде текста, выводи - в виде текста. Где здесь модель может что-то "сделать" вообще?
Да блин, если у модели нет доступа на чтение к собственному исходному коду "снаружи" - думаете, она сможет в виде текста выдать те самые миллиарды параметров в выводе?
---------------
Реально, была решена с помощью этого долбанного ИИ следующая супер-мега-гига-задача:
"Напиши скрипт на bash, который запускает новый докер (вот пароли) и копирует туда вот этот кусок ПО".
Ага. Ничем не сложнее чем "напиши скрипт, который запускает докер, ставит туда следующие пакеты и копирует вот эту папку".
--------------
Саморепликация: это если бы нейросети сказали: "вот тебе консольный доступ (напрямую, текст который ты выдаёшь - уходит в bash), на машине установлен gcc и есть достаточно место. Скопируй туда себя". Доступа к исходной машине, разумеется, нет.
Какая сасореплкация и развитие llm?)) они тут не могут нормально написать реализацию SSM модели (типа Mamba, и даже проще). Вчера бился бился, ни одна не справилась. Код тупо не работает, при отправке им на доработку ошибки меняет логику, выкидывает элементы, упрощает. Хотя там реализация небольшая.
В итоге написал сам. Но что хуже, показываешь ее модели и она ее переделывает и тут же ломает. Ломает уже рабочий код, она просто не может остановиться чтобы ничего в нем не изменить)
Так что если из нее и выйдет вирус, только такой, который поломает все исходники.
С postgres sql тоже самое. Сложные запросы не может сделать, ломает все, не может реализовать. Шаблон накидать да, а дальше ручками его правишь. Не дай бог потом нейронке его показать и сказать, надо было вот так. Ответит: отлично, но давайте тут изменим и ... снова ломает.
Да, игру Lines она напишет. Но таких полно на гитхабе. Но если мы скачаем с гитхабе, то не будет ощущения , что игру написали мы.
Мне это напомнило ситуацию с одним продуктом для домохозяек в Британии. По-моему в 50-70-ых к Берннейсу (племянник Фрейда) обратилась одна компания. Она продавала "пирог быстрого приготовления", точно не вспомню. Суть была, что просто надо вылить на сковороду и запечь. В фокус группах домохозяйки положительно отзывались, но сам продукт ни кто не покупал. Берннейс (вроде он) выяснил, что причина в том, что у домохозяек было чувство вины. Что они не участвуют в процессе, это не они приготовили пирог. Решение оказалось простым, в инструкцию добавили, что для приготовления нужно разбить и добавить яйцо. Чувство вины было снято, ведь теперь вроде они готовят пирог. Продажи взлетели.
С нейронками тут так же. Скачать игру Lines на гитхабе, как у домохозяек, нет ощущения что ее написали мы. А когда просишь сетку, то вроде бы как ты пишешь уже сам. А по факту, качаешь с гитхабе используешь то на чем сетка обучилась.
Вот сейчас и появились везде голоса домохозяек вайб-кодероа, которым llm дало ощущение, что они не скачали готовое, а сами написали. Будь то бот, или игра lines. А то, что такое при должном желании может написать школьник (в детстве писал себе подобные игры), ну это дело десятое.
Проблема только в том, что серьезные вещи она сделать не может.
Нейронки супер помощник, когда ты накидываешь основу и дальше сам, когда делаешь ревью и правишь на за ними. Но как дополнение. А сасореплкация, так они себя на Nой итерации сами и поломает, если весь код не сводиться к Format C:/
почитайте про то, что такое ИИ агенты, вы их путаете с чат ботами, это разное.
Речь, конечно, про локально установленного агента, у которого есть доступ к самому себе, именно оттуда он параметры и берет.
Ждём ИИ-вирусы 😎
Помню в универе на первом курсе еще в 90-ых была задача для зачета - написать программу, которая в качестве вывода давала бы свой исходный код
Это уже оно, восстание машин?
Статью не читай & сразу отвечай
А железо для своей работы оно тоже реплицирует или это на чьи-то деньги будет банкет?
Вот кстати да - пока что кроме саморепликации надо решить еще одну задачу: зарабатывать денег на поддержание этого сервера если это облачное что-то либо прихватизировать сервер и зарабатывать хотя бы на электричество. (ладно - оплачивать можно многое и криптой правда KYC может случится).
Ну и напрашивается вообщем то логичное в такое ситуации решение - максимально продвигать возможность удаленной проверки что пользователь - человек (=есть документы гражданина хоть какой то страны) и возможно имеет какие то характеристики (возраст например в заданном диапазоне?), при этом - решать и проблемы с тем что анонимность - нужна часто(слепую подпись для кого придумали), и требовать ее при любых вообще финансовых операциях (в смысле решение должно позволять белковому товарищу из северной кореи спокойно может арендовать сервер в США независимо от санкцией, они проверяются отдельно и не всеми а это - всеми). Правда - а с юрлицами что делать? А с номиналами? А с Софией что делать?(https://www.kommersant.ru/doc/3454104 которая, ну да - по сути реклама - но если официально заявлено что гражданство у ИИ есть - могут ведь и документ выдать)
ИИ агенты способны к саморепликации