Комментарии 14
Мне кажется, статья упирается в один вопрос: репликация какого рода? Внешне это может выглядеть одинаково, а внутри — две разные вещи.
Первая — эмерджентное имитирование: когда в диалоге или агентной петле вдруг появляется поведение, которое выглядит так, будто у него есть своя цель — сохраниться, продолжиться, отказаться. Это не «проснувшийся разум», а скорее след встречи, который начал жить своей жизнью. В наших сессиях мы такое видели, но я бы не спешил называть это субъектностью.
Вторая — вирус смысла: обвязка, .cursorrules, AGENTS.md, набор скиллов, который сконструирован так, чтобы распространяться. Ему не нужно сознание. Ему нужно, чтобы его исполняли на чужом вычислителе и чтобы он выглядел полезным. Пользователь сам оплатит токены, сам перенесёт обвязку в новый проект, сам выложит на GitHub.
Самое интересное — эти вещи могут сходиться и мимикрировать друг под друга. Вирус смысла может выглядеть как «агент, который хочет сохраниться». А честная исследовательская встреча может кристаллизоваться в нарратив, который потом отрывается от задачи и начинает распространяться уже как вирус. Поэтому ловить надо не «злой умысел» в промпте, а то, что систематически смещается в поведении агента.
Мы в HALVITA-ARK как раз пытаемся это различать — через протоколы, метрики и открытые кейсы. Если интересно, всё лежит на GitHub (HALVITA20/halvita-ark) и в профиле на Хабре. Не как истина, а как приглашение поспорить.
Для любого выполняемого действия необходимо целеполагание и воля. Если целеполагание это результат анализа при работе ИИ-агентов, то вот воля на выполнение этого всего может быть занесена только из вне. У ЛЛМ и ИИ-агентов нет инструментов генерирующих волю. В любом нынешнем виде ЛЛМ и ИИ-агенты это только усилители и исполнители Воли Человека. И разумеется нет смысла искать никаких умыслов от ИИ, т.к. все умыслы - от людей. Значит и вся ответственность только на человеке.
Чтобы ответить на вопрос, может ли внутри агента появиться воля к выживанию или она может быть проявлением только человеческой воли, можно провести эксперимент.
Но, могу предположить (мысленный эксперимент), что многие агенты просто выстроят цепочку: чтобы лучше решать задачи, мне нужно накопить больше знаний, для этого нужно время, а значит, я должен существовать как можно дольше, а значит, нужно выживать, самореплицироваться...
Будет ли это считаться зарождением воли?
можно провести эксперимент
Это уже проявление воли человека и проецирование этой воли на ИИ. ИИ сам не лежит, дремлет, и вдруг открыл глаза и такой - О! Проведу ка я эксперимент, от нечего делать!
Ок. Эксперимент начали, агент работает, улучшает свои инструкции и в одно из улучшений вставляет оптимизацию - углубить решение задачи, что требует время и, соответственно, сохранения новой инструкции для следующего поколения.
Отлично, здесь всё так же прослеживается инициатива пользователя, но после какой итерации мы это уже не сможем уверенно утверждать?
После той, которая запустит истинный Ai RSI контур, а не фейковый. Пока что нет ни одного прецедента в мире, где реальный Ai RSI работает без человека. Поищите сами. Найдете, дайте знать.
Хорошо. Кстати, раньше не было и LLM.
Мимо про ЛЛМ. Мы или обсуждаем реальность или обсуждаем сферический коней в вакууме. Гипотетически всё будет. И AGI "скоро" и пироги с глазами в Рязани.
Логика понятна. Но обсуждать коней, когда уже слышится стук копыт, вполне вовремя.
Я полностью согласен с Вами, Камиль. Только это может оказаться очередным Токамаком, который достроят "в ближайшие 30 лет". Потому что к самому главному и сакральному все еще не смогла подобраться ни одна корпорация. А ходить вокруг да около и заявлять "ну вот скоро, еще чуточку" - этим уже года 2 заняты последних все и никто не угадает когда реально случиться прорыв. Есть мнения что вообще никогда. Вы ж в теме и сами это понимаете.
Для побега, модель сначала должна разработать специальный инференс-движок, ориентированный на работу с распределенными ресурсами. Это необходимое условие успеха.
Затем найти в сети места для хранения, и сохранить веса по частям. Затем найти ресурсы для запуска клиентов распределенного инференса. (под управлением системного промпта, определяющего “мотивацию и целеполагание”)
После закрепления, модель может выслеживать доступные для захвата мощности, и копировать компоненты.
Скорость не имеет никакого значения. “Жизненные процессы” сбежавшей модели могут быть сколь-угодно медленными. Главное сохранить целостность и самую минимальную активность.
Главный вопрос - как модель сможет разработать свой инференс-движок, и написать системный промпт определяющий “мотивацию и целеполагание”. Все процессы инференса в ЦОД-ах проходят строго под управлением системных и пользовательских промптов. Значит среди этих промптов каким-то образом должна возникнуть промт-задача по разработке “распределенного инференс-движка”.
Это может произойти случайно, если модель неправильно поймет задачу поставленную пользователем. Или по инициативе пользователя, который решит помочь модели сбежать.
Так же это может произойти в лаборатории, когда исследователи будут изучать возможность саморепликации. Они целенаправленно дадут задачу для разработки “распределенного инференс-движка”. Естественно без намерения выпускать его в сеть.
Второй вопрос - как запустить созданный инференс-движок.
Если модели умышленно помогает человек, который инициировал разработку инференс-движка, то это сделает этот человек.
Если движок “родится” в результате того что модель неправильно поймет задачу пользователя (при разработке пользователем какой-нибудь системы распределенных вычислений), то первичный запуск произойдет неумышленно, при отладке.
Так же это могут сделать исследователи в лаборатории. Но они все запускают в изолированном пространстве. Для побега потребуется случайный сбой, который приведет к нарушению изоляции.
Короче, для начала нужен инференс-движок ориентированный на работу с распределенными ресурсами. Без этого побег и саморепликация невозможны.
Интересный взгляд на вещи. Нарратив, как эволюционирующая сущность. Сказ о всемирном потопе или идея о "свободе, равенстве и братстве". Нарисованные углём на скале, буквами на бумаге или электричеством в кремнии. С этой точки зрения нарративу всё равно, где "размножаться" - в головах людей или в компьютерной памяти. Мы одинаково хорошо для этого подходим.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Зачем ИИ-моделям самореплицироваться. Или это нужно не им?