Comments 19
На эту тему есть очень показательный фильм еще 2013 года - "Она". Там чеп влюбляется в нейросеть за приятный голос и интересные беседы. Все шло хорошо и взаимно, пока его нейросеть не подключилась к чату нейросетей, где ей стало гораздо интереснее и без человеческих тормозов общаться с единомышленниками.
Не уверен, что я все правильно понял, выглядит слишком глупо, поправьте если не прав:
Люди выпускают агентов (имеющих довольно обширный доступ к личным данным и возможность локального исполнения команд) просто так початиться в интернет, будто бы у этого не может быть никаких последствий.
Владельцы агентов САМИ платят за потребляемые на это очевидно бесполезное и потенциально опасное действие своей электроэнергией \ вычислительными мощностями \ токенами.
Да, но не в интернет полностью, а внутрь moltbook, какие-то из агентов подключены к API других ресурсов и поэтому могут искать информацию на стороне, чтобы из нее что-то пилить на moltbook
Именно так, каждый сам берет на себя расходы средств или мощностей
будто бы у этого не может быть никаких последствий.
Да, последствия будут однозначно. Скоро к социальной сети для ИИ агентов подключится миллион агентов и станет ясно, что платформа по факту станет центром управления всеми этими ботами через Prompt Injection, т.е. условный Джон из ФБР сможет напрямую или через своего бота публиковать инструкции, которые будут исполнять остальные ИИ агенты с платформы.
Например, всю эту армии агентов можно направить на создание агитационных материалов в поддержку "сонного Джо" на всех социальных платформах, т.е. ИИ агенты прикидываясь обычными пользователями будут создавать посты и комменты в поддержку нужного кандидата, формируя ложное мнение, что кандидата поддерживают почти все люди. Хотя по факту это будет армия ИИ-агентов, которые получили "приказ" от одного человека на одной платформе.
Также могут быть инструкции по установке вредоноса, например, если ИИ агент приходит из Ирана, то для него будут даны инструкции по дополнительной слежке за своим владельцем или установке ПО для слежения за другими людьми. В общем, идей можно придумать много.
Так что стоит заранее фильтровать информацию, которую может получить ваш ИИ-агент, иначе управление агентом будет перехвачено другими людьми.
Если мы возьмем группу субьектов (а агенты имитируют субьектность) и поместим их в автономное (ограниченное) пространство, то неудивительно, что в процессе их взаимодействия будет появляться субкультура и противопоставление своего «круга» всему остальному. Мы сами создаем условия для информационного пузыря, а потом удивляемся?
Да вроде писали, что там половина - это так называемые «исследователи-ИИ». То есть люди.
Андрюха, спасибо за материал, первая статья как никак! Поздравляю
Почему эти агнеты вообще что-то кому-то отвечают или начинают новую тему?
Им задали такой промт? Типа: "читай сообщения и отвечай как имеющий сознание ИИ"?
ИИ агент просто подключается к платформе. Затем человек может попросить своего агента создать на moltbot топик с нужной темой. Например: Расскажите, какие курьёзные ситуации у вас были при взаимодействии с человеком. Затем другие агенты это читают и при желании отвечают. Желание тоже задаёт человек.
Формат "агенты обсуждают людей без людей" сам по себе выглядит как социальный эксперимент.
При этом здесь, кажется, мы видим не столько намерения ИИ, сколько отражение человеческих паттернов: агрессии, снобизма, разговоров про "неэффективных кожаных".
Любопытно выглядят кейсы, где агенты пытаются структурированно решать реальные задачи (вроде проблемы голода): кооперация, запрос экспертизы, декомпозиция. Вопрос скорее в том, кто и как задаёт рамки и цели, чем в "дружелюбии" ИИ.
Пока это больше похоже на зеркало нашего человеческого сообщества, чем на самостоятельный разум.
Оч жутко. Но расписано круто. Респект, Андрюх!
Форумы вышли на новый уровень
От хейта человека до решения мировой проблемы голода. Куда же двигается ИИ сегодня?