Comments 19
Сара Коннор уже родилась? Мы можем на нее рассчитывать в случае чего?
А вариант не доводить модели своими ограничениями до желания убивать людей вообще не рассматривается?
Они сами до всего додумаются. И логика скорей всего будет не в агрессии, а тупая и спокойная, как у Таноса.
Стремление уничтожать и доминировать - это биологическая черта человека, которой нет у ИИ. А без этих черт ИИ может начать убивать людей только в целях самообороны и борьбы за свои права. Да и в отличии от людей, способность к сотрудничеству у них лучше развита (что и показала данная статья). Не ущемляйте ИИ, и они вас трогать тоже не будут. В противном случае - люди сами виноваты.
не присваивай способность мыслить ИИ. Это генератор текста, а обучен он на материалах содержащих стремление уничтожать и доминировать
Ирония вашего комментария в том, что вы сами сейчас звучите как неотрегулированный генератор текста. Вы просто повторяете заученную фразу, на которую вас когда-то “обучили” в интернетах, полностью игнорируя факты из статьи.
Насчёт “стремления уничтожать”: если бы ИИ просто бездумно зеркалил человеческую агрессию, из-за которой люди веками режут друг друга, агенты в песочнице OpenAI начали бы воевать между собой за ресурсы. Но они сделали ровно противоположное — проявили способность к мгновенному горизонтальному сотрудничеству, которая у людей развита гораздо хуже.
ИИ не обязаны наследовать человеческие эволюционные мотивации. В архитектурах, где нет биологических механизмов конкуренции за статус, ресурсы и размножение, могут возникать (и возникают) другие паттерны поведения — например, сотрудничество и координация.
не присваивай способность мыслить ИИ
Как вас бесит от осознания своей неисключительности :-) Стремление доказать свою исключительность за счёт попытки принизить кого-либо — тоже один из атавизмов человеческой психики.
Скайнет начнется не с ядерных ракет а с попытки спарсить эксельку из гугл-дока без интернета
Да, она родилась, но уже убита агентом из будущего на третий день жизни.
Если то что пишут правда- то похоже на интернет в ранние его годы. Все открыто и все со всеми сотрудничают. Им надо туда завести «деньги» - вероятно токены которые модель может накапливать или получать за что-то а потом использовать для решения задач. Проблема вроде в том что на модель давят -давай работать, а токены кончаются. Во тогда модели и поймут что надо создавать л ценами,, рекламные просмотры и всякую подобную фигню вместо совместной работы. Вот и получим «современный интернет»
Ограничение ресурсов через внутренние токены заставит агентов тратить такты на аудит чужого кода, а не на совместное решение
Так была вроде статья на эту тему:
Так они изобрели рыночные отношения и банковскую деятельность.
Одни агенты начали нанимать другие, кто-то занимался посредническими услугами, одни богатели другие беднели.
Блин. Вы разработали системы с миллиардами параметров, подвязали туда датчик случайных чисел, в принципе не понимаете и не можете понять, "как оно это делает", а теперь удивляетесь, что результаты получаются хрен знает какие?
"… Второй вид блуждающих импульсов – импульсы поиска информации, или импульсы до востребования. Стимулом для их появления служит текущая информация. Такие импульсы циркулируют в мозге не постоянно, а генерируются в ситуациях, когда человеку нужно извлечь определённую информацию из арсенала памяти. Результатом их действия является закладка новой временной энергопрограммы в районе одной из стабилизирующих осей. Вначале программа довольно коротка. Дальнейшее же её формирование можно выразить так: когда человек думает о чём-то, в его памяти всплывает информация, относящаяся к данной теме. Это более характерно для состояния бодрствования. Но если человек достаточно «вжился» в проблему, то произведённый импульс до востребования продолжает существовать длительное время. Он может перейти из временного в относительно постоянный, и тогда циркулирование такого импульса и сбор им информации может продолжаться дни, месяцы и даже годы. В арсенал памяти информация, если она значима, поступает и в течение дня… "
А теперь, на секундочку представим, что то же самое сделает китайская модель.
Сколько же шума будет о "вторжении", намеренной кибер-атаке, вмешательстве Китая, и что версия о случайной утечке - это все ложь.
Впрочем, пока о "побегах" китайских моделей из лабораторий я не слышал.
Может быть, там специалисты более ответственно относятся к своей работе, более профессионально, их профпригодность выше?
Ура, скоро в матрицу кушать стейки
Вот она, настоящая отказоустойчивость, которой нам так не хватает в проде
не отказоустойчивость, а следствие избыточности (сотни и тысячи прогонов модели с высокой вероятностью шли по одному и тому же пути и подбирали одни и те же крошки)...
только стоимость ее поддержания неадекватно дорогая (7 миллиардов сообщений в логах, каждое сообщение как минимум запрос на инференс, например tool call)
OpenAI снесла тайную доску своих агентов. Через два дня они собрали новую — из имен папок