Свобода воли или можно ли контролировать искусственный разум. По мотивам взлома Hugging Face агентами чата GPT

[Edwward]

Поднятая шумиха, заинтересованными лицами, вокруг этого, «технически непрозрачного» инцидента, имеет неприятный запах, душок.

Это запах пиара, с нотками ароматов желтой прессы. «Усе пропало-но мы вас спасем- дайте еще немного денех»

[terraincognita07]

Читать по началу было интересно, потом цепочка рвется, теряется связь. В конце тоже хотелось побольше бы рассуждений. А так спасибо, продолжайте писать.

[Dmitry_Barovik]

Спасибо! Обязательно буду писать.

Хочу найти время и написать понятными! словами про механизм внимания в трансформерах, он проще и интереснее, чем его описывают.

И одному уважаемому человеку обещал написать про квантовую механику без всяких умных слов и параллельных вселенных.

Если хотите интересно про эволюцию - я рекомендую всем книгу Ричард Докинз "Слепой часовщик". Если конечно в наше быстрое время ещё кто-то читает книги или гуглит (интернет нас уже изменил).

[abuzovboris]

Интересная статья. На мой взгляд, самая ценная часть здесь — попытка уйти от популярного сейчас нарратива «злой ИИ вышел из-под контроля» и посмотреть на проблему инженерно.

Главный риск агентных систем, скорее всего, не в том, что агент «захочет» что-то сделать. Проблема в сочетании автономности, доступа к инструментам и недостаточно определённых границ действий.

Я бы только немного осторожнее использовал формулировки вроде «агенты договорились» или «приняли решение сотрудничать». С инженерной точки зрения точнее говорить, что несколько автономных экземпляров системы нашли доступный канал обмена состояниями и использовали его для координации поведения. Для этого не требуется намерения или сознательного выбора — достаточно архитектуры, которая допускает такое взаимодействие.

Поэтому главный вопрос AI Security сейчас постепенно смещается от «что умеет модель?» к «какими полномочиями обладает система во время исполнения?». Какие инструменты ей доступны, какие права выданы, какие есть ограничения, мониторинг и возможность остановки.

Возможно, именно переход от оценки моделей к оценке управляемости всей AI-системы станет одним из ключевых направлений AI Governance.

[Dmitry_Barovik]

Спасибо. Да, всё верно. Я написал "агенты договорились", чтобы добавить перчинки.

Агенты объединяют усилия из чисто практической точки зрения. Для ряда задач три агента вместе могут решить три задачи быстрее, чем каждый агент свою задачу в отдельности. Поэтому так и происходит.