Как стать автором
Обновить

Проблема контроля над продвинутым искусственным интеллектом

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 2.3K
Всего голосов 5: ↑3 и ↓2 +1
Комментарии 9

Комментарии 9

По-моему, в случае с Chat-GPT довольно сложно обсуждать согласованность. Согласованность подразумевает, что у нас есть оптимизатор, у него есть метрика качества, и она совпадает с той, что у оператора. Насколько Chat-GPT пригоден к описанию в виде оптимизатора - это большой вопрос. Если в фазе обучения он к этому пригоден, и метрикой являются сигналы награды, то на инференсе - непонятно.
Вообще, все эти рассуждения про согласование ИИ, как мне видится, куда больше относятся к Reinforcement Learning, работающим в среде или к рекомендательным системами (например, которые выбирают, куда инвестировать или почём продавать бургеры). Потому что во-первых, есть понятный канал, через который ИИ влияет на реальность, во-вторых, есть понятная проверяемая цель, и в-третьих, есть огромное пространство для проворачивания хитрых планов, которые человек не поймёт, но которые этой цели всё же проверяемым образом достигнут.

есть огромное пространство для проворачивания хитрых планов, которые человек не поймёт, но которые этой цели всё же проверяемым образом достигнут.

или не достигнут - потому что если бы человек понял план, то он бы такой "упс, сейчас подправим тут забытый коэффициентик и будет правильно!".

вообще имхо "проблема контроля ИИ" - это как сделать так, чтобы не человек сидел сбоку ИИ и поправлял его,

а чтобы ИИ постоянно проверял сам себя "я все еще норм для человека ?", хотя бы в виде "человек все еще дышит, выспался и реагирует на внешние раздражители" (и даже это нелегко в виде цели поставить)

Это задача согласования так выглядит. Не полного, а частичного.
Задача контроля немного шире. Потому что если ИИ не астрономически лучше людей в планировании, а всего лишь в разы, да ещё имеет какие-нибудь слабые зоны, то может быть возможно контролировать ИИ через конвергентные ценности, через регулярное переписывание функци полезности, через периодическое стирание памяти.
Например, гипотетический AIXI даже с бесконечными ресурсами будет довольно бестолков в рефлексии. Например, он вряд ли сможет понять, к чему приведёт переписывание его функции полезности. При том, что в остальном вполне себе оптимальный интеллект. И больше того: сегодняшний сильнейший ИИ, пригодный для работы в реальном мире, а не в мире текстов - Dreamer v3 - это идейно практически тот же AIXI, с его слепым пятном на рефлексию.
Поэтому в теории можно справится и через неполное согласование, в случае наличия других способов контроля

никак не пойму как современные "чат-боты" способны полностью заменить человеческий труд. да, нейросеть может дополнить, ответ на какую-то проблему, из своей базы; может набросать примерный путь решения; "внезапно" вытащить нужный осколок знаний. но такие информационные полуфабрикаты не заменяют натурального синтеза знаний. а если есть такие задачи, присутствие в которых бота сводит на нет человеческую деятельность - не значит ли, что деятельность избыточна?

Это ряд разных вопросов, на которые разные ответы. Чат-боты, просто по тому, как их сейчас обучают, вряд ли могут всерьёз "заменять" людей.
"Синтез знаний" в каком-то смысле может делать ML - он выполняет работу учёного-теоретика в чём-то лучше, чем человек. То есть задачу "построить теорию, которая даёт проверяемые прогнозы, как можно более точные" ML решает. По соотношению время/качество при наличии бигдаты практически всегда лучше человека.
Чтобы "заменять" людей, должен быть какой-то единый подход к большому множеству задач - например, подход, при котором программа вначале строит модель предметной области на базе бигдаты, а затем там, на модели, ищет способы, как достичь поставленной цели. Так можно, такие системы есть, но они гораздо менее расхайплены, чем Chat-GPT. И они сейчас менее зрелые.
Вот такая система могла бы заменять людей. В той мере, в которой ей можно объяснять, каковы её цели
Ну и я не думаю, что деятельность по выяснению, как работает мир, и как достичь цели - это "избыточная" для человека деятельность. Вроде как это самое интересное, что есть в интеллекте

вы не учитываете что ГПТ-4 умеет распознавать и описывать изображения, а ещё писать программы (то есть отдавать команды)
в частности, можете посмотреть как ГПТ прикрутили к робособаке (то есть чатГПТ-прослойка для перевода с естественного языка на язык кода и управление сервоприводами).
но это ещё не про замену людей
Вот возьмите копирайтеров и SEOшников: нужно написать текст, проверить что его нет в интернете (% уникальности) и выполнить нужное кол-во оптимизаций под поиск.
Собственно, для ГПТ4/чатГПТ это +1 плагин, не удивлюсь если он уже есть.
до "замены программистов" не хватает "ручек" (то есть RPA) и длины контекста.
ну, это без учета того что его "понерфили", то есть ГПТ 4 стал ленивее и глупее.

ChatGPT иногда говорит "я не делаю суждений", а нейросети Шедеврум и Кандинский говорят "некоторый темы мне недоступны". Значит есть тормоз у ИИ.

это тонкая настройка, файнтюн
Если бы он лежал как LLAMA 2 в открытом доступе, то переобучить на "делаю суждения" было бы несложно.

Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории