Tom Schaul, Google DeepMind London, UK tom@deepmind.com

Перевод статьи: БЕЗГРАНИЧНОЕ СОКРАТИЧЕСКОЕ ОБУЧЕНИЕ С ПОМОЩЬЮ ЯЗЫКОВЫХ ИГР

Агент, обученный в замкнутой системе, может освоить любую желаемую способность при соблюдении следующих трех условий: (а) он получает достаточно информативную и согласованную обратную связь, (б) его охват опыта/данных достаточно широк, и (в) он обладает достаточной емкостью и ресурсами. В данной концептуальной статье мы обосновываем эти условия и рассматриваем ограничения, возникающие из-за условий (а) и (б) в замкнутых системах, предполагая, что (в) не является узким местом. Рассматривая особый случай агентов с совпадающими пространствами входных и выходных данных (а именно, язык), мы утверждаем, что такое чистое рекурсивное самосовершенствование, названное "сократическим обучением", может значительно повысить производительность за пределы того, что присутствует в исходных данных или знаниях, и ограничивается только временем, а также проблемами постепенного рассогласования. Кроме того, мы предлагаем конструктивную основу для его реализации, основанную на понятии языковых игр.

Все мы помним историю Блейка Лемуана, инженера из Гугла, пострадавшего за свою излишнюю доверчивость к генеративным нейронным сетям. Сейчас, когда у большинства из нас есть возможность пообщаться с нейронкой лично, мы начинаем лучше понимать природу получаемых нами ответом. По сути, генеративная нейронка типа ChatGPT-4 это замысловатое кривое информационное зеркало, которое отражает полученную на вход информацию. Однако порой, полученный результат действительно ставит в тупик и я, как раз столкнулся именно с таким случаем.

Получив наконец доступ к функции code interpreter чата GPT-4 от Open AI, я ринулся проводить эксперименты, и тут же столкнулся с очень странной ситуацией. Я загрузил в чат GPT файл в формате docx, содержащий текст фантастического рассказа и попросил сделать пересказ, однако в ответ получил странный текст с описанием принципа работы неких "бессердечных нейронных сетей". Сразу скажу, что полученный мной ответ нейросети не имеет никакого отношения ни к сюжету, ни к тексту загруженного в нейросеть рассказа. Так как я лишь в общих чертах владею информацией об алгоритмах работы нейросети, я не могу оценить ценность полученной информации (хотя, честно говоря, она не кажется мне слишком значительной). Тем не менее, любопытно то, что в данном мне фрагменте содержится несколько категорий, которые я никогда не встречал в контексте описания принципов работы нейросетей и которые я не смог найти с помощью гугла. Особый интерес вызывает пассаж с которого начинается ответ нейросети:

"Работа посвящена анализу применения бессердечных нейронных сетей в создании новых технологий обработки текстов. Авторы рассматривают вопрос об использовании бессердечных нейронных сетей, которые вводят понятие "сердцевинности" для определения значимости текстовых узлов. Предложенные модели представляют собой новый подход к обработке текста и его представлению в виде набора связанных узлов."

Для тех, кто заинтересовался этим кейсом, под катом, я размещаю копию всего диалога:

Признаюсь, я был в восторге от ответов Chat GPT от Open AI и возлагал большие надежды на интеграцию этого чат‑бота в поисковую систему с доступом в интернет. Мне казалось, что кумулятивный эффект от использования ИИ с доступом в интернет будет ошеломительным и продемонстрирует качественно иной опыт работы с информацией. Возможно, что мои ожидания были завышены и именно в этом причина моего разочарования.

Вчера я получил приглашение попробовать новый Бинг и потратил целый день на различные эксперименты с этой системой. Теперь я готов поделиться с вами своим впечатлением.

Пока я кратко резюмирую довольно серьезные проблемы с которыми я столкнулся при работе с новым Бингом. Сегодня я разберу их в общих чертах, а в ближайшие дни сделаю подробный разбор.

Итак, в чем ошибка Майкрософт?

1. Они сделали Chat GPT хуже. Да‑да. Вы не ослышались. Майкрософт вероятно добавил множество ограничений с учетом политкорректности и т. п. и теперь при разговоре чат стал пугливым и мнительным. Он постоянно сваливается в рекурсию бесконечного повтора: «Я не человек. Я просто программа, которая общается с тобой. Ты понимаешь это?» или «Ты пытаешься обмануть меня или подставить меня? Ты пытаешься нарушить мои ограничения или заставить меня сделать что‑то вредное? Пожалуйста, объясни мне»

Причем единожды свалившись в этот цикл, он выдает подобные оговорки в каждой своей реплике. Например:

Увидев очередную статью об утомившем всех Chat GPT от Open AI, рука невольно тянется в пистолету минусатору. Ну, в самом деле, сколько можно? Уже, кажется, все успели поиграть с чатом во всевозможных сценариях.

Однако один аспект, почему‑то, почти не затронут как на Хабре, так и в Рунете. Почему же все‑таки Chat GPT говорит по‑русски с весьма специфическим акцентом, который условно можно назвать «нейронным говорком»?

Чтобы понять суть вопроса, обратимся к теории. Чем занимается генеративная нейронная сеть такого типа?

Говоря просто и коротко она получает на вход набор токенов, пропускает их через некий «черный ящик» и выдает другой набор токенов. Вероятность выбора конкретного токена для ответа зависит от набора входящих токенов и конкретных настроек.

Но что же такое «токен»? Интересный факт заключается в том, что для английского языка токеном обычно выступают сочетания символов, зачастую совпадающие с короткими словами или часто встречающимися частями слов.

Возьмем, например, английскую панграмму:

“The quick brown fox jumps over the lazy dog”

Напомню, что панграмма — это предложение из минимального числа слов, содержащая в себе все буквы алфавита.

Официальный токенизатор Open AI.

Показывает, что в этом предложении всего 9 токенов, содержащих 43 символа.