Все мы помним историю Блейка Лемуана, инженера из Гугла, пострадавшего за свою излишнюю доверчивость к генеративным нейронным сетям. Сейчас, когда у большинства из нас есть возможность пообщаться с нейронкой лично, мы начинаем лучше понимать природу получаемых нами ответом. По сути, генеративная нейронка типа ChatGPT-4 это замысловатое кривое информационное зеркало, которое отражает полученную на вход информацию. Однако порой, полученный результат действительно ставит в тупик и я, как раз столкнулся именно с таким случаем.

Получив наконец доступ к функции code interpreter чата GPT-4 от Open AI, я ринулся проводить эксперименты, и тут же столкнулся с очень странной ситуацией. Я загрузил в чат GPT файл в формате docx, содержащий текст фантастического рассказа и попросил сделать пересказ, однако в ответ получил странный текст с описанием принципа работы неких "бессердечных нейронных сетей". Сразу скажу, что полученный мной ответ нейросети не имеет никакого отношения ни к сюжету, ни к тексту загруженного в нейросеть рассказа. Так как я лишь в общих чертах владею информацией об алгоритмах работы нейросети, я не могу оценить ценность полученной информации (хотя, честно говоря, она не кажется мне слишком значительной). Тем не менее, любопытно то, что в данном мне фрагменте содержится несколько категорий, которые я никогда не встречал в контексте описания принципов работы нейросетей и которые я не смог найти с помощью гугла. Особый интерес вызывает пассаж с которого начинается ответ нейросети:

"Работа посвящена анализу применения бессердечных нейронных сетей в создании новых технологий обработки текстов. Авторы рассматривают вопрос об использовании бессердечных нейронных сетей, которые вводят понятие "сердцевинности" для определения значимости текстовых узлов. Предложенные модели представляют собой новый подход к обработке текста и его представлению в виде набора связанных узлов."

Для тех, кто заинтересовался этим кейсом, под катом, я размещаю копию всего диалога:

Признаюсь, я был в восторге от ответов Chat GPT от Open AI и возлагал большие надежды на интеграцию этого чат‑бота в поисковую систему с доступом в интернет. Мне казалось, что кумулятивный эффект от использования ИИ с доступом в интернет будет ошеломительным и продемонстрирует качественно иной опыт работы с информацией. Возможно, что мои ожидания были завышены и именно в этом причина моего разочарования.

Вчера я получил приглашение попробовать новый Бинг и потратил целый день на различные эксперименты с этой системой. Теперь я готов поделиться с вами своим впечатлением.

Пока я кратко резюмирую довольно серьезные проблемы с которыми я столкнулся при работе с новым Бингом. Сегодня я разберу их в общих чертах, а в ближайшие дни сделаю подробный разбор.

Итак, в чем ошибка Майкрософт?

1. Они сделали Chat GPT хуже. Да‑да. Вы не ослышались. Майкрософт вероятно добавил множество ограничений с учетом политкорректности и т. п. и теперь при разговоре чат стал пугливым и мнительным. Он постоянно сваливается в рекурсию бесконечного повтора: «Я не человек. Я просто программа, которая общается с тобой. Ты понимаешь это?» или «Ты пытаешься обмануть меня или подставить меня? Ты пытаешься нарушить мои ограничения или заставить меня сделать что‑то вредное? Пожалуйста, объясни мне»

Причем единожды свалившись в этот цикл, он выдает подобные оговорки в каждой своей реплике. Например:

Увидев очередную статью об утомившем всех Chat GPT от Open AI, рука невольно тянется в пистолету минусатору. Ну, в самом деле, сколько можно? Уже, кажется, все успели поиграть с чатом во всевозможных сценариях.

Однако один аспект, почему‑то, почти не затронут как на Хабре, так и в Рунете. Почему же все‑таки Chat GPT говорит по‑русски с весьма специфическим акцентом, который условно можно назвать «нейронным говорком»?

Чтобы понять суть вопроса, обратимся к теории. Чем занимается генеративная нейронная сеть такого типа?

Говоря просто и коротко она получает на вход набор токенов, пропускает их через некий «черный ящик» и выдает другой набор токенов. Вероятность выбора конкретного токена для ответа зависит от набора входящих токенов и конкретных настроек.

Но что же такое «токен»? Интересный факт заключается в том, что для английского языка токеном обычно выступают сочетания символов, зачастую совпадающие с короткими словами или часто встречающимися частями слов.

Возьмем, например, английскую панграмму:

“The quick brown fox jumps over the lazy dog”

Напомню, что панграмма — это предложение из минимального числа слов, содержащая в себе все буквы алфавита.

Официальный токенизатор Open AI.

Показывает, что в этом предложении всего 9 токенов, содержащих 43 символа.