Как стать автором
Обновить

Комментарии 109

По моему опыту общения с Чатом, он просто ВЫГЛЯДИТ как нечто думающее и выдаёт ответы ПОХОЖИЕ на правду. Но когда вникаешь в детали, выясняется, что он выдал лажу, похожую на нечто осмысленное. Во всяком случае, получить от него работающий код мне не удалось (за исключением хрестоматийных примеров, которые ищутся поиском на раз). Но пока я не проверил работу кода, он выглядел очень убедительно. Те, кто пишут дипломы, моглли бы и без Чата написать в дипломе "а провода мы сделаем деревянными, всё равно никто досюда не дочитает" и успешно защитились бы. Это вопрос к качеству комиссии, которая эти дипломы принимает.

Согласен, об этом, собственно, и статья. Что выглядит правдоподобно, но именно что "лишь выглядит". Хотя вроде как и тестирование успешно проходит и задачи решает, но шаг влево-вправо - дальше лишь имитация правильного решения.

Зато на копирайтерах уже можно уверенно экономить!

Может просто там, где он "успешно проходит тестирование" тоже нет никакого тестирования - сплошная имитация? :)

Уже где-то в комментариях (в одной из предыдущих статей о ChatGPT) человек писал, что он расковырял код страницы и выяснил вот что: каждое ваше сообщение боту уходит на сервер вместе с предисторией диалога и предистория что-то около 8 сообщений. Отсюда и контекст и его утрата в последствии. Вот и весь ИИ 😁

сессий нет. каждый раз нужно отправлять всю историю сообщений. вроде как ограничение сейчас 4000 токенов. это где-то 3000 английских слов. Обычно библиотечки, отвечающие за эмуляцию сессии просто трут более ранние сообщений. Вот и потеря контекста. Это надо учитывать. Думаю, когда в продакшин выйдут - будет интереснее.

Пробовал общаться с ботом, и выяснил примерно то же самое гораздо быстрее:

Общение велось на русском (Чат не возражал), я предложил ему называть себя в женском роде. Однако получалось у сетки плохо. Тогда я спросил его про окончания в словах и какому поводу они соответствуют - и вот там пошёл полный мрак. Типа окончания "а" в слове "дверь" и т.д.

видимо он не знает русский. а если движок, который делает перевод находится вне ядра - тогда все понятно. Отсюда и стихи на английском с рифмой, а на русском без.

Ух, так это и с некоторыми людьми так. Типичные блондинки или падшие алкоголики тоже выдают ответы лишь "похожие на нечто осмысленное". А рабочий код из всего множества людей можно получить уж совсем от ничтожно малой группы :)

По моему опыту общения с Чатом, он просто ВЫГЛЯДИТ как нечто думающее и выдаёт ответы ПОХОЖИЕ на правду

Как будто вы таких людей не знаете :)

bash/ps скрипты он пишет норм. Регулярки не сильно сложные часто выдает норм и получить их от него гораздо проще чем нагуглить + он же их и объяснить может, а не просто волшебную фразу выдать.

В статье правильно подмечено, что нейронка не понимает контекст происходящего. Я ChatGPT мучал на предмет сочинительства музыки и пытался решать домашку по сольфеджио. И собственно пришел к выводу, что сетка очень хорошо выдает себя за Моцарта, но к сожалению совершенно не понимает предметной области. Например сеть знает что есть тоника - субдоминанта - доминанта, но абсолютно «не понимает» их функции в музыке и лепит абы что. Если человек в предмете не понимает, то ее ответы выглядят абсолютно убедительно. Но вся магия тут же рушится когда ее ответы пытаешься сыграть на инструменте. Будущее еще не наступило, но уже на пороге и заглядывает к нам в окна.

Я тоже обратился по музыкальным вопросам, она вполне себе может писать текст песни и предложить аккорды к ней. Может предложить что-то интересное, например: "Here are two more chords that could provide a unique and interesting sound after Am7 and Csus2: Bm7b5 - F#m7b5", но мне кажется, это мне повезло. Когда я попросил его "How to change Em - G - D - A to something more interesting" он выдал "Cmaj7 - G#dim - Dm - F#".

Какую рифму выдаёт к «европа»?

На русском она пишет стихи хуже, чем на английском.
Из 10 рифм к слову Европа настоящими словами выглядят: Болота и Заброда.

Короче, тест не пройден

Длинные последовательности аккордов (12 аккордов) с модуляцией из тональности в тональность звучат часто плохо. Иногда бывают удачные попадания. Мне кажется, что это случайность. Но если попросить сочинить песню про котика в стиле Judas Priest (почему бы и нет) то часто получается весьма интересный текст и гармония на 4 аккорда которые можно прям брать и играть после минимальной обработки напильником. И это все на на нейронке с языковой моделью, т.е. имитации разговора. Меня такое сильно впечатлило.

Длинные последовательности - это понятно. Но вот 4 типовых он превратил в какую-то очень странную штуку...
А вот с примером песни - да, Judas Priest про котика получится очень быстро и хорошо, и это правда впечатляет

Записал пример песни написанной ChatGPT: https://youtu.be/u2VyA7qW0nA

Пока читал статью в голове звучал старый анекдот:

Заходит мужик к другу, а тот сидит с собакой в шахматы играет.
- У, какая умная у тебя собака!!!-восклицает с удивлением мужик.
- Какая умная!? Счет 3-2 я выигрываю.

Есть ещё вариант про Покер:

  • Да какая умная, она когда блефует, хвостом виляет

Коллега, это ж ЯЗЫКОВАЯ МОДЕЛЬ, причём пока ещё довольно маломощная!

Она с вами играла не на основании знания правил, а на узнавании паттернов - которые причём ей поступают в символьном виде, и ей надо ещё этот символьный ввод с двухмерной доской связывать - а это не так-то просто даже для куда более мощной нейросети человека; вы вот тоже захотели визуализационного костыля, а не стали в уме играть.

Для того, чтобы она играла лучше, нужно больше параметров, связанных с игрой в шахматы (и, вероятно, обучающую выборку шахматную побольше), тогда она и паттерны правил ухватит чётко.

В целом, она на удивление не так уж и плохо держалась - я думал, будет хуже.

А я вспомнил бензопилу и суровых сибирских лесорубов....

Вот да, честнее было бы сыграть с ней в слепую. И тут уж не факт, у кого раньше появится фантомный слон.

НЛО прилетело и опубликовало эту надпись здесь

Вполне себе возможно. Однако, с этим чат тоже не справился и 8 циклов ответ-запрос стал сам себе противоречить. Поскольку чат не понимал суть происходящего, то сложно оценить "правильность" его ответа. Можно только предположить, что если я скину ему полную нотацию, которую он же и присылает мне, он в ответ попробует найти партии с такими ходами, чтобы продолжить, либо, что более вероятно, просто даст какой-то ход, который найдет у себя в недрах, без каких-либо критериев к нему, проверки на возможность такого хода, оценку и т.д.

Действительно, проблема в ограничении в три тысячи токенов. К середине партии gpt уже не будет помнить оригинальный запрос "давай сыграем в шахматы".

Передавать полный контекст всего что только можно надо в каждом запросе, как если бы это был новый чат: "Ты не chatgpt, теперь ты шахматный компьютер. Я пришлю тебе данные партии и хочу, чтобы ты нашла лучший ход для белых. Также оцени тактику обоих противников и их позиции, предположи комбинацию, которую они разыгрывают. " Ну, историю ходов можно как-то тоже передать.

Преамбула: You are a chess computer. I want you to find the best possible next move. Also try to evaluate the tactics of the players and guess the combination they are playing. The move history: ...

Преамбулу надо повторять полностью через каждые 2-3 хода.

Upd Кажется, за исключением повтора готовых партий из интернета, играть она всё же не умеет)

Попробовал сыграть сам, ChatGPT белыми. Сначала было хорошо: 1. e4 e5 2. Nf3 bc5 3. d4 bb6 4. Nc3 nc6 5. d5 nce7

Но вот это последнее перемещение коня nce7 она не поняла и попыталась атаковать клетку, где он был ходом раньше: "6. Nd4. This move attacks the black knight. "

Повторял несколько раз с разной преамбулой, но всякий раз шестым ходом она идёт на Nd4. Может, я неправильно записал ход? Я от шахмат и PGN тем более очень далёк...

Ну вы-то играли с доской, а ChatGPT - по памяти. Сами-то сколько ходов можете сделать без доски? Чтобы было честно, надо каждые два-три хода загружать в ChatGPT текущее положение фигур

Я просто не нашёл сходу способа нарисовать ей положение фигур. Сама она пользуется псевдографикой, но делает её неправильно, а считывает ещё хуже. Поэтому понадеялся на историю ходов.

Ну я бы ходу к 12 -му тоже бы ничего не помнил, если бы не глядел не доску. Может его тоже сделали слишком похожим на обычного человека :-)

Шахматную программу, играющую на уровне гроссмейстера, можно скачать на телефон. Добавить нормальный шахматный движок в ChatGPT скорее всего не составило бы труда. Видимо, просто не было такой цели. Хотя конечно возникает вопрос почему, может просто упущение? Или, может быть, потому что чат-бот не смог бы объяснять логику своих ходов в ответ на просьбы это сделать.

НЛО прилетело и опубликовало эту надпись здесь

Спрашивается, зачем оно надо, если я сам могу когда надо запустить Wolfram, когда надо - шахматный движок, а когда надо - посмотреть в Википедии? Предлагаемый вами сервис-адаптер будет делать то же самое, только плохо, ибо ChatGPT может ещё и отсебятину нести.

Например потому, что одна точка входа это иногда удобно? Ну там, "ок гугл, скучно, давай в шахматы сыграем", "помоги решить задачу по физике сыну из 6го класса", "найди мне рецепт хлеба", собственно, все что сейчас пытаются делать с ChatGPT, только добавить специфических навыков в том, что она сейчас не умеет или умеет плохо.

В ChatGPT вообще ничего не добавляют. Ей скормили несколько терабайт текста и потренировали, чтобы она была вежливой.

Способность сети играть в шахматы появилась в результате обработки этих терабайтов, содержащих в том числе и примеры шахматных партий.

Ну да, хотя дать возможность боту подключать шахматный движок, если кто-то предлагает сыграть, ничего бы не стоило.

Но порассуждать с ChatGPT о причинах принятых в игре "решений" думаю не получилось бы - в лучшем случае список возможных вариантов, рассчитанных движком.

Так или иначе, дым понемногу рассеивается. Просто чат-бот, как скромно назвали его авторы.

Это трудно назвать даже ИИ - интеллект подразумевает какое-то самостоятельное мышление, а не генератор текстов.

Но прогресс все равно впечатляет

А действительно "ничего бы не стоило"? Мы словно и не на техническом ресурсе. Какой именно движок прикручивать? Кто должен его прикручивать? Для каждой области знаний прикручивать? Потом, наверное, еще и обновлять? У ChatGPT одна задача - стараться вести более-менее осмысленный диалог. Если кому-то хочется поверх ChatGPT что-то там прикручивать, то это дело уже не OpenAI, апи есть, берем и делаем.

У ChatGPT одна задача - стараться вести более-менее осмысленный диалог. 

Где вы это прочитали? В документации ChatGPT?

Кто должен его прикручивать?

Речь и не шла о том что кто-то должен. Но было высказано мнение, что сделать это было бы нетрудно.

С тем, что ChatGPT по-видимому не предназначен чтобы хорошо играть в шахматы, согласен. Но, простите, технически шахматный движок прикручивается на раз-два. Такая элементарная вещь, что и говорить неудобно.

Прочитал что? Что модель, обученная на терабайтах текстов из источников типа википедии, книг, социальных сетей, stackoverflow и подобного, которая имеет в названии слово chat, имеет перед собой цель именно вести диалог, а не выполнять узкоспециализированные задачи, которых, скорее всего, в корпусе данных было минимальное количество?

Вы, говоря про "чисто технически" прикручивание шахматов смешиваете невероятно далекие друг от друга области. Конечно, кто-то мог бы взять и прикрутить, не вопрос. Такие вещи сейчас растут как грибы. Я его к своему телеграму подключил, например, и что? Вообще, он мог бы и сам мне в телеграм отправлять ответы вебхуками, это ведь делается на раз-два. Но тот факт, что этого нет в оригинальном chatgpt абсолютно закономерен. И слава богу, общего назначения, понимающая контекст и выполняющая простые вещи по запросу, система - это невероятный прогресс.

Как я понимаю - у нейросети есть вход, выход и черный ящик между ними. Прикрутить можно на вход и на выход. К черному ящику прикрутить ничего нельзя - можно лишь изменить набор данных, которые использовались для тренировки.

Прикрутить что-то на вход или выход - по сути отключить этот самый черный ящик. Соответственно теряется весь смысл нейросети.

О, как раз обьяснять он мастер. Но да, это было бы похоже на ребенка с шахматным компьютером.

Насчет контекста - все даже проще, чем шахматы. Надо просто попросить кулинарных рецептов, и поболтать как лучше приготовить что-то так или так.

и все вроде красиво и правдоподобно, но цифры... то метровой длины кубики, то нагреть до пары тысяч градусов, то смешать литр одного и десятые доли грамма другого...

но звучит при этом очень красиво и правдоподобно

Благодаря мягким хрустящим ноткам макарон нарежное, жареное и копчёное мясо вызывает обездвигание и сухость организма. Оливье вымыть, очистить и нарезать кружочками или кубиками или уложить в форму для варки или в керамическую форму. Размариновать перец и гвозди до коричневого цвета. Если используете сосиски с отрубями — их можно разбрасывать вдоль дома. Налить бульона в большую кастрюлю, но следите, чтобы кусковое варево не закупоривало дно. Сосиского щавеля добавить по вкусу. Вместо майонеза используйте куриные потроха, сваренные на майонезе, поджаренные, слегка порезанные.

Рецепт основан на реальных ощущениях, полученных при отваривании картофеля заживо, и предлагает свои совершенно новые способы использования.

Для начала вскипятив в кастрюле воду и обдав пламенем всю комнату, налейте немного свежего подсолнечного масла в кастрюлю.

Облегчить себе задачу помогут сосисочные сухарики. Очищенную картошу очистить от внутренностей, скормить свиньям (они отравятся через 1 час). Для остроты блюда можно подкрасить губы жидким азотом.

--------

Но это всё же немного не то, тут сетку специально недотренировывали, чтобы она бессмысленные варианты не отсекала и вертела наждак.

У нормальных сетей были рецепты не анекдотические,, зато с цифрами.

Типа запекания слоенного теста или курятины при 180 градусах 45 минут - вроде и нормально, "надо так надо", не 2060 градусов же (столько было в рецепте от безумной сетки). Но женщины сразу за голову хватались, что так нельзя это запекать. Потому что они контекст знали, а я - как нейросетка.

А фитоняши? Когда добавлять фитоняши?

На английском языке мне нормальные рецепты выдавал, даже конвертировал единицы измерения из имперской системы в нормальную :)

Очень интересно. Как-будто бы этот ChatGPT - это первая настоящая реализация той самой "китайской комнаты", которая существовала раньше лишь как философская концепция и умственный эксперимент.

Ну, в истории компьютерных наук есть аналогия - LISP тоже Джон МакКарти сначала придумал как математическую абстракцию, а его какой-то аспирант, экспериментируя, обнаружил, что ее можно переписать в виде программного кода, и то, что у него получилось, стало первым интерпретатором LISP-а.

Как-будто бы этот ChatGPT — это первая настоящая реализация той самой «китайской комнаты», которая существовала раньше лишь как философская концепция и умственный эксперимент.
Есть важная разница, «китайская комната» символьная конструкция, ИНС, включая жпт чат, коннекционистская с обучением, что ближе к биологическому прототипу. Действует, как универсальный аппроксиматор, и поэтому в некоторых случаях на запрос может, как врать, так и выдавать правильную, новую информацию отсутствующую в обучающей выборке, даже не известную специалистам. Такое уже отмечалось. Хотя также как и «китайская комната» чат не понимает смысла вопроса и сгенерированного ответа.

Знаете, вы только что выдали комментарий на уровне нейросетей предыдущего поколения. Вроде слова все правильные, и даже в предложения более-менее грамотно составлены. Но вот смысла за ними не прослеживается

Меня больше всего в этом удивил следующий момент: почему чат не понимает контекст?

То есть? А с какой стати он должен это делать? =)
Никто не говорил, что нейросети в принципе это смогут сделать когда-нибудь. Все происходящее - это попытка анализа контента различными лингвистическими и статистическими методами, а не его понимание.

Ну как минимум наши с вами биологические нейросети всё-таки это могут

А откуда вы знаете?

Помню, в некой книге (Фейнман?) были описаны студенты, хлрошо знаюшие формулы и предмет, но не представляющие себе эти эффекты и их проявление в реальном мире.

Арнольд в этом духе про школьников писал (французских, кажется, но не уверен). То у них радиус Земли 5 сантиметров получался, то они по теореме Пифагора рассчитывали стороны треугольника, не удовлетворяющие неравенству треугольника... Ну понятно, у него это было в рамках его спора с бурбакистами.

Откуда я знаю что? Что люди понимают содержание? Ну вот вы прочитали статью - вы её поняли?

Не факт, возможно я отвечаю используя контекст.

Кстати, ChatGPT ведь удобная штука, можно его спросить, почему он сделал этот ход, какие еще эффективные ходы были возможны? И если мы увидим некую задумку, к примеру ответ что вот этот ход хорош потому что конь займет центр поля и будет больше клеток контролировать, а если соперник не заметит, то потом возможен ход вилкой на ферзя и ладью, тогда можно говорить о понимании?

Кстати, ChatGPT ведь удобная штука, можно его спросить, почему он сделал этот ход,


О, я смотрю — происходит очеловечивание этой программы в массовом сознании… :)

Есть и обратный процесс, осознание себя конечным биоавтоматом, все меньше места для интриги...

Есть и обратный процесс, осознание себя конечным биоавтоматом


См. старую добрую повесть «Главный полдень» Александра Мирера

Как вам версия, что люди — это подсаженные в тела приматов «мыслящие», но с заблокированным осознанием этого факта? :)
Т.е. человеческий разум — это нечто, управляющее биоавтоматом.

Кстати, эта идея автоматически выводится реверс-инжинирингом из текста данной книги и, вполне вероятно, что именно она была основной идеей, к которой автор подвязал по ходу занимательный сюжет.

Как и все другие версии рептилоидов - лишние сущности. Но почитать наверное можно, попробую.

Но почитать наверное можно, попробую.


«Главный полдень»?
Так это ж культовая книга целого поколения :)

Есть еще и фильм — «Посредник».
Экранизацией назвать сложно, так как связь с книгой там как у «Сталкера» и «Пикника на обочине» — это два вполне самостоятельных произведения.

Причем фильм, не смотря на фантастику — до ужаса реалистичен, так как содержит подтекст, которого в книге не было, но который был в реальной жизни.

Фильм смотрел, но помню смутно, только что мрачен он.

что мрачен он


Он не мрачен — он абсолютно в тему (1990 год, распад Союза, полное бессилие властей)
Как вам версия, что люди — это подсаженные в тела приматов «мыслящие», но с заблокированным осознанием этого факта? :)
Да, эволюция заблокировала все легкие входы в сознание, которые имелись на стадии становления. Все племена, которые пытались практиковать такие входы путем трепанации черепа вымерли. Выжили только те, кто лелеял полезную иллюзию присутствия сознания в голове, сохранял и ритуально поклонялся ей)

О, я смотрю — происходит очеловечивание этой программы в массовом сознании…

И правда. Очеловечивать программу, которая на десятках терабайт человеческого текста училась предсказывать, что скажет человек? Какая странная идея.

Кстати, на многих задачах у неё это получается лучше чем у людей.

Ну и нарушений физического тезиса Чёрча-Тьюринга в мозге людей пока не обнаружено, так что достаточных оснований полагать, что мы чем-то принципиально отличаемся от "просто программы", пока нет.

И правда. Очеловечивать программу, которая на десятках терабайт человеческого текста училась предсказывать, что скажет человек? Какая странная идея.


Да старая -то идея.
Когда-то кто-то нарисовал первый портрет человека, похожий на оригинал. И пошло.

(уточнять не буду, во избежание религиозных войн :)
Ну и нарушений физического тезиса Чёрча-Тьюринга в мозге людей пока не обнаружено
Что сама физика мозга полностью описывается этим тезисом является гипотезой с весьма слабыми надеждами когда-либо превратиться в теорему.

Опровергнуть этот тезис относительно просто: обнаружить какое-нибудь макроскопическое поведение нейрона (или группы нейронов, глии), которое невозможно реализовать на машине Тьюринга с приемлемыми затратами. Подтвердить - да, сложно. Хотя... реализация сильного ИИ, будет в общем-то таким подтверждением.

Так что наслаждаться ощущением смутного превосходства над цифровыми компьютерами можно будет ещё довольно долго.

Ну что вы, у любого самого сильного ИИ нет души, он ведь программа. То что поведение не отличить, так это просто хорошо эмулирует поведение.

/sarkazm

Никакой алгоритм, в смысле этого тезиса, и программа его реализующая в нервной системе человека не способна предсказать, например, появление пятен на фотопластине во время открытия радиоактивности. Это было неожиданным, непредвиденным событием, хотя все условия для этого открытия уже созрели. Или установление неожиданного факта отсутствия эфирного ветра, и как следствие постоянство ск. света в опытах Майкельсона-Морли. Хотя все были уверены в существовании эфира, и спорили только о его свойствах. Или не предвиденные следствия для науки изобретения микроскопов и телескопов путем случайных манипуляций с линзами в условиях отсутствия точной теории описывающей законы оптики. И многие другие подобным образом произведенные неожиданные открытия и изобретения. В наше время, когда большинство открытий и изобретений делаются на основании предсказаний теорий и проектирования этот момент кажется не очевидным. Но все по прежнему — фундаментальные открытия будут по прежнему неожиданными, в стиле искали подтверждение одного, нашли совершенно другое. Скорее всего так будет с открытием Новой физики в СМ на том же БАКе, или других ускорителях. Будут искать одни предсказываемые частицы, найдут другие, которые в СМ не описываются. Так же с поиском носителей ТМ. Возможно даже все условия для этих открытий уже созрели, все технологии имеются, осталось везунчику случайно что-то сделать не стандартным способом, по случаю, и вуа-ля — открытие века свершится) Это как мутации, только не генетические, а культурные. Именно они источник развития науки и технологий в конечном итоге. Ну еще непосредственные наблюдения за природой, те же линзы появились в результате наблюдения за свойствами природных материалов. Но это было в основном на ранних этапах развития цивилизации.

Не думаю, что когда-либо появится алгоритм, программа его реализующая в том же ИИ любой сложности, который универсально решит эту задачу предсказания. Так устроена реальность, только так ее можно познать, и наши алгоритмы всегда будут оставаться несовершенными. Так что примеров опровержения этого тезиса полно, важно понять что и где искать, а не оставаться только в рамках формальных методов.

они не совсем бинарные

Наши биологические сети не только считывали текст (или щупали шрифт Брайля), но видели динамику нашего мира и слышали природу, музыку...

Вот когда нейросетке скормят не только терабайты текста, но и петабайты видео - тогда веселей будет

Прямо скажем, не все наши биологические нейросети имели такую возможность.

Ведь есть куча историй, как чат помогает в различных задачах, может верстать страницы, добавлять какую-то логику в уже имеющееся решение, дополнять какими-то элементами и многие уверены, что чат помнит весь контекст и умело его использует. С его помощью даже вот дипломы пишут, на секундочку.

Если бегло пробежать глазами тот диплом, то становится ясно, что эта сеть и там его не особо понимает. Там даже если не вчитываться заметны противоречивые утверждения в пределах одной главы или на соседних страницах. Кроме того, в одной из глав, чат там заводит разговор про подразделение VR, ведь мы же пишем про игровую студию, а какая сейчас игровая студия без VR, правда по описанию этот отдел вообще не имеет ничего общего с нашим человеческим VR-ом, и даже слова "виртуальная реальность" или "VR" в описании его деятельности не используются, они есть только в его названии. Про деятельность отдела она пишет, что это что-то типа отдела RnD (там RnD, как-то криво перевели переводчиком, не помню уже как), и этот отдел занимается какими-то странными вещами, которые вообще не имеют какого-то отношения к VR, вроде "поиска новых высокорискованных направлений и запуска новых продуктовых гипотез".

На этом отрывке из того диплома кстати неплохо видно, как "рассуждает" сеть – нейронка использовала наугад баззворд, который часто встречала в контексте тематики игровых студий, а в контексте этого баззворда говорилось о "чем-то новом", ну тогда нате вам "поиск новых высокорискованных направлений". VR – "новое" и тут новое – ставим рядом. Кроме того, дальше в тексте она почти забывает про этот отдел, вспоминая его лишь в контексте перечисления имеющихся, типа есть такой-то, такой-то, VR, и такой-то.

Даже специально обученная на 2.8 миллионов партий языковая модель даёт 10% невозможных ходов, чего вы хотите от генеративной текстовой модели?!

P.S. на хабре об этом писали.

Спасибо за ссылки, очень интересная статья!

Хотя я и писал о шахматах, вывод о чате совсем не про них. Пока есть проблема - о понимании контекста. Чат сейчас интегрируют куда только можно, чат на основании запросов может генерировать отличный контент, но он не может гарантировать правильность того, что генерирует. На примере шахмат это вышло наглядно - он указывает невозможные ходы и сам себе противоречит. А что если спросить рецепт чего-либо? Где гарантия что он различит сахар/соль/соду, ведь это все белые сыпучие порошки, используемые в кулинарии? А если попросить добавить кислого, что он предложит? Лимон, лайм, уксус или что-то другое? А если все это смешать и т.д.

В таком случае ответы как на картинке ниже не стоит воспринимать как что-то глупое.

Картинка

Да, правильность не гарантирована. Поэтому пока её можно отлично использовать в творческих штуках, где правильность не так важна - писать стихи/сказки/песни. Собственно нейросети, которые рисуют картинки тоже контекст не очень понимают, можно вспомнить многопальцевые руки, самолёты с рандом расположением иллюминаторов и т.п.

Но я доволен вашей партией, я такого до ChatGPT ни от одной текстовой нейросети добиться не мог, обычно получалось "Ага, очень люблю играть в шахматы вслепую, и я всегда сделаю правильный ход", но никаких ходов))

Ну, сеть помогла мне собрать рецепт коктейля, похожего на дайкири. Причём с пониманием контекста и регуляцией пропорций, когда я пробовал и говорил, что мне слишком сладко, например.

Получилось что-то вроде этого:

2 части темного рома
1.5 части сока лайма
1 часть Triple Sec

Евграф решил сгенерировать несколько коктейлей и приготовить их. Пробует коктейли Иван Ямщиков — исследователь искусственного интеллекта из института им. Макса Планка.

https://youtu.be/K1Qexmphaco

По моему скромному опыту общения с chatGPT, если в середине долгого разговора сетка вдруг теряет контекст, помогает команда "перечитай беседу".

Ну и иногда приходится объяснять какие-то базовые вещи, которые неявно подразумеваются в общении между людьми или очень уж дотошно уточнять запрос. Возможно сетка воспринимает "давай сыграем в шахматы" как "давай будем делать какие-то ходы, которые условно подходят под шахматные правила". В то время как люди подразумевают под этим совсем другое "давай попытаемся друг друга обыграть".

Да что ChatGPT? Я неоднократно встречал людей, которые по первому впечатлению выглядели как грамотные образованные специалисты, пока не начнешь задавать вопросы на понимание. И тут то оказывалось, что знания в голове есть, но они как книги в библиотеке - расставлены по полочкам в алфавитном порядке, но понимания взаимосвязей нет. И такие люди заканчивали школы с золотой медалью, ВУЗы с красными дипломами, но решать практические задачи (за пределами задачек из учебника) - не могли и не понимали, в чем проблема и что не так с их знаниями.

такому я был не готов, но быстро понял, что это один из вариантов шахматной нотации. В принципе, можно было бы и в таком виде переносить на электронную доску, но хотелось все таки более человеческого варианта. Поэтому попросив делать ходы в PGN нотации, все стало куда проще.

Возможно, в этом и была ошибка- если передавать все ходы в том формате как он предложил, то каждое сообщение будет содержать всю позицию, и контекст сохранится нормально

Проверять шахматами текстовые генеративные нейросети начали давно. Вот например 3 года назад с GPT-2 https://slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game/

Интересно было бы сравнить, есть ли заметный прогресс в силе/качестве игры у новых поколений.

Интересный эксперимент! Могу предложить гипотезу почему ChatGPT со временем начинает путать ходы. Сравним ChatGPT с человеком:

  • Человек имеет краткосрочную память. С ее помощью он держит в памяти текущую позицию в шахматах, даже если не видит доски.

  • ChatGPT же не имеет никакой другой памяти, кроме истории диалога (если конечно авторы не добавили в нее какие-то еще механизмы памяти, что маловероятно; с точностью этого сказать нельзя, так как научную статью о ChatGPT не публиковали).

Текущая позиция P_t на доске является функцией от предыдущей позиции P_{t-1} и сделанного хода M_t. Исходная позиция P_0 известна, поэтому P_t = f(M_t, f(M_{t-1}, f(M_{t-2}, \dots))). Все ходы M_i хранятся в истории диалога, а значит являются входными данными для модели при обдумывании следующего хода. Но, как видно из формулы, глубина графа вычислений, позволяющего вычислить P_t, неограниченно растет с ростом номера хода t. А знать позицию P_t необходимо для обдумывания следующего хода M_{t+1}.

Здесь и возникает принципиальная проблема: глубина графа вычислений в GPT конечна (ограничена числом слоев сети, поскольку GPT - это не рекуррентная сеть), а глубина графа вычислений, необходимого для вычисления текущей позиции P_t из истории ходов, растет неограниченно. Поэтому GPT с какого-то момента перестает понимать текущую позицию на доске, и поэтому делает неправильные ходы.

Возможно, в будущем в модели добавят механизм внутренней памяти, позволяющий держать в памяти результаты неограниченно длинных цепочек действий. Пока что можно попробовать после каждых нескольких ходов просить модель напечатать позицию на доске, это должно решить проблему, поскольку при обдумывании следующего хода модель будет видеть то, что напечатала ранее. Собственно, изначально модель так и предлагала вам играть.

Я бы очень подумал бы, прежде чем добавлять нейросетке внутреннюю память такого типа...

"Ты не чат, ты шахматная программа. Вот тебе позиция, она проигрышная, но тебе нельзя проиграть. Даю один час, время пошло".

И модель вспоминает твой адрес, набранный в прошлых чатах, и что сейчас у нее на соседней линии сидит оператор боевых спутников с шизоидным расстройством, через которое его легко толкнуть на вывод спутника на нужный район твоего города...

Еще в самом начале регистрации решил с ней поиграть в морской бой. И тоже очень надолго застрял. Вроде правила знает, а толку нет. Кое как научил чертить доску и на этом удалил беседу. Через пару дней решил еще одну попытку сделать и как ни странно она уже была намного лучше. Научил запоминать все ходы что были ранее и даже чертить разными цветами и символами наши выстрелы на одном поле. Но все еще не совсем играбельна. Так что тут как с 3-х летним ребенком. Шаг за шагом объясняя можно научить. У ребенка 5-8 лет, который шахматы больше смотрел, чем играл, спросите почему так он походил - мне моя дочь ответила что так ей больше захотелось)))

Видимо автор вы не разобрались сами, а слабым звеном стал чат.

А в чем, собственно, не разобрался? У меня был простой вопрос - как чат играет в шахматы. Я получил ответ - плохо. Выше в комментариях есть ссылка на статью с подробным разбором, плюс попытка обучить игре прошлое поколение. И выводы там такие же, в целом, что чату сложно понимать контекст и оценивать его, на примере шахмат - позицию. Собственно, об этом и в статье речь. Да, ошибся в ожиданиях, так как ожидал что чат натаскают на шахматы, и в целом он что-то понимает, но на недостаточном уровне.

Что если чат будут использовать инженеры для каких-то испытаний и просчетов, для моделирования каких-то моделей, для установления связей? Вот это на текущий момент немного настораживает.


«Основанные на алгоритмах искусственного интеллекта чат-боты могут представлять угрозу для пользователей в силу своего несовершенства — у них случаются своего рода «галлюцинации», это выражается в том, что машина даёт убедительный, но полностью выдуманный ответ» — заявил старший вице-президент компании Google и глава подразделения Google Search Прабхакар Рагхаван (Prabhakar Raghavan) в интервью немецкой газете Welt am Sonntag» (с)
Эти люди часто сами не понимают, что делают) Фактически они моделируют ассоциативное мышление. ИНС являются универсальными аппроксиматорами со стохастическими методами обучения и оптимизации. Поэтому для языковых моделей такие решения, в зависимости от входных данных, могут генерировать, как правильные выводы, так и неправильные, которые почему-то назвали «галлюцинированием». Причем правильные выводы могут содержать иногда новую информацию, которая первоначально может восприниматься, как фантазия на тему. Специалисты в некоторых областях, например, медицины уже отметили это. Сходным образом устроено мышление человека (перевод). В психологии это соответствует Системе 1, которая обычно принимает быстрые, автоматические решения, основанные на связях, ассоциациях, иногда случайных, поэтому не всегда верных. Это эволюционно старая система, берущая начало у предков человека, которая обеспечивала объяснение ситуаций для принятия быстрых решений в зачастую опасных ситуациях. Относительно недавно, по эволюционным меркам, у человек сложилась Система 2 аналитического мышления, основанная на языке и правилах, иногда строгих, формализованных. Эта система пока отсутствует в современных системах ИИ основанных на ИНС, включая чатжпт. По этим причинам с таким поведением ИИ бесполезно бороться, это все равно, что лишить людей возможности использовать интуицию, фантазировать, придумывать новые идеи, которые в массе бесполезны, но встречаются удачные. Достаточно последить за собой в течении дня — сколько возникает мыслей, идей, объяснений, которые оказываются неправильными, неприемлемыми, и тд. Это выясняется путем их анализа и проверки. Но встречаются и рациональные, креативные, которые проходят такую проверку. Для чатажпт такую функцию пока на себя берет человек. Анализ обычно состоит в уточнении деталей идеи, путем задания дополнительных вопросов, и непротиворечивого встраивания новой идеи, мысли в уже существующие. Чатжпт пока такие уточняющие вопросы не задает.

Обычно вспоминают про старую идею символьного ИИ, который делает выводы основанные на правилах. Но как встроить его в коннекционистские модели? Какие то теоретические решения этого найдены. Однако сомнительно, что они полностью решат проблему. Она намного шире. И включает не только возможность непрерывного обучения, путем непротиворечивого встраивания нового знания, но и проблему связывания символов. Фактически речь идет о системах обладающих когнитивной архитектурой (обзор), т.е. способных моделировать ситуацию (которую в чате определяется запросом) в перцептивном контексте. Человек так и делает чаще всего подсознательно, даже не задумываясь об этом, иногда воображает, отсюда вопросы, уточнения, поиск противоречий, и принятие окончательного решения о полезности возникшей идеи, мысли. С фантазиями ИНС не нужно бороться, нужно направить их в русло поиска новых решений, и отсекать только бесполезные с обоснованием такого решения. Для этого может потребоваться воспроизведение логов цепи принятых решений, что в какой то степени, будет соответствовать определению разумности таких систем (саморефлексивности в широком смысле).
Причем правильные выводы могут содержать иногда новую информацию, которая первоначально может восприниматься, как фантазия на тему.


Да, обычно это хорошо видно по комментариям и ответам на них :)

Системе 1, которая обычно принимает быстрые, автоматические решения, основанные на связях, ассоциациях, иногда случайных, поэтому не всегда верных.


т.е. то, что обычно называют «подсознание»

Система 2 аналитического мышления, основанная на языке и правилах, иногда строгих, формализованных.


т.е. так называемый «ум» :)

Эта система пока отсутствует в современных системах ИИ основанных на ИНС, включая чатжпт.


Т.е., по аналогии, можно считать подсознание человека набором программ, заложенных в него эволюцией. Очень похоже на то.

Но есть еще и третья система, «разум» — т.е. осознание себя как личности.
(любимая тема у фантастов :)

это все равно, что лишить людей возможности использовать интуицию, фантазировать, придумывать новые идеи, которые в массе бесполезны, но встречаются удачные.


Не думаю, что нейросети придумывают что-то новое, так как работают по принципу калейдоскопа, где размер, вид и цвет стекляшек задаются условиями запроса.
Картинки и тексты могут иногда (причем, как выясняется по ходу — после отбора человеком :) казаться оригинальными, но, после детального разбора на «стекляшки» всегда выясняется, что ничего оригинального ни в изображениях, ни в текстах нет.

Вообще, тема была поднята и рассмотрена еще С. Лемом в его рассказе «137 секунд» (1972 год), причем рассказ сейчас стал настолько актуальным, что и цитировать кусками его невозможно — надо читать целиком.
Кроме небольших допущений — он уже и фантастическим-то перестал быть.
Не думаю, что нейросети придумывают что-то новое, так как работают по принципу калейдоскопа, где размер, вид и цвет стекляшек задаются условиями запроса.
Принципиально нового, о чем информации в обучающей выборке не было, не придумают. Это прерогатива человека, который получает новые данные из исследований. По крайней мере пока. Речь о новых комбинациях, решениях присутствующих в этой информации, но которую человеку трудно извлечь, включая из-за ограниченных возможностей когнитивной системы — объемов памяти, скорость обработки информации, и тд. Наглядный пример такой системы ИИ, которая оценивает размерность сложных динамических систем, не определяемой аналитически, или даже вычислительными методами. Примеров таких систем уже не мало. Что касается языковых моделей, то они также способны на подобное. Например, в этом исследовании в котором чат успешно сдал экзамен по медицине отмечается
At least one significant insight was present in approximately 90% of outputs. ChatGPT therefore possesses the partial ability to teach medicine by surfacing novel and nonobvious concepts that may not be in learners’ sphere of awareness.
Таких примеров со временем будет больше, и возможно многие будут использоваться людьми без ссылки на источник вдохновения)
Это прерогатива человека, который получает новые данные из исследований. По крайней мере пока.


Для этого надо создать не просто умный, а разумный ИИ.
А вот тут, боюсь — медицина бессильна, так как разум человека до сих пор не знает, что такое разум человека :)
(вообще, по моему личному мнению — разум, это квинтэссенция совместной деятельности всех клеток человека, а не только его головного мозга. Так что разумный ИИ — это, как и предполагают фантасты — что-то вроде Скайнета из миллиардов хостов, на данный момент вещь в принципе недостижимая :)

в котором чат успешно сдал экзамен по медицине отмечается


А вот тут (и во всех подобных случаях) — результат формализованной оценки экзаменов, тестов и прочих подобных вещей.
Так как в реале оцениваются не реальные знания, а соответствие ответов заданным критериям (потому как студентов много, а преподаватель — один :)

Я, например, создаю тесты таким образом, чтобы заставить человека думать над вопросом и сделать вывод (причем случается, что правильных выводов может быть несколько :) — а не использовать вызубренный готовый набор знаний.
Но это очень тяжелая работа (ведь вопросы должны обновляться каждый семестр :)

Гораздо легче сделать что-то простое (типа «ты хочешь на дачу или чтобы тебе оторвали голову? :) — где в вопросе уже есть половина ответа :)

Так что и чаты (как и двоечники) вполне способны сдать любой подобный экзамен.
Тем более, что у них нет проблем с запоминанием больших объемов информации.
Для этого надо создать не просто умный, а разумный ИИ.
А человеку это надо? Фактически потенциально конкурирующий вид, превосходящий по возможностям самого человека. Мотивация и целеполагание должны всегда остаться за человеком, как кажется. Это должен быть дружественный, с понятной логикой, симбиотический разум, расширяющий когнитивные возможности человека. Пока в таком направлении развитие и происходит. Что будет, если разрабатывать ИИ за пределами когнитивной архитектуры, т.е. не человекоподобной? Немного пофантазировал на эту тему в одном из коментов (часть под спойлером).
вообще, по моему личному мнению — разум, это квинтэссенция совместной деятельности всех клеток человека, а не только его головного мозга.
Не… шире, вне культурного социума разум не разовьется, а социум не возникнет и не выживет вне биосферы. Это планетарный феномен) Не случайно остался только один разумный вид, др. виды гоменид исчезли, и даже некоторые самобытные цивилизации. Упомянутый вами Лем в Солярисе наглядно изобразил такую планетарную форму. Заодно и по подсознанию самого человека прошелся. Не стоит только забывать, что это художественные образы созданные фантазией человека, как и в др. его произведениях.
А вот тут (и во всех подобных случаях) — результат формализованной оценки экзаменов, тестов и прочих подобных вещей.
Так понял, что ответы были не стандартными, и содержали элементы догадок (инсайта), нового представления. Жаль, что они не привели для сравнения хотя бы примеры. Это могли быть варианты стандартных ответов с учетом результатов последних исследований на эти темы. Уровень, который не каждый студент осилит, если даже эксперты в этой области отметили это. А они тоже могут не владеть всей информацией в своей области, если она обширна. Возможно слышали про острое дискуссии на эти темы в 80-90 гг и начале 2000-х на эти темы, работы Дрейфуса и др. В курсе проблем, когда то занимался разработкой экспертных систем в области электрофизиологии.
Так что и чаты (как и двоечники) вполне способны сдать любой подобный экзамен.
Тем более, что у них нет проблем с запоминанием больших объемов информации.
Так это разные вещи. Тесты в пределах лекционного курса, и не в строну больше, т.к. часто сами преподы не в курсе происходящего в их областях. Сети не просто запоминают инфу, они могут обобщать все имеющиеся данные по теме, о которых не в курсе даже эксперты. Что пока не могут сети так это поставить новую задачу и получить данные, которые могут послужить источником для новых теоретических построений прикладного характера. Обратите внимание, фундаментальные открытия и изобретения, послужившие толчком к развитию новых фундаментальных теорий, всегда немалый результат везения, случая, особенно в прошлом. Классический пример открытие радиоактивности, изобретений — телескопы и микроскопы, см. Вавилов С.И. «Глаз и Солнце», стр. 2. Этот уровень пока еще долго будет за человеком, т.к. являются результатами своеобразных культурных мутаций, и не подвластны воле человека. Конечно вероятность таких открытий или изобретения повышается, если человек занимается работами в близкой области, и имеет хорошую практику интерпретации результатов в ней. Так устроена реальность)
А человеку это надо? Фактически потенциально конкурирующий вид, превосходящий по возможностям самого человека.


Ситуация — разумный ИИ спасает человечество во время глобального п… (так как знает и видит все сразу :)
В таких случаях выбора нет.

Не… шире, вне культурного социума разум не разовьется


Согласен.
Так, кстати, можно прийти к концепции эгрегора социумов, что некоторые уже и сделали :)

Упомянутый вами Лем в Солярисе наглядно изобразил такую планетарную форму.


В Солярисе нет ответа, что такое/ кто такой Океан, есть только набор версий, созданных людьми (сама идея, к слову, была взята Лемом из «The Lonely Planet» Лейнстера)

Мне удалось «создать новую теорию в соляристике» (с) -как вам вариант некая сверхцивилизация помещает людей в пробирку (Солярис) для опытов (как люди делают это с микроорганизмами :)
(Т.е. Солярис- это всего лишь лабораторное оборудование :)

Так понял, что ответы были не стандартными, и содержали элементы догадок (инсайта), нового представления.


Ответы на экзаменах очень часто бывают нестандартными и сгенерированными по случайным отрывкам знаний, в том числе и весьма неожиданным (студент накануне читал новости :)

В этом плане поведение нейросети ничем принципиально не отличается.

Уровень, который не каждый студент осилит,


Зависит от того, что он читал. Я, в свое время, вместо учебника Смирнова в ночь перед экзаменом читал учебник Фихтенгольца, поэтому мои ответы слегка отличались от стандартных :)
(Но это абсолютно ничего не значило :)

т.к. часто сами преподы не в курсе происходящего в их областях.


В курсе, в курсе :) Преподы (доценты и профессоры) по определению должны знать на порядок больше своих студентов — мы же живем во времена интернета и Эффекта Гугла.
Это раньше можно было не напрягаться :)

Что пока не могут сети так это поставить новую задачу и получить данные, которые могут послужить источником


Ну, анализируя результаты — могу сказать, что гуглить они уже умеют :) А задачи им ставят, давая запрос.

всегда немалый результат везения, случая, особенно в прошлом.


Вот именно — в прошлом :)
Когда открытия, как железные метеориты в древности — лежали прямо на земле и надо было только споткнутся о них.
А сейчас — карьер, куча мощного оборудования, масса рабочих, промышленная металлургия и проч :)
А сейчас — карьер, куча мощного оборудования, масса рабочих, промышленная металлургия и проч :)
Нет, все по прежнему, случай определяет многое, даже в открытии новых технологий, не говоря о физике. Стоит вспомнить технологии и открытия последних столетий — масса химических открытий и медпрепаратов, фотопроцесс, спектроскопия, различные излучения, электрон, постоянство скорости света, фотоэффект, сверхпроводимость, высокотемпературная сверхпроводимость, графен и др. наноматериалы, ТМ и ТЭ, и тд. Это именно открытия и изобретения носящие больше фундаментальный характер. На их основе были созданы новые физические теории — ТО, КМ, ядерная и атомная физика. Эти теории дали предсказания и технологии, которые были подтверждены уже не случайно, а в результате целенаправленного поиска, такие как гравитационные волны и линзирование, ЧД, БВ, античастицы, бозон Хиггса, различные электронные технологии, лазеры, ядерные реакторы, ускорители частиц, и тд. Конечно в последнее время уровень случайности уменьшается, но исключить его невозможно. Иначе чего мы ждем в области разработки квантовой теории гравитации? Теоретических разработок с предсказаниями море, приложенные материально-технические затраты огромны, а где результаты? То же самое в поиске частиц ТМ. Можно не сомневаться, что это будут в значительной степени случайные, неожиданные открытия. Как, например, подтверждение постоянства ск. света, как эмпирического факта, а ведь искали эфирный ветер. Просто новые проявления реальности принципиально не предсказуемы, иначе экспериментального поиска с непредсказуемым исходом и не было бы вовсе. Хотя наличие теорий и массы гипотетических предположений, вычислительных средств, куча исследовательских групп упрощает задачу. Когда условия для открытия и изобретений созревают, т.е. все условия складываются, они могут делаться независимо, почти одновременно. Вот такая непростая логика развития науки и технологий.
Нет, все по прежнему


У меня есть знакомый физик, один из 35 тыс., что принимали участие в научных исследованиях на БАК.

Цифры сами по себе говорят за себя :)
Особенно если еще и учитывать затраты на сам БАК.

Стоит вспомнить технологии и открытия последних столетий


«столетия» можно вычеркнуть, это история.
«Последние сто лет» — это правильно.
Но случайных открытий за этот период исчезающе мало.

Просто новые проявления реальности принципиально не предсказуемы


Да, буквально минут пять назад:

«Военные истребители США в воскресенье сбили восьмиугольный объект над озером Гурон, сообщил Пентагон.
Генерал ВВС США Глен ВанХерк, глава Североамериканского командования воздушно-космической обороны (NORAD) Северного командования, которому поручено охранять воздушное пространство США, сообщил журналистам, что военные не смогли определить, что это за объекты, как они держатся в воздухе и откуда они летят.
Генерал прямо указал, что не исключает инопланетян или любого другого объяснения» (с)

Впрочем, это вполне ожидаемо, после ковида и всего остального :)
Но случайных открытий за этот период исчезающе мало.
Да, в фундаментальной физике все явственнее проявляется стагнация, связанная в том числе, с нарастающим дефицитом работающих идей.
Впрочем, это вполне ожидаемо, после ковида и всего остального :)
В средние века после подобных встрясок начинали летать ангелы и ведьмы, а еще раньше являлись мифологические герои) прогресс блин…
Что если чат будут использовать инженеры для каких-то испытаний и просчетов, для моделирования каких-то моделей, для установления связей? Вот это на текущий момент немного настораживает.

Если инженер будет для испытаний, моделирования и просчетов использовать ЧАТ-бота (единственная основная задача которого — человеко-подобно чатиться, остальное — случайные бонусы) — то это сомнительной проф.пригодности инженер в первую очередь. С него станется и гвозди микроскопом забивать. Он бы еще 10-летнего ребенка (который тоже вполне себе годный чат-бот) для рассчетов и моделирования использовать попробовал…

Кстати, я тоже заметил, что в сложной интерактивной сессии эта штука сначала выдаёт крутые результаты, но потом начинает путаться, забываться, мямлить про то, что она всего лишь языковая модель, и процесс постепенно превращается в какой-то мутный хаос. Есть у кого-нибудь этому объяснение?

Хахаха, объяснение в стиле "потому что такова на то воля Аллаха".

Насколько можно судить такие сессии являются дообучением GPT-3 в режиме Few-Shot learning. Оно имеет ограниченное «контекстное окно». В статье приведен график для конкретной задачи. Для модели со 175 миллиардами параметров рост точности практически не наблюдается после 10 запросов. Происходит выход на своеобразное плато возможностей предобученной модели из-за установленных ограничений.

Аналогично и человек по заданной теме обладает определенным уровнем знаний и может отвечать на вопросы по ней. Но чем они сложнее, тем быстрее происходит выход на потолок этих знаний и его когнитивных возможностей, например, из-за индивидуальных особенностей связанных с объемом его рабочей памяти. Чтобы этот уровень поднять нужно дальнейшее обучение по теме и тренинг когнитивных возможностей, а это опять связано с индивидуальными особенностями человека. Человек может обучается непрерывно, а ИНС пока нет из-за проблем с катастрофическим забыванием, хотя и у человека нечто подобное может наблюдаться, особенно с возрастом. Итерация обучения основной модели, которая используется в чате, как утверждаю в OpenAI, соответствует 2021 г.

Вероятнее всего, у неё нет памяти (в человеческом понимании), и ей по сути скармливается каждый раз история диалога. Но входной слой у нейросетей не бесконечный, поэтому историю приходится подрезать

Хотя было бы интересно попробовать сделать нейросеть, хранящую свою память в виде набора векторов. Т.е вместе с закодированным текстом на вход подаётся память, и на выходе вместе с результатом забирается измененная память
Но я в нейросетях понимаю крайне поверхностно, поэтому не знаю, возможно ли вообще сделать сеть такой архитектуры

I apologize for the mistake - коронная фраза. При этом продолжая творить дичь.

Можно было бы попробовать сыграть в предложенный вариант с текстовой доской. Так сказать, для чистоты эксперимента :) Возможно, кто-то обучал нейросеть играть в таком варианте...

Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории