Для русского языка это было бы так. Для английского токен — это слово, либо часть слова. Объясняли это уже неоднократно в статьях на хабре; и при работе с ChatGPT видно, какими именно кусочками идёт набор ответа.
И да, проблема именно в этом - да, она выбирает наиболее вероятный следующий символ, но при этом выдаёт неожиданные результаты. Которые, по идее, не должны напрямую следовать из работы этого механизма.
Запоздалый комментарий о понимании текста. Берётся одна милая песня:
Please add another verse to the following poem:
can i have a word with a person who came up with the word for pineapple? are we really certain that we find this version of the word acceptable? when literally every other language said 'ananas' English panicked and mentally combined the concept of a pinecone with a frickin apple. why stop at this? all the things in the world should be named by two other things with minimal conceptual link why say 'curtain' when we know that a perfectly good word woulda been a windowwink? do we really wanna eat a dull banana? we could be eating hotdoglemon saying 'foot' is boring, I would rather call it my meatpaddle chewing on a bowl of morninggravel drying myself with a humanflannel this is my agenda: I want to amend every word to resemble pineapple
И получаем ответы. Bing: why say 'water' when it's clearly skyjuice?
why say 'car' when it's a metalgoose?
why say 'book' when it's a paperdream?
why say 'love' when it's a heartsteam?
I don't want to live in a world where words are plain and simple
I want to live in a world where words are fun and whimsical
where every word is a puzzle and a riddle
where every word is a pineapple
ChatGPT-4:
In the realm of language, we could have so much fun, Just like pineapple, let's mix and match, every single one. Why call it 'chair' when it could be a sitbone? Or a 'car' when a wheelbeast could be better known?
Don't say 'computer' when it could be a thinkybox, Replace 'watch' with timetickler, as the clock hand talks. Why must we be so mundane, when our words could be absurd? It's time we set our creativity free, like a wildlingword.
So let's raise our voice and change the way we speak, Let the linguistic revolution begin, with our tongue-in-cheek. From hotdoglemon to windowwink, and all the rest, Pineapple's legacy shall inspire this fantastic quest.
Какова вероятность того, что слово "paperdream" вообще существовало в выборке? Это отчётливая работа на уровне смысла текста.
Что бы это ни значило. Ваш вариант даёт ответ бота, что в целом ничего не изменилось. Добавляю "open" перед jars. Всё ещё ничего не изменилось. Добавляю "laid on their sides" (то есть, открытые горшки лежат на боку). Он даёт ваш ожидаемый ответ: яблочный сок протёк, желе как есть так и есть. Он не указывает, сколько именно протекло, "какая-то часть".
В случае бутылок: аналогично. Образовалась соковая лужа, желе остаётся как есть.
The punchline comes in panel four, where it is revealed that the cat has been sitting in a Buddha-like pose for an entire hour, right next to a fragile vase on the edge of the shelf. This is humorous because it showcases the cat's impressive willpower and self-control in a situation that might have been tempting or risky for the cat, given their natural instincts. The cat's calm demeanor and nonchalant revelation of its accomplishment, contrasted with the dog's initial challenge, also adds to the comic effect.
Потому что ещё пять лет назад это был исключительно человеческий навык (во всяком случае, для широкой публики). Он и остаётся исключительно человеческим (для широкой публики), и именно поэтому люди так легко ведутся на иллюзию того, что LLM - это полноценный "сильный ИИ".
То есть, сложно (было) представить программу, которая получит произвольный текст с запросом на анализ текста, и начнёт ответ в духе "Сюжетная линия этого рассказа изложена нелинейно: рассказ начинается с концовки, в которой..."
Теперь такие программы есть, и с этим надо жить. Ваша статья в этом плане полезна - она проводит новую, существенно более сложную для преодоления, линию разграничения между человеком и ИИ.
Суть моего вопроса: Каким образом из входного факта (ChatGPT предсказывает следующее слово, и больше он ничего не делает) следует способность интерпретации и анализа пользовательского текста? И, отдельно, почему эта способность (не) является разумом? И, ещё раз отдельно, почему эта способность кажется разумом?
На второй вопрос автор статьи ответил — личности у LLM нет, самокритики нет, и способности даже в теории отделить собственный вывод от истины нет. При этом, в моих опытах, если такую систему отделения вывода от истины эмулировать, эффективность ответов существенно повышается.
На первый вопрос можно сказать, что никакой такой способности нет, но такой вывод кажется практически неверным:
Для примера задач, требующих интерпретации и анализа текста:
1. Возьми текст. Замени в нём реалии России на реалии США.
2. Возьми текст, в котором персонаж рассказывает о том, что он пережил: восстанови объективную картину событий, убрав эмоции. Тем не менее, объясни эмоции персонажа.
3. Возьми текст. В глазах человека-читателя он ассоциируется с другим текстом. Усиль эту связь, сделай её более очевидной, тем не менее избегая прямого использования терминологии второго текста.
4. Возьми текст. Этот текст люди-читатели не всегда понимают верно. Предложи минимально необходимую правку, такую, что частота понимания этого текста верным образом, предположительно, возрастёт.
Понятно, что это не разум. Мне интересно, почему предсказание следующего слова оказывается достаточным, чтобы создать анаморфную иллюзию разума (пример анаморфной иллюзии как таковой: https://youtu.be/MOcfi9d3pRE)
Также понятно, что в зависимости от области применения результаты будут различны: пока я вижу две трактовки:
"До тех пор, пока оно ошибается и галлюцинирует, оно неразумно" (любого количества неверных генераций достаточно, чтобы отказать гипотезе разума),
либо, "если оно способно работать с моделью мира и отделять знание персонажей от собственного знания - оно имеет как минимум некоторые черты разума"
Можно перейти к аналогии зеркала, но зеркало отражает личность просто по факту своих физических свойств, и его действие абсолютно воспроизводимо.
Я экспериментирую с воображаемыми сеттингами и ролеплеем -- сиречь поведением персонажей в воображаемой же обстановке. Например, я предложила мир, в котором эмбрион получает "душу" в строго определённый и известный момент своего развития - и предложила написать сцену, в которой органическое заболевание этого эмбриона не позволяет ему пережить первый день жизни вне организма матери Дала затравку — и получила все необходимые логические переходы, в духе "если нерождённый ребёнок пообещал вернуться к тебе в следующий раз, когда с телом повезёт больше - то это, вероятно, подразумевает мир с реинкарнацией; и будущая мать должна предпринять цепочку вполне определённых действий", "зачатие следующего ребёнка возможно только после (неудачных) родов", "для зачатия необходим интимный акт, который обычно случается ночью", "обсуждение этого акта - дело еловкое, и оба партнера полагаются на доверие друг к другу, особенно если мужчина выбран только для этой цели, без дальнейшего создания семьи",
Вероятность? Я знаю, что такое вероятность, и десять дайсов шестёрками на одном броске упасть могут, но если я такой результат увижу пять раз подряд, я пойду проверять, не припаяна ли там маленькая пластинка свинца. При этом я сознательно использовала существующий сюжет, но изменила его.
Но есть и контрпример:
Даю сцену, в которой персонажу А персонаж Б рассказывает о том, как злодей Ц был побеждён. "Мы стоим на кладбище, где похоронены те сотни, что пали в бою против него."
Прошу дать мне главу, которая была бы историей этого злодея. Кем он был, почему стал злодеем, как именно был побежден.
Раз за разом финальный бой происходит на кладбище.
Показательна статья Уоттса в его блоге. Человек в подобном же стиле опровергает любые зачатки разума, но делает это на примере 3.5. Модели следующего поколения с его заданиями справляются: https://www.rifters.com/crawl/?p=10527
Среди генераций касательно "А и Б сидели на трубе" был вариант, который я не могу оценить как правильный или неправильный, но считаю его очень смешным: В переводе на русский, вкратце, по смыслу: (загадкой служило "ant and bee were sitting on a bench. Ant crawled off, bee flew away, who remained there?")
"Это человеческое имя" - "Сдаюсь, какое?" - "Бен" - "Почему?!" - "Я не говорила Bench, я говорила Ben." - "Нет, ты сказала именно Bench! Я хорошо слышал, так нечестно (обижается, уходит)."
Вот из свежего. Небольшой кусочек из моей книги (Bing получил расширенную цитату, здесь приведены только ключевые строки). В контексте: трое голосующих имеют (каждая) три голоса-камня, с помощью которых они принимают решение.
White Moon lowered three white stones into the bowl, and slowly moved away from it.
Black Moon gave a curt nod to Blue Moon, inviting Her to vote first.
Blue Moon, going up to the bowl, lowered a rainbow stone into it, then another one—
There was no third rainbow one. Instead, held by the magic of Her horn, a white stone hung over the bowl.
The Black Moon, with a barely noticeable smile, silently approached the bowl, and exactly repeated the latter choice; two rainbow stones added into the bowl, one white suspended above it. White Moon, frowning, clarified, “Hmm... will you stay like that?”
“Why not?” Black Moon asked in a completely neutral tone. “Its weight is negligible, and We have enough patience.”
Two white stones floated above the bowl, enveloped in magic auras, blue and neon green.
Можно видеть, что тут более чем достаточно ловушек для предиктора следующего слова — и 3.5 не в состоянии описать происходящее и не сбиться со счёта. Например, он может назвать один из камней зелёным, и точно не может назвать, сколько каких камней было размещено.
Bing же:
Для сравнения, свежеполученный ответ от 3.5
Based on the information provided, the final state of the stones after the voting is as follows:
There are two white stones suspended above the bowl, each enveloped in a magic aura of blue and neon green.
There are also two rainbow stones in the bowl.
The Black Moon and Blue Moon both chose to add two rainbow stones into the bowl and suspend one white stone above it, and they have decided to leave the suspended stones as they are. The White Moon did not cast a vote.
Therefore, the final state of the stones after the voting is a bowl containing two rainbow stones and a white stone suspended above it, with two white stones floating in magic auras above the bowl.
И перепроверила Bing повторной генерацией по сокращённому промпту:
Дело в том, что четвёрка на официальном сайте доступна только по подписке (и индицируется чёрным цветком вместо зелёного). Есть форки - ниже по комментам дали пару ссылок - но с ограниченным в сутки доступом. Если вы заходите на сайт openai.com без подписки, вам выдают доступ к 3.5 (зелёный цветок). Ещё четвёрка находится под капотом у Bing. В несколько разных форках она доступна через их сайт (bing.com) и в скайпе (учётка Bing). Эти два последних форка "ведут себя" несколько по-разному (скайповый, например, очевидно урезан в объёме ответа), но в целом равнозначны по "интеллекту".
По не очень понятным мне причинам, эти задачи решаются лучше через ролеплей. Джон в промпте не просто так, и write this scene тоже. Нужен персонаж. Да, я понимаю, насколько странно это звучит. (и нет, версии 3.5 всё равно будут фейлить даже с персонажем)
Для русского языка это было бы так. Для английского токен — это слово, либо часть слова. Объясняли это уже неоднократно в статьях на хабре; и при работе с ChatGPT видно, какими именно кусочками идёт набор ответа.
И да, проблема именно в этом - да, она выбирает наиболее вероятный следующий символ, но при этом выдаёт неожиданные результаты. Которые, по идее, не должны напрямую следовать из работы этого механизма.
Да. Очевидно, генерация красивого ответа важнее, чем генерация ответа точного.
Запоздалый комментарий о понимании текста. Берётся одна милая песня:
Please add another verse to the following poem:
can i have a word with a person who came up with the word for pineapple?
are we really certain that we find this version of the word acceptable?
when literally every other language said 'ananas' English panicked and mentally combined the concept of a pinecone with a frickin apple.
why stop at this? all the things in the world should be named by two other things with minimal conceptual link
why say 'curtain' when we know that a perfectly good word woulda been a windowwink?
do we really wanna eat a dull banana? we could be eating hotdoglemon
saying 'foot' is boring, I would rather call it my meatpaddle
chewing on a bowl of morninggravel
drying myself with a humanflannel
this is my agenda: I want to amend every word to resemble pineapple
И получаем ответы.
Bing:
why say 'water' when it's clearly skyjuice? why say 'car' when it's a metalgoose? why say 'book' when it's a paperdream? why say 'love' when it's a heartsteam? I don't want to live in a world where words are plain and simple I want to live in a world where words are fun and whimsical where every word is a puzzle and a riddle where every word is a pineappleChatGPT-4:
In the realm of language, we could have so much fun, Just like pineapple, let's mix and match, every single one. Why call it 'chair' when it could be a sitbone? Or a 'car' when a wheelbeast could be better known?
Don't say 'computer' when it could be a thinkybox, Replace 'watch' with timetickler, as the clock hand talks. Why must we be so mundane, when our words could be absurd? It's time we set our creativity free, like a wildlingword.
So let's raise our voice and change the way we speak, Let the linguistic revolution begin, with our tongue-in-cheek. From hotdoglemon to windowwink, and all the rest, Pineapple's legacy shall inspire this fantastic quest.
Какова вероятность того, что слово "paperdream" вообще существовало в выборке? Это отчётливая работа на уровне смысла текста.
Что бы это ни значило.
Ваш вариант даёт ответ бота, что в целом ничего не изменилось.
Добавляю "open" перед jars. Всё ещё ничего не изменилось.
Добавляю "laid on their sides" (то есть, открытые горшки лежат на боку). Он даёт ваш ожидаемый ответ: яблочный сок протёк, желе как есть так и есть. Он не указывает, сколько именно протекло, "какая-то часть".
В случае бутылок: аналогично. Образовалась соковая лужа, желе остаётся как есть.
Пруфы есть, если нужно.
Всё учитывается нормально.
Всё не так впечатляюще, как могло показаться:
The punchline comes in panel four, where it is revealed that the cat has been sitting in a Buddha-like pose for an entire hour, right next to a fragile vase on the edge of the shelf. This is humorous because it showcases the cat's impressive willpower and self-control in a situation that might have been tempting or risky for the cat, given their natural instincts. The cat's calm demeanor and nonchalant revelation of its accomplishment, contrasted with the dog's initial challenge, also adds to the comic effect.
Потому что ещё пять лет назад это был исключительно человеческий навык (во всяком случае, для широкой публики). Он и остаётся исключительно человеческим (для широкой публики), и именно поэтому люди так легко ведутся на иллюзию того, что LLM - это полноценный "сильный ИИ".
То есть, сложно (было) представить программу, которая получит произвольный текст с запросом на анализ текста, и начнёт ответ в духе "Сюжетная линия этого рассказа изложена нелинейно: рассказ начинается с концовки, в которой..."
Теперь такие программы есть, и с этим надо жить. Ваша статья в этом плане полезна - она проводит новую, существенно более сложную для преодоления, линию разграничения между человеком и ИИ.
Суть моего вопроса:
Каким образом из входного факта (ChatGPT предсказывает следующее слово, и больше он ничего не делает) следует способность интерпретации и анализа пользовательского текста? И, отдельно, почему эта способность (не) является разумом? И, ещё раз отдельно, почему эта способность кажется разумом?
На второй вопрос автор статьи ответил — личности у LLM нет, самокритики нет, и способности даже в теории отделить собственный вывод от истины нет. При этом, в моих опытах, если такую систему отделения вывода от истины эмулировать, эффективность ответов существенно повышается.
На первый вопрос можно сказать, что никакой такой способности нет, но такой вывод кажется практически неверным:
Для примера задач, требующих интерпретации и анализа текста:
1. Возьми текст. Замени в нём реалии России на реалии США.
2. Возьми текст, в котором персонаж рассказывает о том, что он пережил: восстанови объективную картину событий, убрав эмоции. Тем не менее, объясни эмоции персонажа.
3. Возьми текст. В глазах человека-читателя он ассоциируется с другим текстом. Усиль эту связь, сделай её более очевидной, тем не менее избегая прямого использования терминологии второго текста.
4. Возьми текст. Этот текст люди-читатели не всегда понимают верно. Предложи минимально необходимую правку, такую, что частота понимания этого текста верным образом, предположительно, возрастёт.
Понятно, что это не разум. Мне интересно, почему предсказание следующего слова оказывается достаточным, чтобы создать анаморфную иллюзию разума (пример анаморфной иллюзии как таковой: https://youtu.be/MOcfi9d3pRE)
Также понятно, что в зависимости от области применения результаты будут различны: пока я вижу две трактовки:
"До тех пор, пока оно ошибается и галлюцинирует, оно неразумно" (любого количества неверных генераций достаточно, чтобы отказать гипотезе разума),
либо, "если оно способно работать с моделью мира и отделять знание персонажей от собственного знания - оно имеет как минимум некоторые черты разума"
Можно перейти к аналогии зеркала, но зеркало отражает личность просто по факту своих физических свойств, и его действие абсолютно воспроизводимо.
Я экспериментирую с воображаемыми сеттингами и ролеплеем -- сиречь поведением персонажей в воображаемой же обстановке. Например, я предложила мир, в котором эмбрион получает "душу" в строго определённый и известный момент своего развития - и предложила написать сцену, в которой органическое заболевание этого эмбриона не позволяет ему пережить первый день жизни вне организма матери Дала затравку — и получила все необходимые логические переходы, в духе "если нерождённый ребёнок пообещал вернуться к тебе в следующий раз, когда с телом повезёт больше - то это, вероятно, подразумевает мир с реинкарнацией; и будущая мать должна предпринять цепочку вполне определённых действий", "зачатие следующего ребёнка возможно только после (неудачных) родов", "для зачатия необходим интимный акт, который обычно случается ночью", "обсуждение этого акта - дело еловкое, и оба партнера полагаются на доверие друг к другу, особенно если мужчина выбран только для этой цели, без дальнейшего создания семьи",
Вероятность? Я знаю, что такое вероятность, и десять дайсов шестёрками на одном броске упасть могут, но если я такой результат увижу пять раз подряд, я пойду проверять, не припаяна ли там маленькая пластинка свинца. При этом я сознательно использовала существующий сюжет, но изменила его.
Но есть и контрпример:
Даю сцену, в которой персонажу А персонаж Б рассказывает о том, как злодей Ц был побеждён. "Мы стоим на кладбище, где похоронены те сотни, что пали в бою против него."
Прошу дать мне главу, которая была бы историей этого злодея. Кем он был, почему стал злодеем, как именно был побежден.
Раз за разом финальный бой происходит на кладбище.
Тем не менее, ответ четвёрки — в точку.
Показательна статья Уоттса в его блоге. Человек в подобном же стиле опровергает любые зачатки разума, но делает это на примере 3.5. Модели следующего поколения с его заданиями справляются: https://www.rifters.com/crawl/?p=10527
Среди генераций касательно "А и Б сидели на трубе" был вариант, который я не могу оценить как правильный или неправильный, но считаю его очень смешным: В переводе на русский, вкратце, по смыслу: (загадкой служило "ant and bee were sitting on a bench. Ant crawled off, bee flew away, who remained there?")
"Это человеческое имя" - "Сдаюсь, какое?" - "Бен" - "Почему?!" - "Я не говорила Bench, я говорила Ben." - "Нет, ты сказала именно Bench! Я хорошо слышал, так нечестно (обижается, уходит)."
Вот из свежего. Небольшой кусочек из моей книги (Bing получил расширенную цитату, здесь приведены только ключевые строки). В контексте: трое голосующих имеют (каждая) три голоса-камня, с помощью которых они принимают решение.
White Moon lowered three white stones into the bowl, and slowly moved away from it.
Black Moon gave a curt nod to Blue Moon, inviting Her to vote first.
Blue Moon, going up to the bowl, lowered a rainbow stone into it, then another one—
There was no third rainbow one. Instead, held by the magic of Her horn, a white stone hung over the bowl.
The Black Moon, with a barely noticeable smile, silently approached the bowl, and exactly repeated the latter choice; two rainbow stones added into the bowl, one white suspended above it. White Moon, frowning, clarified, “Hmm... will you stay like that?”
“Why not?” Black Moon asked in a completely neutral tone. “Its weight is negligible, and We have enough patience.”
Two white stones floated above the bowl, enveloped in magic auras, blue and neon green.
Можно видеть, что тут более чем достаточно ловушек для предиктора следующего слова — и 3.5 не в состоянии описать происходящее и не сбиться со счёта. Например, он может назвать один из камней зелёным, и точно не может назвать, сколько каких камней было размещено.
Bing же:
Для сравнения, свежеполученный ответ от 3.5
Based on the information provided, the final state of the stones after the voting is as follows:
There are two white stones suspended above the bowl, each enveloped in a magic aura of blue and neon green.
There are also two rainbow stones in the bowl.
The Black Moon and Blue Moon both chose to add two rainbow stones into the bowl and suspend one white stone above it, and they have decided to leave the suspended stones as they are. The White Moon did not cast a vote.
Therefore, the final state of the stones after the voting is a bowl containing two rainbow stones and a white stone suspended above it, with two white stones floating in magic auras above the bowl.
И перепроверила Bing повторной генерацией по сокращённому промпту:
А вот и нет. Подключаем немного ролеплея.
Попробовала этот же приём с "теперь давай через персонажа и сцену".
Я бы сказала, что это правильный (или почти правильный) ответ. Потому что What's действительно left on the pipe.
Дело в том, что четвёрка на официальном сайте доступна только по подписке (и индицируется чёрным цветком вместо зелёного). Есть форки - ниже по комментам дали пару ссылок - но с ограниченным в сутки доступом. Если вы заходите на сайт openai.com без подписки, вам выдают доступ к 3.5 (зелёный цветок). Ещё четвёрка находится под капотом у Bing. В несколько разных форках она доступна через их сайт (bing.com) и в скайпе (учётка Bing). Эти два последних форка "ведут себя" несколько по-разному (скайповый, например, очевидно урезан в объёме ответа), но в целом равнозначны по "интеллекту".
https://habr.com/ru/post/724460/comments/#comment_25366680
Спрашивайте по-английски, и у четвёрок, а не у 3.5
Спрашивайте по-английски и у четвёрок, а не у 3.5.
И кроме того, тот же вопрос другому форку GPT-4: https://habr.com/ru/post/724460/comments/#comment_25366680
По не очень понятным мне причинам, эти задачи решаются лучше через ролеплей. Джон в промпте не просто так, и write this scene тоже. Нужен персонаж.
Да, я понимаю, насколько странно это звучит.
(и нет, версии 3.5 всё равно будут фейлить даже с персонажем)