Comments 13
А с чего он взял что модель ему на самом деле рассказала свою архитектуру, а не то что с наибольшей вероятностью выдается из обучающей выборки по запросу "как устроена память ChatGPT"
Я перед написанием новости проверил его гипотезы на обеих подписках. В целом, модели ведут себя примерно так, как он описывает:
У ChatGPT и Claude есть списки самых важных фактов о пользователе, их можно найти и почитать в настройках. По моему опыту, Claude обновляет этот список активнее, ChatGPT добавляет туда что-то новое только если его прямо об этом попросить.
ChatGPT при попытках вспомнить прошлые диалоги, достаточно уверенно вспоминает наши беседы за последние три дня - единственное, что не 15 диалогов, а где-то 20 с небольшим. Когда я прошу вспомнить что-то более древнее, модель пишет "я не вижу полный список твоих старых чатов по датам и названиям — у меня есть только то, что попало в “память” (устойчивые темы) и куски недавних диалогов". Не помогло даже тогда, когда я точно описывал, что было в каком-нибудь старом диалоге.
Claude пытается искать по диалогам как в поисковике - походу, пишет запрос, а затем пробегается по найденным диалогам. У меня он смог найти диалоги, которые мы вели весной и в начале лета. Но не всегда находил точно те, о которых я его просил.
меня, наоборот, бесит эта их способность "вспомнить всё". Не для того я начал новый диалог, чтобы он вспоминал старые.
можно выключить в настройках же
Из моего опыта: ChatGPT «помнит» не только то, что есть в настройках, а также другие сведения из предыдущих чатов. Один раз меня это так сильно достало (он путал два похожих проекта и все норовил дать рекомендации по второму, которые подходили первому), что я стал использовать временный чат для обсуждения некоторых деталей, чтобы они позже не оказывали влияние на последующие разговоры. И один раз, закрыв временный чат и открыв обычный с диалогом на похожую тему, он вдруг! выдал мне пример-аналогию из только, что закрытого временного чата. При чем во временном чате я сам попросил об определенной аналогии. Но он ее запомнил и перенес в новый чат и это на Бизнес тарифе! В настройках памяти этой аналогии нет, да и не должна была она там быть, т.к. это был временный чат и не сведения обо мне, а попытка понять одно явление через аналогию с другим. Он не забывает даже то, что есть во временных чатах.
Ожидание: "Реверс-инженеринг", "Инженер вскрыл интересные особенности".
Реальность: Кто-то поговорил с моделью и она ему всё рассказала.
Ну да, Шершавый кабан это тоже инженер, который провел реверс-инженеринг и раскрыл заговор ChatGPT, но у него хотя бы поинтереснее было.
Дальше видимо "Инженер создал свой ChatGPT", и новость про то, как кто-то научился запускать LM Studio.
На сайте ChatGPT буквально описано как это работает https://openai.com/index/memory-and-new-controls-for-chatgpt/:
память в ChatGPT теперь стала более полной. Помимо сохранённых воспоминаний, которые уже существовали ранее, система теперь также использует всю историю ваших прошлых диалогов, чтобы делать ответы более релевантными и персонализированными.
Улучшения функции памяти начинают постепенно внедряться для бесплатных пользователей. Помимо сохранённых воспоминаний, которые уже существовали ранее, ChatGPT теперь также использует ваши недавние диалоги для более персонализированных ответов.
Бесплатные пользователи получают облегчённую версию улучшенной памяти, обеспечивающую краткосрочную преемственность между разными диалогами. Пользователи подписок Plus и Pro получают более глубокое и долгосрочное понимание их предпочтений и контекста.
На основе этой информации можно выдумать любые варианты реализации, только к реальной реализации это будет иметь отношение только по случайности, так как у LLM нет возможности проанализировать внешнюю для неё систему.
Это вообще не про модели, а про конкретный клиент сессии вроде Claude Desktop. Самой модели "фиолетово".
Как устроена память в ChatGPT и Claude? Инженер вскрыл интересные особенности