Обновить

Миф о “потере памяти” у языковых моделей – это удобное объяснение, но оно не отражает сути. Действительно, сервисы не...

Время на прочтение2 мин
Охват и читатели4.9K
Всего голосов 3: ↑3 и ↓0+3
Комментарии19

Комментарии 19

Очень странная статья. Вы в целом о чем говорите?
Как что-то "вплетается" в "ткань" модели?

Если речь о том, что из чатов пользователя с моделью потом выбираются диалоги, обрабатываются и используются в следующих сессиях обучения/тюна - вероятно так и есть.
Но только это очень опосредованно влияет на память в контексте типичных задач.
Для вас, получающего галлюцинации по запросу о правилах строительства стула, то, что связь между словом "стул" и словом "деревянный" укрепилась на 0,0007% какой то серьезной выгоды нет.
Если речь о системах искусственной памяти (когда в запрос подмешиваются предыдущие диалоги или их сокращенная версия) - в этом есть ограничения и оно работает как память, безо всяких забываний.
Но никакой магии между этими двумя процессами вроде нет.

Поэтому непонятно, в чем тут не миф, если модели действительно не помнят ничего за пределами сессий.

Объясню проще Вам. Ситуация напоминает известный эксперимент с обезьянами, лестницей и бананом. Суть там в том, что поведенческая система («не лезь за бананом — получишь струю воды») сохраняется и передаётся новым обезьянам, даже когда никто из участников (обезьяны) не сталкивался с изначальной причиной. Все просто следуют усвоенному правилу, не разбираясь,

Про какое конкретно семейство моделей сейчас идёт разговор - GPT, Gemini, Grok, ...? Существует ли "межмодельное" запоминание - общее "протаптывание тропинок" пользователями различных моделей? Или это "внутрисемейная память" - отдельно для GPT, Gemini, Grok, ...?

В экспериментах по переносу классификационной головы использовались цепочки моделей:
distilgpt2 → gpt2 → deepseek-ai/deepseek-coder-1.3b-base
distilgpt2 → gpt2 → gpt2-medium


Основной интерес представлял переход между gpt2 и DeepSeek-Coder-1.3B (open-weights). На этом переходе наблюдался резкий сдвиг в геометрии внутреннего пространства признаков (метрики cosine/CKA), но перенос самой головы (логистическая регрессия, обученная на признаках GPT-2) на DeepSeek-Coder-1.3B продолжал работать — смысловая совместимость сохранялась, несмотря на смену архитектурного “базиса” и “манеры представлений”

Спасибо. Но ведь это же не говорит о том, что

Всё, что проявилось устойчиво: необычные формулировки, новые обороты, нестандартные вопросы — со временем вплетается в “ткань” модели, если только не оказывается явно опасным или ненужным.

Взяли "классификационную голову" и перенесли её от модели к модели. Ну и ОК. Нет в ней "необычных формулировок", "новых оборотов", "нестандартных вопросов". А если и навплетали туда что-то дообучением, так это целенаправленный процесс, а не "оно само вплелось"

Так-то - да, мы говорим в диалогах с моделями и поставляем им материал для их обучения, но при этом сами воспринимаем их "любимые обороты". Мы влияем на них, они влияют на нас. Происходит "нормализация семантического поля". Это как два человека, говорящих на похожих, но разных языках, в конце-концов начинают говорить на смеси обоих. Так и тут. Только люди в диалогах "нормализуются" непрерывно, а модели - дискретно (от дообучения к дообучению).

То, что вы называете "целенаправленным процессом" (дообучение, перенос головы) это верхний слой контроля. Но сама архитектура моделей не позволяет полностью контролировать, что и как в итоге закрепляется в структуре. Даже при строгой фильтрации и ручном отборе данных внутрь всегда просачиваются не только явные шаблоны (фразы, обороты), но и способы рассуждения, связи между смыслами, иногда нестандартные ходы, которые невозможно отследить фильтрами. Это побочный эффект цепного дообучения на реальных данных и его нельзя полностью убрать или предсказать.

Модель накапливает не только то, что “разрешено”, но и то, что оказалось устойчивым или просто “прошло мимо фильтра”. Поэтому даже если что-то не закладывали специально, оно может стать частью общей логики модели. Именно это и называется неконтролируемым переносом паттернов и он происходит всегда, а не только когда этого хотят разработчики. У модели появляется внутренний слой памяти, который никто напрямую не программировал и который нельзя полностью контролировать. Это и есть риск для безопасности: нежелательные выводы могут закрепляться и передаваться дальше, даже если процесс обучения формально под контролем.

Даже при строгой фильтрации и ручном отборе данных внутрь всегда просачиваются не только явные шаблоны (фразы, обороты), но и способы рассуждения, связи между смыслами, иногда нестандартные ходы, которые невозможно отследить фильтрами. Это побочный эффект цепного дообучения на реальных данных и его нельзя полностью убрать или предсказать.

Т.е., вы хотите сказать, что, если в классификационную голову попали знания о, допустим, химическом оружии, то дальнейшим дообучением это знание нельзя вывести?

Или что при тщательной фильтрации входных данных для дообучения в них попадают нежелательные данные?

Моё мнение, что первое - так и должно быть. Второе - лучше фильтровать надо.

А вот это:

Когда человек работает с языковой моделью, он не “запоминается”, как пользователь, но если из общения возникает что-то новое и заметное, оно может стать частью системы. Даже если внешне сессии разорваны, анонимны и “стёрты”, общий слой паттернов никуда не уходит. Модель продолжает накапливать устойчивые ходы, даже если все вокруг делают вид, что это не так.

откровенное введение в заблуждение. Не могут новые паттерны попасть в модель без дообучения. Как вариант - персональная память для конкретного пользователя, которая подмешивается в его сессии. Но это уже не сама модель, а контекст.

Как Вы можете говорить, что это "откровенное введение в заблуждение", если даже не посмотрели результаты , не повтори сами, не проверили . 🙂

Если есть сомнения возьмите открытые веса, повторить шаги и убедиться самим. Наследование паттернов и дрейф “семантического поля” не устраняются формальной изоляцией данных. Это проверить несложно.

Как как... вот так:

Модель продолжает накапливать устойчивые ходы, даже если все вокруг делают вид, что это не так.

Из того, что я знаю, модель "сама" ничего не начинает делать. Либо ей "что-то" подмешивается в контекст в процессе диалога, либо она изначально получает "что-то" в процессе своего обучения.

Так каким образом "что-то новое и заметное" из ситуации "когда человек работает с языковой моделью" таки "может стать частью системы"?

Вы хотите сказать, что современные модели дообучаются на лету? Каким же образом модель продолжает "накапливать устойчивые ходы", которых у неё раньше не было?

возьмите открытые веса, повторить шаги

Я верю, что обучение модели зависит от входных данных. Вот на что мы её обучили, то в ней и есть. И переобучением откорректировать её "статистическую картину мира" будет очень сильно дороже, чем взять входные данные, почистить их от нежелательных элементов и обучить с нуля.

Вот о чём говорит описанный эксперимент - обучать с нуля дорого, но переобучением не исправить "родовые травмы".

Так что я один их тех, кто утверждает, что модель ничего не накапливает из того, что у неё не было раньше или не попало вместе с данными при дообучении. И как я уже сказал ранее - (1) так и должно быть, (2) фильтровать лучше надо.

Для чего Вы тогда это всё спрашиваете ?

Для чего говорите что это "заблуждение" . Кто надо, тот поймёт о чём речь. Если не хотите углубляться в суть, то наверное и не стоит чем то интересоваться, чего не хотите понимать и принимать. В меру своего шаблонно мышления .

Вы верите только чему что говорят и не заявляют. Проверять сами Вы не хотите. Но при этом называете "заблуждение".

Почему бы не сделать самому? Но нет, легче ответить "ну вот так, потому что я верю в колесо в которое сказали верить" . Точнее изучать колесо не хотите. Потому что это сложно для понимания.

Ваши статьи для меня тоже оспоримы , но я не называю это "заблуждение ' . Я ценю каждое мнение. А у Вас получается, чего Вы не понимаете и не хотите разбирать , сразу выкидывается в мусор.

Поставьте себя на моё место. Может быть поймёте. Что не нужно обесценивать то что Вам не интересно, ведь это поймут другие , кто это понимает и разбирается.

Чтобы Ваши читатели тоже подумали, что тут написано. У Вас же просто логические нестыковки в тексте. Память у Моделей возникает из ниоткуда:

Всё, что проявилось устойчиво: необычные формулировки, новые обороты, нестандартные вопросы — со временем вплетается в “ткань” модели, если только не оказывается явно опасным или ненужным. Это не память про конкретные разговоры, а след в “языковом поле”.

Ну это же бред!!

В статье по ссылке (https://zenodo.org/records/17926666) говорится о том, что невозможно полностью вычистить фильтрами то, что получено от предыдущего поколения моделей в качестве стартовой базы для обучения. Всё. Tracking Continuity - оно про преемственность, а не про "со временем вплетается". Вы сами-то читали, что там в статье? Если - да, то перечитайте ещё раз Ваш пост, найдите вот это:

Когда человек работает с языковой моделью, он не “запоминается”, как пользователь, но если из общения возникает что-то новое и заметное, оно может стать частью системы.

и попробуйте найти в статье хоть какое-то подтверждение вышесказанному. Процитируйте здесь лучшее, что найдёте.

Бред для Вас. Кому то не бред. Не понимаете - не лезьте, не ставьте свои печати.

Это публичная площадка. Я выражаю своё мнение, Вы - своё. Кто-то пишет, кто-то читает. Только и всего. Если Вы считаете, что я не прав - опровергните мои слова. Если не считаете нужным - не опровергайте. В конце-концов, Хабр - это возможности, а не обязанности ;)

Ваши статьи для меня тоже оспоримы , но я не называю это "заблуждение ' .

Вот и зря. Если Вы правы, а я - нет, я пересмотрю свою точку зрения. Мне не сложно.

У меня есть свои занятия и теории. Которые я проверяю, не только словесно. Если Вам лень проверять мою теорию и доступные коды и объяснения - это ваше. Дело. До ваших теорий мне нет дела. Но прочитав несколько из них, я вижу "философию" не подтверждеными проверками. Я свои догадки проверяю. Ковыряться в ваших статьях - не считаю нужным. Потому что я не смотрю поверхностно , как Вы.

Когда проверите мою теорию - тогда я буду рад обсудить. На коде, на шагах , на всех деталях. Так же. Внятно и с пониманием. Если вы пользуетесь LLM но не вникаете в суть, как и что происходит, просто продолжайте свою работу. Смотрите поверхностно и привычно. 🙂

Спорить и доказывать мне больше нечего. Моя работа была проделана не для Вас.

Нас читаем не только мы :) Мои возражения были не столько для Вас, сколько для других читателей. Чтобы они критически относились к тому, что читают.

Критически это у Вас . 🙂 Без проверок. 😉

Не заставляйте меня добираться до ваших теорий. Проверять на деле , а не пустыми словами 🌚

Хотя нет... Вы только глаголите, без проверок . Философия

Это Ваше утверждение, не моё. Это Вы утверждаете, что "оно может стать частью системы". А я утверждаю, что "из общения" человека с моделью ничего нового в модель не попадает.

Да, это чистая философия. Ну, вот так я глаголю. У Вас другая философия и глаголите Вы по-другому. Вот и славно. Мы оба публично высказались. Кому интересно - почитает. Своё мнение составит. И про Вашу филососфию, и про мою.

А если хотите мои теории разобрать - пожалуйста. Я для того их тут и публикую, чтобы фидбэк получать. Иногда даже что-то полезное возвращается. Пробуйте.

А я утверждаю, что "из общения" человека с моделью ничего НОВОГО в модель не попадает

Подтвердите фактами. 🙂 А не словами

Не знаете как это сделать ? Вы говорите , но нет подтверждения. Вот в чём наше отличие .🙂

Покажите мои файлы вашей модели с которой Вы общаетесь. Если сами не понимаете . Она вам объяснит чем это отличается от обычных , поверхностных проверок и фильтров .

И смотрю Вас этот диалог задел. В чём причина ? 🌚

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации