Красивая аналогия, но она описывает LLM образца 2023 года. За последние полтора года произошёл сдвиг, который компрессионная рамка не покрывает: reasoning-модели (o1/o3, DeepSeek-R1, QwQ), обученные через RL.
Ваш пример с 1847 × 9283 — показательный. Vanilla GPT действительно «достаёт» ответ из сжатой памяти и ошибается. Но reasoning-модель вычисляет его через chain-of-thought — раскладывая умножение на шаги. Ей не нужно «помнить» результат, как не нужно помнить таблицу умножения тому, кто умеет умножать в столбик.
Это принципиально другой механизм: не «распаковка архива с артефактами», а запуск вычислительной процедуры поверх архива. В вашей аналогии — JPEG-декодер, в который встроили калькулятор.
Для фактических знаний (даты, имена) рамка по-прежнему работает — тут только RAG или больше параметров. Но для вычислимых задач (математика, логика, код) RL+reasoning уже обходят ограничение lossy-кодека. Статья верно описывает «память» LLM, но пропускает вторую половину — вычисление. А именно она определяет прогресс последних полутора лет.
Красивая аналогия, но она описывает LLM образца 2023 года. За последние полтора года произошёл сдвиг, который компрессионная рамка не покрывает: reasoning-модели (o1/o3, DeepSeek-R1, QwQ), обученные через RL.
Ваш пример с
1847 × 9283— показательный. Vanilla GPT действительно «достаёт» ответ из сжатой памяти и ошибается. Но reasoning-модель вычисляет его через chain-of-thought — раскладывая умножение на шаги. Ей не нужно «помнить» результат, как не нужно помнить таблицу умножения тому, кто умеет умножать в столбик.Это принципиально другой механизм: не «распаковка архива с артефактами», а запуск вычислительной процедуры поверх архива. В вашей аналогии — JPEG-декодер, в который встроили калькулятор.
Для фактических знаний (даты, имена) рамка по-прежнему работает — тут только RAG или больше параметров. Но для вычислимых задач (математика, логика, код) RL+reasoning уже обходят ограничение lossy-кодека. Статья верно описывает «память» LLM, но пропускает вторую половину — вычисление. А именно она определяет прогресс последних полутора лет.