Обновить

Небольшой пост по кэшированию в современных LLM и почему это важно понимать ⭐
Часть 2

Первая часть тут

--------------

Time to live для кэша

У кэша есть время жизни

В Anthropic есть два основных режима: 5 минут и 1 час

5m TTL — это не 5 минут от записи кэша

Это 5 минут с последнего cache hit. Пока вы активно работаете, таймер продлевается. Но если отошли на 6 минут, следующий запрос может снова записывать весь кэш

1h TTL дороже на запись, зато переживает длинные паузы

Множители такие 🔽🔽

• cache write 5m — 1.25× от обычного input
• cache write 1h — 2×
• cache read — 0.1×, то есть примерно 90% скидка

Поэтому кэш окупается почти сразу. По дефолту в Claude Code кэш пишется на час, но можно записывать и на 5 минут в настройках config

Подписка не делает кэш бесплатным

Если вы не API-пользователь, а сидите на Claude Pro / Max, механика всё равно та же

Просто вместо долларов вы тратите квоту 5h / 7d лимитов

И поэтому старая сессия на 300K токенов утром после истёкшего TTL может сжечь ощутимый кусок лимита одним «привет»

Как ощутить кэш

1. Откройте длинную сессию Claude Code, которая больше часа была неактивна
2. Напишите короткое сообщение, например «привет», и засеките Time to First Token — время до первого символа ответа
3. Потом сделайте /rewind и напишите это же сообщение ещё раз

Во второй раз ответ должен появиться примерно в 5 раз быстрее

А если хочется посмотреть цифры — можно пройтись по JSONL-логам Claude Code и посмотреть долю cache_read_input_tokens

Если в длинных агентных сессиях cache reads сильно ниже 80%, вы, скорее всего, что-то делаете не так

Главный вывод

Prompt caching — это причина, почему современные агентные LLM вообще можно использовать в длинных сессиях: с инструментами, историей, файлами, планами, правками и сотнями тысяч токенов контекста

Без кэша каждый новый шаг агента был бы полным перечитыванием прошлого

Вот такие вот дела

-------------

Это часть очень большой статьи про Context Engineering
https://habr.com/ru/articles/1028260/

-------------

Теги:
Всего голосов 5: ↑1 и ↓4-3
Комментарии0

Путь к ИИ‑сингулярности

У нас было два репозитория неоттестированного вайб‑кода, семьдесят пять тяжеловесных SDD‑спецификаций, пять обмазанных смазкой харнессов, солонка, наполовину полная кастомных скиллов и забитых капслоком правил, с десяток дырявых MCP‑серверов, RAG‑база со свежевекторизованным Confluence, самодельная дощечка имаго‑кодинга и целая россыпь автономных агентов всех мастей, от безобидных автодополнялок до галлюцинирующих субагентов, ставящих пакеты со slopsquatting и втихаря сносящих боевые базы.

Не то чтобы все это было действительно нужно для поездки к ИИ‑сингулярности, но если уж начали участвовать в спуске с горы на велосипеде без седла, остановиться уже невозможно.

Единственное, что вызывало у меня настоящий животный страх, это передача ответственности за ревью самой модели. Тот самый момент, когда седьмой агент подтверждает галлюцинации шестого, потому что все тесты зеленые, и я знал, что рано или поздно мы перейдем на эту дрянь.

Нет ничего более беспомощного, безответственного и испорченного, чем IT‑команда, запустившая мультиагентный оркестр в режиме allow all.

Это критический (и слегка ехидный) обзор того, что произошло с разработкой последние пару лет.

Путь к ИИ‑сингулярности

Публикации