Небольшой пост по кэшированию в современных LLM и почему это важно понимать ⭐
Часть 2
--------------
Time to live для кэша
У кэша есть время жизни
В Anthropic есть два основных режима: 5 минут и 1 час
5m TTL — это не 5 минут от записи кэша
Это 5 минут с последнего cache hit. Пока вы активно работаете, таймер продлевается. Но если отошли на 6 минут, следующий запрос может снова записывать весь кэш
1h TTL дороже на запись, зато переживает длинные паузы
Множители такие 🔽🔽
• cache write 5m — 1.25× от обычного input
• cache write 1h — 2×
• cache read — 0.1×, то есть примерно 90% скидка
Поэтому кэш окупается почти сразу. По дефолту в Claude Code кэш пишется на час, но можно записывать и на 5 минут в настройках config
Подписка не делает кэш бесплатным
Если вы не API-пользователь, а сидите на Claude Pro / Max, механика всё равно та же
Просто вместо долларов вы тратите квоту 5h / 7d лимитов
И поэтому старая сессия на 300K токенов утром после истёкшего TTL может сжечь ощутимый кусок лимита одним «привет»
Как ощутить кэш
1. Откройте длинную сессию Claude Code, которая больше часа была неактивна
2. Напишите короткое сообщение, например «привет», и засеките Time to First Token — время до первого символа ответа
3. Потом сделайте /rewind и напишите это же сообщение ещё раз
Во второй раз ответ должен появиться примерно в 5 раз быстрее
А если хочется посмотреть цифры — можно пройтись по JSONL-логам Claude Code и посмотреть долю cache_read_input_tokens
Если в длинных агентных сессиях cache reads сильно ниже 80%, вы, скорее всего, что-то делаете не так
Главный вывод
Prompt caching — это причина, почему современные агентные LLM вообще можно использовать в длинных сессиях: с инструментами, историей, файлами, планами, правками и сотнями тысяч токенов контекста
Без кэша каждый новый шаг агента был бы полным перечитыванием прошлого
Вот такие вот дела
-------------
Это часть очень большой статьи про Context Engineering
https://habr.com/ru/articles/1028260/
-------------
