Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах

[kif1r4ek]

Статья очень крутая, только вопрос, есть ли практический способ закешировать статическую часть до этой динамической вставки, сохранив её в начале?

[Isk4R1oT]

Спасибо! Короткий ответ: нет. Кеш матчится строго слева направо от нулевого токена — «пропустить» динамическую вставку и продолжить совпадение он не умеет. Всё до точки расхождения и есть весь кешируемый префикс. cache_control у Anthropic не помогает: он помечает, где префикс заканчивается, а не начинается. Что работает, если переставить нельзя:
- Огрубить. Нужен день, а не секунда — 2026-08-28 вместо 2026-08-28 14:03:11. Префикс живёт сутки вместо одного вызова.
- Убрать из текста. session_id и подобное нужны телеметрии, а не модели — им место в метаданных запроса.
- Отдельным сообщением. Если значение нужно модели — не в system, а в первое user-сообщение.
И стоит проверить саму посылку: «должно быть в начале» почти всегда оказывается привычкой. Модель видит весь контекст, и «сейчас 14:03» работает из хвоста не хуже.