Из всех способов сэкономить на работе с LLM prompt caching самый коварный. Сложным его не назовёшь, дело в другом: он тихий. Почти любая оптимизация, если ты её сломал, даёт о себе знать: падает тест, краснеет лог, валится метрика. Кэш так не делает. Он не падает с ошибкой, он просто молча перестаёт срабатывать. И единственное, что меняется, это счёт в конце месяца и пара лишних секунд на каждый ответ.

Я долго про кэш не вспоминал: у OpenAI он включается сам, без флагов, и за запись денег не берёт. Ловушка ровно в этом удобстве. Разбираю, что на самом деле кэшируется (не текст и не ответ модели), почему хватает одного символа в начале промпта, чтобы всё обнулить, чем отличается подход OpenAI, Anthropic и Gemini и как убедиться, что кэш реально работает.

Prompt caching: оптимизация, которая наказывает молчанием