Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 3
какие идеи как заставить тратить 9% на кэш 91 на думание?
Спасибо, очень интересно! Если не секрет, а какая у вас "подписка"?
Возможное объяснение: если вы на подписке, то есть работаете НЕ через API, то каждый ваш ввод сопровождается добавлением SystemPrompt, который тянет на 20-30 тысяч токенов. Отсюда и лишние расходы - 91% НЕ на думание. Через API добавление SP не будет.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
89% моих трат на AI‑агентов — это кэш, а не генерация. Написал CLI, чтобы увидеть