Почему ИИ-агент сжигает токены: как я снизил стоимость сессии с 48 до 8 рублей

[MAXH0]

Самое, я думаю, главное — Ии не заинтересован оптимизировать свою работу при оплате за токен. Это ваша боль...

[jon4p]

Да, экономика у провайдера тут действительно забавная: чем толще мы собрали запрос, тем больше заплатили 🙂

Но я бы не перекладывал всё на модель. API обрабатывает ровно то, что в него отправил агентский рантайм. Если клиент каждый раз прикладывает старые логи, файлы и двадцать ненужных схем инструментов, провайдер честно всё это посчитает.

Поэтому контролировать мусор должен тот, кто собирает контекст. Собственно, из этой боли Trim и вырос.

[Dhwtj]

Длинный контекст плох не только ценой: качество ответа деградирует

И оптимальный размер кеша далеко от предлагаемого миллиона. Я сбрасываю гораздо раньше когда задача кончается

[jon4p]

Да. И качество обычно начинает деградировать раньше, чем приходит страшный счёт: нужный факт просто тонет в старых логах, повторных чтениях и закрытых тупиках.

И уточню: миллион в статье — не предлагаемый размер кеша, а как раз антипример. До чего способна раздуться сессия, если позволить ей жить без границ.

Живой тест показал ещё неприятнее: универсальный архив тоже не решение. На короткой сессии служебный слой съел больше, чем сэкономил. Поэтому сейчас логика ближе к вашей: закончился смысловой этап — старое сворачиваем; понадобилась конкретная деталь — агент дочитывает локальный оригинал.

А по какому сигналу вы сбрасываете: завершение задачи, смена ветки или порог по токенам?

[Dhwtj]

И то и другое, что наступит раньше.

Для длинных задач модель пишет handover, я иногда читаю, потом сжимаю контекст когда завершен пункт или хотя бы подпункт плана.

Держу объём контекста между 150 и 500 тыщ в зависимости от длины рассуждений и длины жизни контекста.

А длина сессии бесконечная, на всю жизнь проекта. Ухудшения не заметил.

Да это вроде общепринятая практика. Антропик так и рекомендует