Обзор огонь, как раз вовремя! Экономика кодовых агентов в режиме 24/7 — это сейчас реально самая больная тема. Когда агент начинает по кругу перечитывать контекст репозитория, прогонять тесты и вайбкодить сам себя, стандартные лимиты подписок улетают за пару дней. Провайдеры через специализированные эндпоинты (тот же Claude Code через ACP) пытаются это балансировать своими внутренними алгоритмами кэширования, но контекст всё равно пухнет экспоненциально.
Я сейчас ради спортивного интереса ковыряю с математической стороны одно решение как раз для таких долгоживущих харнесов — динамический семантический компрессор промптов (Prompt Compression) на базе легковесной локальной модели.
Суть в том, чтобы перед тем, как агент выплеснет всю историю чата, системных промптов и кусков кода в API, прогонять этот массив через промежуточный слой, который безжалостно вырезает низкоэнтропийные токены и стоп-слова, оставляя только жесткую семантическую суть для attention-механизма старшей модели. По тестам на текстах выходит экономия до 30-40% объема без потери качества логики.
Как думаете, если внедрить такую прослойку прямо в кастомный харнес между агентом и условным OpenRouter/API, чтобы зажимать исходящий контекст «на лету», это сильно поломает кодогенерацию в сложных многошаговых задачах, или для экономии квот имеет право на жизнь?
Обзор огонь, как раз вовремя! Экономика кодовых агентов в режиме 24/7 — это сейчас реально самая больная тема. Когда агент начинает по кругу перечитывать контекст репозитория, прогонять тесты и вайбкодить сам себя, стандартные лимиты подписок улетают за пару дней. Провайдеры через специализированные эндпоинты (тот же Claude Code через ACP) пытаются это балансировать своими внутренними алгоритмами кэширования, но контекст всё равно пухнет экспоненциально.
Я сейчас ради спортивного интереса ковыряю с математической стороны одно решение как раз для таких долгоживущих харнесов — динамический семантический компрессор промптов (Prompt Compression) на базе легковесной локальной модели.
Суть в том, чтобы перед тем, как агент выплеснет всю историю чата, системных промптов и кусков кода в API, прогонять этот массив через промежуточный слой, который безжалостно вырезает низкоэнтропийные токены и стоп-слова, оставляя только жесткую семантическую суть для attention-механизма старшей модели. По тестам на текстах выходит экономия до 30-40% объема без потери качества логики.
Как думаете, если внедрить такую прослойку прямо в кастомный харнес между агентом и условным OpenRouter/API, чтобы зажимать исходящий контекст «на лету», это сильно поломает кодогенерацию в сложных многошаговых задачах, или для экономии квот имеет право на жизнь?