Эволюция подхода к сжатию контекста в AI Агентах

[maxnoosphere]

крутая тема, сам мучаюсь с окном контекста в клоде когда проект раздувается. а как решаешь проблему с тем что агент накопил состояние а потом окно схлопывается и инфа теряется? просто сбрасываешь сессию или как-то хитрее?

[Andrey_Solomatin]

Я пока сам разбиваю на подзадачи и делаю каждую в отдельном окне. Я часто выкидываю первую версию и разбиваю на более мелкие подзадачи. Код потом смотреть людям и нужно чтобы комитеты были осмысленными и небольшими.

Очень хорошо видны косяки архитектуры: когда простое изменение затрагивает десяток файлов то что-то пошло не так.

[StasCh]

Сильно зависит от проекта, если это разработка, то у меня как правило любой новые в жизни проекта - отдельный чат для формирования идеи и ее "раскрытия" или обсуждения - где результат пишется в файл, потом отдельным чатом идея превращается в детальную спецификацию для реализации (часто с несколькими отдельными работами), потом отдельным чатом прошу взять спецификацию и начать реализацию каждого пункта из спецификации в отдельном субагенте (у каждого будет свой короткий контекст и в родительский чат они выкинут только результат), а потом проверить общий результат.

Чем меньше и понятнее задача для чата, тем лучше он ее сделает. сейчас Grok только что выпустил модель с приличным контекстным окном и неплохой ценой, только вся фишка, что после 200K токенов цена удваивается, фактически они перешли к экономическим стимулам для пользователей не спрашивать все в одном чате

[Andrey_Solomatin]

Есть ещё заход с другой стороны, чистить сами сообщения, выкидывая из них токены в которые не несут смысла. https://github.com/juliusbrussee/caveman https://www.rtk-ai.app/

[Innesiya]

Спасибо за наглядную линейку от «обрезки хвоста» до выгрузки истории на диск. Смущает только, что защита начала статична: в длинной агентской сессии постановка задачи нередко переопределяется по ходу, и «священные» первые N сообщений устаревают. Не встречали ли подходов, где голова контекста тоже пересобирается, а не просто замораживается?

[StasCh]

Собственно из-за этого суммаризация и делается отдельным вызовом LLM (этой же или попроще). Если это общий разговор, то он может пойти как угодно и у LLM есть шанс понять основной смысл и попробовать решить что тут важно, а что было обсуждением, которое зашло в тупик и его можно выкинуть, если модель правильно поняла суть, то сжатие будет неплохим, если перепутала, то будет хуже. При этом после нескольких суммаризаций шансов, что все детали будут учтены становится все меньше. Защита первой части помогает прежде всего в специализированных агентах, где процесс завязан на первоначальной постановке и это явное решение автора агента, который знает его специфику. В целом переполнение контекстного окна почти всегда зло, суммаризация лишь попытка продлить пользователю возможность продолжить диалог попробовав сделать это не сильно больно.

[alpaca]

Лайк