LLM Sandbox: пример реализации агента с песочницей [часть 2, практика]

[andreygaag]

Хорошая база

>лимиты на размер tool output

Недавно пришлось для списковых тулзов вводить отдельный контракт с агентской обвязкой: пагинация, курсоры, ограниченный inline-вывод и хранение полного результата с доступом по handle, чтобы не раздувать контекст.

А дальше по мере усложнения агента начинаются сжатие, суммаризация, вытеснение старых результатов, детерминированный replay и еще много интересного.

Есть простор для инженерной мысли.

[chasing_nlp]

Спасибо, что поделились!

В более серьезных проектах что-то подобное реализуем с командой. Много вызовов, интересно.

Последнее время основной проблемой как раз стал compaction: когда, как, что именно сохранять при сжатии и из проекта в проект эти составляющие отличаются.. Часто сложно найти баланс между попыткой сохранить как можно больше полезной информации, в частности из инструментов, и не засорять контекст бесполезными выводами.

[cxbyte]

Спасибо за статью. Нашёл для себя несколько хороших идей на будущее. Пилю как раз похожее решение. Только песочница для агентов у меня на базе k3d + vcluster.