LLM Sandbox: пример реализации агента с песочницей [часть 2, практика]

[andreygaag]

Хорошая база

>лимиты на размер tool output

Недавно пришлось для списковых тулзов вводить отдельный контракт с агентской обвязкой: пагинация, курсоры, ограниченный inline-вывод и хранение полного результата с доступом по handle, чтобы не раздувать контекст.

А дальше по мере усложнения агента начинаются сжатие, суммаризация, вытеснение старых результатов, детерминированный replay и еще много интересного.

Есть простор для инженерной мысли.

[chasing_nlp]

Спасибо, что поделились!

В более серьезных проектах что-то подобное реализуем с командой. Много вызовов, интересно.

Последнее время основной проблемой как раз стал compaction: когда, как, что именно сохранять при сжатии и из проекта в проект эти составляющие отличаются.. Часто сложно найти баланс между попыткой сохранить как можно больше полезной информации, в частности из инструментов, и не засорять контекст бесполезными выводами.

[cxbyte]

Спасибо за статью. Нашёл для себя несколько хороших идей на будущее. Пилю как раз похожее решение. Только песочница для агентов у меня на базе k3d + vcluster.

[chasing_nlp]

Интересное решение, а расскажете почему остановились именно на k3d + vcluster?

[cxbyte]

Хотелось иметь конфигурацию приближенную к боевым кластерам. Плюс агент создавая виртуальный кластер получает kube config и имеет полные полномочия по оркестрации приложений в кластере использую kubectl. Возможно это оверхед, посмотрим к чему это решение в итоге приведёт.