Agent Gateway в Google Cloud: внешний контур управления AI-агентами, которого не хватало enterprise

[easmith]

В своем проекте AgiMate.io я строю нечто похожее, но опенсорсное в перспективе.

Если кратко, всё свёл к trigger и tool. Триггеры - это все что может прийти в модель: событие от коннектора (например, заканчивается товар на складе) или сообщение от пользователя. А тулы - это все что может делать агент: от bash до main_send

Если к агенту подключен телеграмм бот, то можно сделать канал - связать триггер с тулой для ответа.

Суть, конечно, в другом: все что агенту доступно предоставляет gateway и все проходит через него и на нем есть все правила кому какой триггер доставляется и кто какие инструменты может использовать. В итоге агент вообще не обладает креденшелами, ни токенами, ни паролями. Даже все вызовы llm могут идти через gateway, который запроксирует и выставит нужные api-kay провайдера.

Самое интересное, что при таком подходе агент представляет собой лишь цикл: пришел триггер -> [вызвал llm -> вызвал тулы -> вызвал llm] -> отдал ответ. И этот цикл можно разбит на шаги и сделать durable с помощью Temporal, а значит и агента как отдельного процесса может не быть. Уже принято называть это Managed Agents.

В общем интересное направление развития AI систем...