Обновить

Anthropic опубликовал статью о своем опыте по разработке агентов для e-commerce и подобного. Всем вайбкодерам должно быть интересно. Выделю тезисы:

– Скиллы, а не субагенты. Обычно для любого действия агенту нужно много данных о состоянии: корзина, предпочтения, история. Передача их каждому субагенту стоит токенов и секунд. Непередача – качества работы. Обычный оптимум – остаться в основном потоке. Субагент оправдан на узкой самодостаточной задаче вроде глубокого исследования.

– Но и скилл не всегда. Загрузка скилла тоже не бесплатна. Грубый критерий – задача нужна трети трафика. Если он выполнен, то промпт, если нет, то скилл. Безопасность, юридические правила и критичные факты о человеке — всегда в промпте.

– Не изобретать велосипед. Строить новое поверх старых систем — поиска, корзины, склада, — а не переписывать их логику. Граница там, где их логика кончается и начинается суждение модели: поиск отдаёт уже отранжированное, модель решает, что показать.

– О скорости. Важнее решить задачу лучше, чем выиграть долю секунды, но и потратить меньше времени тоже очень важно.  Парадоксально, умные модели регулярно оказываются быстрее глупых – они получают результат за меньшее число итераций. Ключевой технический хак – положить вероятный контекст в сессию заранее. Если человек смотрел товар, то выгоднее отдать его модели сразу, а не ждать, что она сама его вытащит.

– Очень много думать о попадании в кеш. Это сквозное во всей статье.

– Безопасность — в коде, не в промпте. Модель может ошибиться, её могут обмануть, гарантии её правоты нет и не будет, гарантия должна быть выше. 

Всё пересказать невозможно, оригинал – https://claude.com/blog/the-anatomy-of-effective-commerce-agents, внутри ссылка на их открытый репозиторий с реализацией.

Теги:
-3
Комментарии0

Мощный ИИ агент в 16гб VRAM

Недавно я обновил свою видеокарту до RTX-5060-TI 16GB. Получив новую карту я решил исследовать, что можно на ней запустить из нейросетей. Традиционно пишут, что нормальные ИИ модели начинаются с rtx3090 и выше, что ниже 24GB VRAM жизни нет. В этой статье я постараюсь развеять этот миф.

Мощный ИИ агент в 16гб VRAM

Публикации