Comments 3
А код? Пример, сравнение rag? Работа с запросами, чтобы брала и разбивала запрос на части. Чтобы засунуть запрос в сторону llm?
Отличная статья, очень точно подмечены основные моменты! Вы правы, разработка агентов на LLM сейчас — это такая зона, где правила игры пишутся прямо на ходу. Очень хорошо, что Вы акцентировали внимание на RAG, потому что без него сейчас почти никуда, если нужно, чтобы модель оперировала конкретными, актуальными данными, а не только своей общей эрудицией. И да, подготовка этих данных для RAG — та еще задачка, часто намного сложнее, чем кажется на первый взгляд.
Интересно было почитать и про выбор моделей. Действительно, дилемма между опенсорсом вроде LLaMA, который дает гибкость и контроль, но требует серьезных вложений в инфраструктуру (привет, CUDA и GPU!), и коммерческими API — это одно из первых стратегических решений, которое определяет очень многое в проекте. И Вы верно заметили про модульность: легко увлечься созданием кучи специализированных моделей-микросервисов, но потом поддерживать все это становится на порядок сложнее. Минимализм тут часто выигрывает.
Про файнтюнинг, оптимизацию и особенно про кастомные évaluation — это прямо в точку. Общие бенчмарки полезны, но только свои тесты на реальных задачах показывают, действительно ли агент решает ту проблему, для которой создавался. А постоянная гонка за производительностью через квантизацию и всякие хитрости вроде continuous batching — это уже суровая реальность для тех, кто выводит агентов в прод с высокой нагрузкой.
И конечно, MLOps. Без команды, которая будет всем этим зоопарком управлять, постоянно обновлять модели (сегодня GPT-4o, завтра еще что-то выйдет), масштабировать ресурсы — далеко не уедешь. Это действительно полноценный, непрерывный процесс.
В общем, Ваш текст отлично передает ощущение этой "неисследованной территории". И когда видишь, с какой скоростью все это развивается — новые модели, новые техники — невольно вспоминаешь про сингулярность. Кажется, что вот такие инженерные шаги, которые Вы описываете, как раз и прокладывают дорогу к тому будущему, где темпы прогресса станут совсем другими. Очень полезный материал, спасибо, что поделились опытом!
Саммари:
Разработка AI-агентов на базе LLM — сложный и динамичный процесс из-за быстро меняющихся технологий и отсутствия стандартов.
Этапы:
Подготовка: Четкие цели + интеграция LLM через RAG, сбор данных.
Архитектура: Выбор модели (открытая/коммерческая) с учетом инфраструктуры (GPU, облако), минимизация модулей.
Оптимизация: Файнтюнинг, промпт-инжиниринг, кастомные тесты, квантизация для ускорения.
Интеграция: Внедрение в инфраструктуру + автоматизированное тестирование.
Поддержка: Частые обновления моделей, масштабирование ресурсов, MLOps-команда.
Итог: Успех зависит от гибкости, профессионализма команды и адаптации к изменениям в ML-индустрии.
Реализация AI агента на базе LLM с нуля – что включает цикл разработки