Отличная статья, очень точно подмечены основные моменты! Вы правы, разработка агентов на LLM сейчас — это такая зона, где правила игры пишутся прямо на ходу. Очень хорошо, что Вы акцентировали внимание на RAG, потому что без него сейчас почти никуда, если нужно, чтобы модель оперировала конкретными, актуальными данными, а не только своей общей эрудицией. И да, подготовка этих данных для RAG — та еще задачка, часто намного сложнее, чем кажется на первый взгляд.
Интересно было почитать и про выбор моделей. Действительно, дилемма между опенсорсом вроде LLaMA, который дает гибкость и контроль, но требует серьезных вложений в инфраструктуру (привет, CUDA и GPU!), и коммерческими API — это одно из первых стратегических решений, которое определяет очень многое в проекте. И Вы верно заметили про модульность: легко увлечься созданием кучи специализированных моделей-микросервисов, но потом поддерживать все это становится на порядок сложнее. Минимализм тут часто выигрывает.
Про файнтюнинг, оптимизацию и особенно про кастомные évaluation — это прямо в точку. Общие бенчмарки полезны, но только свои тесты на реальных задачах показывают, действительно ли агент решает ту проблему, для которой создавался. А постоянная гонка за производительностью через квантизацию и всякие хитрости вроде continuous batching — это уже суровая реальность для тех, кто выводит агентов в прод с высокой нагрузкой.
И конечно, MLOps. Без команды, которая будет всем этим зоопарком управлять, постоянно обновлять модели (сегодня GPT-4o, завтра еще что-то выйдет), масштабировать ресурсы — далеко не уедешь. Это действительно полноценный, непрерывный процесс.
В общем, Ваш текст отлично передает ощущение этой "неисследованной территории". И когда видишь, с какой скоростью все это развивается — новые модели, новые техники — невольно вспоминаешь про сингулярность. Кажется, что вот такие инженерные шаги, которые Вы описываете, как раз и прокладывают дорогу к тому будущему, где темпы прогресса станут совсем другими. Очень полезный материал, спасибо, что поделились опытом!
Отличная статья, очень точно подмечены основные моменты! Вы правы, разработка агентов на LLM сейчас — это такая зона, где правила игры пишутся прямо на ходу. Очень хорошо, что Вы акцентировали внимание на RAG, потому что без него сейчас почти никуда, если нужно, чтобы модель оперировала конкретными, актуальными данными, а не только своей общей эрудицией. И да, подготовка этих данных для RAG — та еще задачка, часто намного сложнее, чем кажется на первый взгляд.
Интересно было почитать и про выбор моделей. Действительно, дилемма между опенсорсом вроде LLaMA, который дает гибкость и контроль, но требует серьезных вложений в инфраструктуру (привет, CUDA и GPU!), и коммерческими API — это одно из первых стратегических решений, которое определяет очень многое в проекте. И Вы верно заметили про модульность: легко увлечься созданием кучи специализированных моделей-микросервисов, но потом поддерживать все это становится на порядок сложнее. Минимализм тут часто выигрывает.
Про файнтюнинг, оптимизацию и особенно про кастомные évaluation — это прямо в точку. Общие бенчмарки полезны, но только свои тесты на реальных задачах показывают, действительно ли агент решает ту проблему, для которой создавался. А постоянная гонка за производительностью через квантизацию и всякие хитрости вроде continuous batching — это уже суровая реальность для тех, кто выводит агентов в прод с высокой нагрузкой.
И конечно, MLOps. Без команды, которая будет всем этим зоопарком управлять, постоянно обновлять модели (сегодня GPT-4o, завтра еще что-то выйдет), масштабировать ресурсы — далеко не уедешь. Это действительно полноценный, непрерывный процесс.
В общем, Ваш текст отлично передает ощущение этой "неисследованной территории". И когда видишь, с какой скоростью все это развивается — новые модели, новые техники — невольно вспоминаешь про сингулярность. Кажется, что вот такие инженерные шаги, которые Вы описываете, как раз и прокладывают дорогу к тому будущему, где темпы прогресса станут совсем другими. Очень полезный материал, спасибо, что поделились опытом!