Что такое контекст-инжиниринг и в чем его отличие от промпт-инжиниринга? 👨💻✍️
Контекст-инжиниринг (context engineering) — это подход, который предполагает, что для наполнения контекстного окна LLM используют все доступные способы. В отличие от промпт-инжениринга, работа с контекстом предполагает не только дизайн промпта, а настройку всего, что LLM использует для решения задач. Например, можно дать модели доступ к данным о компании с помощью RAG или показать примеры хороших ответов.
При таком подходе модель получает нужную информацию, в нужном формате и нужном объеме. И, соответственно, лучше отвечает: меньше галлюцинирует, четче следует инструкциям, пишет в нужном стиле или точнее строит прогнозы.
Работа с контекстом особенно важна для AI-агентов. Они обрабатывают множество данных, на их основе принимают решения, адаптируют свою работу. Если дать агенту неполный контекст, он может столкнуться с трудностями:
confusion — путаницей в информации;
distraction — отвлечением на лишние детали, игнорированием важного;
poisoning — подмешиванием вредоносных инструкций в контекст;
clash — противоречиями, из-за которых модели сложно дать правдивый или полезный ответ.
🖐️ Способы контекст-инжиниринга, чтобы решить эти проблемы:
RAG. Добавьте в базу знаний LLM сведения из вашей базы знаний. Включите туда релевантную и полезную информация, исключите мусор и все, что устарело. Для этого используют ранкеры и стратегии построения RAG. А внедрить RAG в уже готовую LLM можно с сервисом Evolution Managed RAG.
Memory. Управляйте памятью LLM, чтобы она запоминала контекст диалога и промежуточные результаты задач. Так модель не «запутается», с меньшей вероятностью будет галлюцинировать и давать нерелевантные ответы.
Task Decomposition. Разбивайте сложные задачи на шаги. Так модель ответит более точно, если ей попадется многоступенчатый запрос, и с меньшей вероятностью что-то упустит.
Tool. Опишите агенту инструменты, функции и API, которые он может использовать в работе. Объясните ему, для чего нужен каждый.
Few-shot Examples. Покажите агенту 2–5 эталонных примеров, на которые он будет ориентироваться. В примеры включите входные данные, решение и результат. Так AI-агент без дорогого дообучения поймет, как решить задачу.
Контекст-инжиниринг помогает настроить все то, что нужно модели для ответа и решения задач. Создайте своего агента или мультиагентную систему в сервисе Evolution AI Agents и попробуйте этот подход на практике 🤖