Comments 6
вижу море комментариев
надеюсь мое не потеряется
Спасибо за перевод! Если не сложно - можно в оглавление добавить ссылки на предыдущие переводы - чтобы не рыть хабр
Привет! Я только на старте изучения создания агентов с использованием искусственного интеллекта и наткнулся на вашу статью в поисках информации о том, как модели работают с данными о пользователе и историей диалога. В общих чертах все тезисы мне понятны, но, кажется, я пропустил какую-то базовую информацию про контекстное окно. Правильно ли я понял, что все данные, которые мы знаем о пользователе (анкета пользователя, отобранная история диалога и что-то другое) мы при каждом api запросе к LLM добавляем в текст этого запроса (системный промт) и платим за него по всем токенам? Т.е. у модели, к которой мы обращаемся по api - «каждый раз, как первый раз», если мы не напомнили ей об этом? Или всё-таки есть какое-то контекстное окно у модели в рамках какой- то сессии, что бы не напоминать ей как меня зовут?
контекстное окно это не память модели на сервере,это как пакет данных, там есть максимальный объём информации (измеряемый в токенах), который модель может обработать в одном-единственном запросе, и туда нужно уместить, промпт, данные юзера, главные выжимки из истории диалога, и новый запрос от юзера, и за все это нужно платить, и гугл предлагает разные варианты оптимизации как через урезание контектса, ну например вставляем инфу только из последних 3 сообщений, так и через суммаризацию и самый продвинутый варинат через векторные базы данных RAG, это когда вся история диалога сохраняется в базе данных и перед каждым запросом к ии ваш агент сначала ищет в этой базе нужные фрагменты данных, относящиеся к текущему вопросу пользователя, и добавляет в промпт только их
Пропустил регистрацию на кагле. Но теперь понимаю, что онлайн я бы всё равно не успел день в день)
Интенсивный курс «AI-агенты» от Google День 3