Привет! Я только на старте изучения создания агентов с использованием искусственного интеллекта и наткнулся на вашу статью в поисках информации о том, как модели работают с данными о пользователе и историей диалога. В общих чертах все тезисы мне понятны, но, кажется, я пропустил какую-то базовую информацию про контекстное окно. Правильно ли я понял, что все данные, которые мы знаем о пользователе (анкета пользователя, отобранная история диалога и что-то другое) мы при каждом api запросе к LLM добавляем в текст этого запроса (системный промт) и платим за него по всем токенам? Т.е. у модели, к которой мы обращаемся по api - «каждый раз, как первый раз», если мы не напомнили ей об этом? Или всё-таки есть какое-то контекстное окно у модели в рамках какой- то сессии, что бы не напоминать ей как меня зовут?
Привет! Я только на старте изучения создания агентов с использованием искусственного интеллекта и наткнулся на вашу статью в поисках информации о том, как модели работают с данными о пользователе и историей диалога. В общих чертах все тезисы мне понятны, но, кажется, я пропустил какую-то базовую информацию про контекстное окно. Правильно ли я понял, что все данные, которые мы знаем о пользователе (анкета пользователя, отобранная история диалога и что-то другое) мы при каждом api запросе к LLM добавляем в текст этого запроса (системный промт) и платим за него по всем токенам? Т.е. у модели, к которой мы обращаемся по api - «каждый раз, как первый раз», если мы не напомнили ей об этом? Или всё-таки есть какое-то контекстное окно у модели в рамках какой- то сессии, что бы не напоминать ей как меня зовут?