Механизм поиска разный на каждом уровне. Для истории диалога и рабочих данных сессии — поиска нет вообще.(Локальная видеокарта не позволяет держать большой контекст). Берётся окно последних сообщений (при переполнении включается трёхслойное сжатие). Для долгосрочной памяти пользователя и памяти сбоев — поиск в обычной таблице БД. Опыт удачных цепочек инструментов — TF-IDF + косинусная близость.
В системе есть векторная база, но она используется для агента базы знаний (Confluence)
Механизм поиска разный на каждом уровне. Для истории диалога и рабочих данных сессии — поиска нет вообще.(Локальная видеокарта не позволяет держать большой контекст). Берётся окно последних сообщений (при переполнении включается трёхслойное сжатие). Для долгосрочной памяти пользователя и памяти сбоев — поиск в обычной таблице БД. Опыт удачных цепочек инструментов — TF-IDF + косинусная близость.
В системе есть векторная база, но она используется для агента базы знаний (Confluence)
Спасибо за отзыв. Учту.
Память есть, причём на нескольких уровнях.
История диалога. Обычная переписка в сессии, она уходит в контекст модели и переживает перезагрузку страницы.
Долгосрочная память пользователя. Отдельное хранилище с описанием предпочтений, постоянные факты, договорённости, любимые проекты.
Память сбоев. Инструмент упал — ошибка записывается, и при следующей похожей неудаче модель получает подсказку из прошлого опыта
Рабочие данные сессии. Загруженные таблицы, созданные файлы, подключённые профессиональные навыки
Когда контекст заканчивается история сжимается тремя слоями. (начало-конец, резюме середины блока, сжатие результатов инструментов)
Нет. При подготовки статьи использовал большую облачную модель. Писатель я так себе, а поделиться результатами хотелось.