Comments 8
А текст какая модель писала? Локальная?
У вашего агента память есть ? или он построен на принципе получить ответ здесь и сейчас, по запросу пользователя но точно и без ошибок, основываясь на контексте запроса, наборе инструментов и скилов и не ведет историю ?
Память есть, причём на нескольких уровнях.
История диалога. Обычная переписка в сессии, она уходит в контекст модели и переживает перезагрузку страницы.
Долгосрочная память пользователя. Отдельное хранилище с описанием предпочтений, постоянные факты, договорённости, любимые проекты.
Память сбоев. Инструмент упал — ошибка записывается, и при следующей похожей неудаче модель получает подсказку из прошлого опыта
Рабочие данные сессии. Загруженные таблицы, созданные файлы, подключённые профессиональные навыки
Когда контекст заканчивается история сжимается тремя слоями. (начало-конец, резюме середины блока, сжатие результатов инструментов)
хорошее построение пирамидой, а поиск как осуществляете ? эмбендингами, векторная бд, или модель копается в .md файлы по совпадению фразы re-retriver ?
Механизм поиска разный на каждом уровне. Для истории диалога и рабочих данных сессии — поиска нет вообще.(Локальная видеокарта не позволяет держать большой контекст). Берётся окно последних сообщений (при переполнении включается трёхслойное сжатие). Для долгосрочной памяти пользователя и памяти сбоев — поиск в обычной таблице БД. Опыт удачных цепочек инструментов — TF-IDF + косинусная близость.
В системе есть векторная база, но она используется для агента базы знаний (Confluence)
Тема интересная, но текст вы зря нейронкой нагенерили, читать тяжело.
Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель