Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель

[koreec]

А текст какая модель писала? Локальная?

[vad_bel]

Нет. При подготовки статьи использовал большую облачную модель. Писатель я так себе, а поделиться результатами хотелось.

[Ka463]

У вашего агента память есть ? или он построен на принципе получить ответ здесь и сейчас, по запросу пользователя но точно и без ошибок, основываясь на контексте запроса, наборе инструментов и скилов и не ведет историю ?

[vad_bel]

Память есть, причём на нескольких уровнях.

1. История диалога. Обычная переписка в сессии, она уходит в контекст модели и переживает перезагрузку страницы.

2. Долгосрочная память пользователя. Отдельное хранилище с описанием предпочтений, постоянные факты, договорённости, любимые проекты.

3. Память сбоев. Инструмент упал — ошибка записывается, и при следующей похожей неудаче модель получает подсказку из прошлого опыта

4. Рабочие данные сессии. Загруженные таблицы, созданные файлы, подключённые профессиональные навыки

Когда контекст заканчивается история сжимается тремя слоями. (начало-конец, резюме середины блока, сжатие результатов инструментов)

[Ka463]

хорошее построение пирамидой, а поиск как осуществляете ? эмбендингами, векторная бд, или модель копается в .md файлы по совпадению фразы re-retriver ?

[vad_bel]

Механизм поиска разный на каждом уровне. Для истории диалога и рабочих данных сессии — поиска нет вообще.(Локальная видеокарта не позволяет держать большой контекст). Берётся окно последних сообщений (при переполнении включается трёхслойное сжатие). Для долгосрочной памяти пользователя и памяти сбоев — поиск в обычной таблице БД. Опыт удачных цепочек инструментов — TF-IDF + косинусная близость.

В системе есть векторная база, но она используется для агента базы знаний (Confluence)

[becefi]

Тема интересная, но текст вы зря нейронкой нагенерили, читать тяжело.

[vad_bel]

Спасибо за отзыв. Учту.