Комментарии 4
Кто-то уже тестировал? Насколько большая память?
А нельзя достичь этого, использовав RAG + скрытый промпт:
"История общения с пользователем находится в файле user_<id>_<chatid>.txt прочитай его и отвечай на вопросы пользователя с учётом содержимого этого файла".
Это будет неэффективно?
И никаких описаний как это работает... (И в чем таки отличие от LangChain?) На мой взгляд проблема в том, что это "не настоящая память". Насколько я понимаю, в этих проектах используются векторные базы данных для хранения векторов диалогов. По ним делается поиск, и наиболее близкий к контексту вопроса диалог подставляется как промпт в модель. Т е имеет место двойное преобразование информации (первичный диалог -> вектор -> продолжение диалога) происходящие вне модели. И по факту с потерей информации. Вот если бы была придумана архитектура, когда запоминались бы вектора из самой модели... Но такое невозможно, т к для этого нужно свою модель дизайнить и потом разворачивать у себя. А цель не в этом. Цель - срубить немного хайпа на волне openAI и шального бабла инвесторов. Кстати посмотрим, что получится у самой openAI c O1. У них этих ограничений нет, но что-то мне подсказывает цель опять помешает 😁.
Один из самых ожидаемых ИИ-стартапов, Letta, только что вышел из режима «стелс»