Comments 7
Если по-простому, то получается что все равно нужно загрузить все эти тысячи заметок в LLM? И как-то обновлять их там (ведь появляются новые заметки, а старые изменяются)? На бесплатных моделях это не сделать?
А вообще очень заманчивая идея - личный ИИ, который был бы обучен на моих данных и именно так как мне надо. Интересно, когда уже видеокарты подешевеют настолько, чтобы возможность дома обучать и запускать свой ИИ топового уровня стала массовым явлением?
Нет, не в саму LLM. Заметки индексируются в векторной базе данных. LLM получает только несколько самых релевантных фрагментов в момент запроса, не весь массив данных.
Обновления (добавление новых, изменение старых заметок) реализуются путем переиндексации соответствующих фрагментов и обновления векторной базы данных. Это достаточно быстрый процесс, который можно реализовать как локально, так и используя провайдеров.
Есть бесплатные/открытые модели эмбеддингов (как упомянутая all-MiniLM-L6-v2), открытые LLM (например, из экосистемы Hugging Face или на OpenRouter) и бесплатные векторные базы данных (например, Chroma или https://qdrant.tech/).
Это наверное сотый бесполезный текст про RAG где так и не написано как лечить его болячки. Предлагаю внедрить на хабр ИИ который будет оценивать подобные тексты
Знаете в чем проблема таких расчётов, по повод уэкономи рабочего времени как профицит для организации? В том, что 90% из тех, на ком эта экономия получится, полученное время экономии скорее всего потрятят не на пользу компании а на свои дела.
Хотел спросить - как "верифицировали" документацию перед тем как отдать её ИИ? Предположим кто-то писал, да бросил. В общей массе за всем не уследишь, а документация уже настолько устарела, что принесёт ощутимый вред от использования. Или же автор решил, что новая статься будет гораздо лучше, а старую не потрудился удалить. И теперь есть два источника по одному вопросу с противоречивой информацией.
Тут работает принцип "Garbage In, Garbage Out". Лучше устранять противоречия в источниках до индексации. Можно использовать Re-ranker для приоритизации наиболее авторитетных или полных источников. Также, через промпт-инжиниринг можно инструктировать LLM сообщать о найденных противоречиях в предоставленном контексте, а не пытаться их разрешить.
Невероятно интересная статья! Мне как бизнес-аналитику, уклон которого больше в сторону менеджмента, было крайне познавательно ее прочитать, а из-за хорошо подобранных аллюзий ещё и увлекательно! Абсолютно разделяю все мысли изложенные автором. Спасибо за такой ценный труд!
Умный поиск по заметкам: как оживить «второй мозг» с помощью RAG