Тут работает принцип "Garbage In, Garbage Out". Лучше устранять противоречия в источниках до индексации. Можно использовать Re-ranker для приоритизации наиболее авторитетных или полных источников. Также, через промпт-инжиниринг можно инструктировать LLM сообщать о найденных противоречиях в предоставленном контексте, а не пытаться их разрешить.
Нет, не в саму LLM. Заметки индексируются в векторной базе данных. LLM получает только несколько самых релевантных фрагментов в момент запроса, не весь массив данных.
Обновления (добавление новых, изменение старых заметок) реализуются путем переиндексации соответствующих фрагментов и обновления векторной базы данных. Это достаточно быстрый процесс, который можно реализовать как локально, так и используя провайдеров.
Есть бесплатные/открытые модели эмбеддингов (как упомянутая all-MiniLM-L6-v2), открытые LLM (например, из экосистемы Hugging Face или на OpenRouter) и бесплатные векторные базы данных (например, Chroma или https://qdrant.tech/).
Да, хочу подробнее изучить их документацию на гитхабе, попробовать применить на практике и написать что-то полезное.
Какими ассистентами для написания кода пользуетесь?
Оба термина часто используются взаимозаменяемо в повседневной речи, однако, строго говоря, это разные вещи.
Информация о контексте из официальной документации - https://api-docs.deepseek.com/quick_start/pricing. В некоторых источниках также указано 128k или 164k.
Тут работает принцип "Garbage In, Garbage Out". Лучше устранять противоречия в источниках до индексации. Можно использовать Re-ranker для приоритизации наиболее авторитетных или полных источников. Также, через промпт-инжиниринг можно инструктировать LLM сообщать о найденных противоречиях в предоставленном контексте, а не пытаться их разрешить.
Нет, не в саму LLM. Заметки индексируются в векторной базе данных. LLM получает только несколько самых релевантных фрагментов в момент запроса, не весь массив данных.
Обновления (добавление новых, изменение старых заметок) реализуются путем переиндексации соответствующих фрагментов и обновления векторной базы данных. Это достаточно быстрый процесс, который можно реализовать как локально, так и используя провайдеров.
Есть бесплатные/открытые модели эмбеддингов (как упомянутая
all-MiniLM-L6-v2), открытые LLM (например, из экосистемы Hugging Face или на OpenRouter) и бесплатные векторные базы данных (например, Chroma или https://qdrant.tech/).