Мы пользуемся Qdrant, так как она позволяет очень гибко фильтровать чанки по метаданным, и поддерживает масштабирование (шардирование) для больших объемов данных.
Базу нужно выбирать под конкретную задачу, детальное сравнение есть так же на хабре (в англоязычных источниках тоже существует, можно найти на просторах интернета) - https://habr.com/ru/articles/961088/
Для чанков мы используем текстовые сплиттеры (по длине). Если речь про суммаризацию исходных данных для чанков (промпт который был в примере) - там используется модель gpt-oss-120b.
Реранкер используется, конкретно сейчас работает модель BAAI/bge-reranker-v2-m3.
context windows и. т. п. - если речь о контекстном окне модели, то можно глянуть на huggingface (у нас используется для ембеддингов BAAI/bge-m3). Если речь о размерах чанков, то у нас для разных кейсов разные значения. Наиболее частый вариант - 512 символов, с перекрытием 128.
Information
Rating
719-th
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Теперь понял)
Механизм возврата соседей вместе с чанком у нас тоже есть. N - настраивается под каждую Базу Знаний индивидуально)
Мы пользуемся Qdrant, так как она позволяет очень гибко фильтровать чанки по метаданным, и поддерживает масштабирование (шардирование) для больших объемов данных.
Базу нужно выбирать под конкретную задачу, детальное сравнение есть так же на хабре (в англоязычных источниках тоже существует, можно найти на просторах интернета) - https://habr.com/ru/articles/961088/
Приветствую!
Спасибо за уточнение)
Для чанков мы используем текстовые сплиттеры (по длине). Если речь про суммаризацию исходных данных для чанков (промпт который был в примере) - там используется модель gpt-oss-120b.
Реранкер используется, конкретно сейчас работает модель BAAI/bge-reranker-v2-m3.
context windows и. т. п.- если речь о контекстном окне модели, то можно глянуть на huggingface (у нас используется для ембеддингов BAAI/bge-m3). Если речь о размерах чанков, то у нас для разных кейсов разные значения. Наиболее частый вариант - 512 символов, с перекрытием 128.