Делаем RAG‑систему с нуля

[MEGA_Nexus]

В соответствии с нормами текущего времени - базовые вопросы были адресованы LLM

Раньше шутили, что ко всему пытаются прикрутить кубернетес и микросервисы. Сейчас в моде LLM.

В качестве “поисковых запросов” - несколько коротких фраз, примерно таких, какие я использую в поисковиках.

Для этого LLM не нужна, а нужен простой поисковый движок.

Для поиска чего-либо в локальных файлах давным-давно были придуманы локальные индексаторы, например, Архивариус 3000.

«Архивариус 3000» — это мощная программа для быстрого поиска документов и электронной почты на компьютере, в локальной сети и на съёмных дисках.

Основные возможности

• Мгновенный поиск: Ищет слова и фразы по содержимому документов, а не только по названиям файлов, используя предварительное индексирование.

• Поддержка форматов: Работает с офисными документами (Word, Excel, PDF, RTF), текстами, архивами (ZIP, RAR и др.) и популярными почтовыми клиентами.

• Сетевой режим: Позволяет организовывать удаленный доступ к поисковой базе через веб-интерфейс.

• Языки: Обладает развитой системой морфологии для нескольких языков, включая русский.

Если не понравится Архивариус 3000, который давно не развивается, то можно посмотреть его современные аналоги - https://www.reddit.com/r/software/comments/1ogidtp/listing_of_windows_file_search_tools/?tl=ru

[Kano]

ЛЛМ тут прикручивают для того что бы оно своими рассуждениями (исходя из заданного контекста) составляло и корректировало запрос (исходя из первого ответа) наиболее подходящим для пользователя образом.

[vdudouyt]

Раньше шутили, что ко всему пытаются прикрутить кубернетес и микросервисы. Сейчас в моде LLM.

Я вот все думаю, а не пора ли хабру сменить название юр. лица с “Habr Blockchain Publishing Ltd” на “Habr GPT Publishing Ltd” :)

[akod67]

Ну и как оно поможет с околосмысловым поиском?

[becefi]

Питон - псевдокод. В точку )

[vital__yes]

Прикольно. Но почему бы не через MCP? И какой demention у эмбедингов?

[JBFW]

Смотря какой model, такой и dimension...

У некоторых 768, у некоторых 384, но как показали опыты - и 256 дает сходные результаты.

Почему не MCP?
Ну, во-первых "я не настоящий сварщик, я просто маску нашел", поэтому про такую фичу просто не знал.

Во-вторых, почитав, в моем случае это выглядит как лишняя абстракция, напоминающая когда-то популярные "брокеры", которые как бы должны были связывать между собой разнородные системы единообразным стандартным образом, если правильно помню, через XML-сообщения.
Все про них говорили, в архитектуру проектов закладывали, названия звучали так же часто как теперь оркестрация и кубернетес.
А сейчас даже найти ничего по этой теме в интернетах не получается, забыто.

Зачем? Мне нужен был просто запрос-ответ по http, без претензий на совместимость с GitHub, OpenAI и кофеваркой. Я его сделал

[Granulex]

Гибрид с полнотекстовым поиском даст больше, чем любая смена модели: векторы слепы к точным именам, хостам и строкам ошибок.

[JBFW]

В данном случае - была конкретная задача поиска по нечеткому поиску: где-то лежит "описание настройки блабабла" и возможно несколько вариантов - надо найти.

Точный поиск тут куда проще: в MC ESC ? - пишем текст и оно всё найдет.

По сути тот же гибридный вариант, только раздельными инструментами.

[luchezarnaja]

Уважаю ваш труд, но хотелось бы все же обратить внимание читателя на то, как важно задавать изначальный порядок. У меня все папки названы осознанно, плюс одна папка называется tmp, и я договорилась сама с собой, что всё, что я в нее сложу, в следующий раз я могу без зазрения совести удалить. Иногда в папки я кидаю файл ридми.мд с кратким пояснением, чё тут происходит. Я называю это заботой о себе в будущем. Когда сто лет спустя что-то разбираешь, а там записка из прошлого, это здорово сохраняет нервную систему и экономит время.

[JBFW]

Да, но это большая отдельная работа на годы вперед )
Её надо начинать примерно с "первого компьютера" и продолжать всю жизнь.

И даже это может не спасти, когда надо "переехать" с одного компьютера или диска на другой, а времени на раскладывание нет: начинают появляться те самые "Старый диск/Разобрать"