Документный хаос? RAG-система придёт на помощь

[beswalod]

Только на работе возникла подобная идея - и тут же статья на Хабре. Спасибо!

[NeoCode]

Интересно а имеет смысл RAG без ИИ (ну нет у меня дорогой современной видеокарты)? Просто для поиска. Или в этом случае проще написать обычный текстовый поиск чуть поумнее - скажем поиск слов, заданных в строке поиска через пробел, и сортировка найденного по частоте вхождений?

[iBuilder]

Для простого поиска кажись уже есть варианты, тот-же Elasticsearch

[AZverg]

ну нет у меня дорогой современной видеокарты

Правильно говорить не "нет у меня дорогой современной видеокарты", а "кластер с видеокартами на текущий момент не предусмотрен в инфраструктуре заказчика". И тогда приводится обоснование закупки и либо кластер покупается/арендуется либо не покупается.

Для себя для использования моделей можно взять что то из старенького с рук типа 3090 на 24gb, цены более чем приемлемы. Большинство моделей запускаются и достаточно шустро. Для обучения моделей чтобы поднять свои навыки тоже хватит.

Для обучения моделей которые пойдут в прод все равно (в начале пути или бюджеты на железо до 10 млн.р) выгоднее использовать облака. При обучении моделей для бота на сайте или базы знаний первой линии поддержки на арендованных мощностях некоторые вкладываются в 5-10 тр за итерацию. Обычно хватает 2-3 итерации, и потом будет по одной итерации на дообучение обычно раз в пару месяцев. И тут не последним будет вопрос можно ли на облака передать наборы данных для обучения.

Поиск при использовании RAG у нас пока по качеству сильно проигрывает Elasticsearch. Но если цель генерировать ответы или скрипты для общения с пользователями, то большого выбора уже нет. Схема когда генерим ответы и потом их вычитывают технологи/аналитики показала себя в разы производительнее чем было до этого.

[stgmakarov]

Спасибо за статью. Тоже одно время пытался организовать RAG для локальной базы документов, но так и не поборол правильное разбиение на чанки - для русского языка та ещё задача... Там все вместе навалилось: и разбиение на чанки и выбор модели эмбеддинга, которая понимает русский. А недавно нашёл для себя rag в lmstudio. Оказывается он вполне хорошо работает и все из коробки, не надо ничего писать. Для домашнего использования имхо самое то.