Комментарии 9
- Через минуту нашел через ИИ-поиск
- На следующий день понял, что нейронка наврала...
"Нашел" и "наврала" не вяжется. "Нашел" подразумевает ссылку на реальный документ, который человек должен сам прочитать. Если в документе ранее наврала нейронка, это вопрос не к поиску
В целом спасает фактчекинг с помощью просмотра документа-источника. Мы в том числе используем специально обученную модель LLM, которая помогает избегать галлюцинаций подобного рода. Ну и настройки системного промпта, разумеется, приносят свои плоды
Я так и не понял, где тут тот самый прорывной метод? Или реранкер для вас это чтото новое? Или может токенизатор тоже новое? А датасеты?
Начали с полнотекстового поиска, а в описанной схеме его нет, только обычный поиск чанков по векторной разнице + BM25 поиск. Или под полнотекстовым имелся в виду BM25? (вопрос к автору статьи)
Речь не о прорывном методе, а в том, что наше решение отличается стабильностью, наличием ролевой модели, возможностью работы из коробки, при этом поддерживает проектную разработку различного уровня сложности и другие технические отличия, помогающие продукту быть масштабируемым и гибким
Поддержу предыдущих комментаторов, и задам вопрос более развернуто:
Подскажите пожалуйста, как вы боритесь с LLM выдумыванием? В своих наработках столкнулся с ситуацией когда сотрудники не перепроверяют документ, а получив ответ от бота верят ему. И даже если в найденном документе написано не то что бот суммаризировал в качестве ответа, сотрудники в большинстве случаев не перепроверяют...
В Вашей схеме красным "ответ найден?" — это фидбек от человека? или LLM-судъя? или иной механизм оценки?
Читал про ре-ранкер, и про жесткость промпта — в моем случае работает слабо, у меня документы на 3х языках, потому и уточняю данный технический вопрос...
Выше уже отвечала, что такие проблемы решаем с помощью дообученной модели, ну и конечно промпты — куда уж без них. Также в интерфейсе есть возможность сразу посмотреть текстовый блок, на базе которого готовился ответ, без допскачиваний, просто кликнув на источник. Тоже упрощает пользователям жизнь.
У нас есть и проверка с помощью LLM, дополнительно используем данные по обратной связи от пользователей.
В этом тоже нам помогает специальная модель.
Интеллектуальный поиск: почему RAG уже недостаточно и как мы его превзошли