Обновить

RAG-системы на арене: протестировали 5 популярных решений на реальных данных

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели13K
Всего голосов 11: ↑6 и ↓5+2
Комментарии7

Комментарии 7

Я даже сходил в GitHub, но так и не нашел ответа - а какие параметры и модели-то использовались в каждом из случаев? Embedder, LLM, VectorDB? Еще, например, AnythingLLM был в Query Mode или Chat Mode? И т.д. т.е. непонятно что и с чем сравнивали.

Какой-то специальной подстройки решений мы не делали, брали значения по умолчанию.
По эмбеддерам и LLM в AnythingLLM , Witsy, Onyx:

  • openai text-embedding-3-small

  • gpt-4.1

Векторное хранилище в AnythingLLM брали по умолчанию LanceDB, режим chat mode (отдельный диалог под каждый вопрос).

Выглядит, как "Мы сами подготовили абсолютно независимое тестирование. Материалы для А/В теста тоже сами отобрали, и были абсолютно уверены, что наша система будет сиять, на фоне конкурентов. Удивительно, но всё прошло успешно, с первой попытки." Честно говоря, напрашивается пометка "на правах рекламы".

Честно говоря, из 5 систем, более менее известна только одна. Собственно вопрос, почему именно эти ноунеймы, остаётся открытым.

P.S. я не копал в эти системы, хватает LangChain для RAG. Делается за 5 минут, и почти все форматы уже есть, только чутка код написать и вперёд.

Глаза резало явное восхваление AutoFAQ Xplain пока читал. Ну слишком уж много приторно сладких восхвалений.
А потом ой.."Хабы:Блог компании AutoFAQ" в конце увидел.

Ну блин. Даже если AutoFAQ и действительно хорошь, но осадочек остался не приятный.
Ошущение, что наткнулся на зазывалу на восточном базаре. Неприятно однако.

Из названия статьи думал, что будет сравнение разных рагов (граф-раг, иерархический итд), вообщем, что-то интересное)))

Какое-то однобокое сравнение. А как бы ваш продукт выглядел бы на фоне RAGFlow, Dify, R2R, Morphik, SurfSense?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Информация

Сайт
autofaq.ai
Дата регистрации
Численность
11–30 человек
Местоположение
Россия