Комментарии 2
Помимо главных выводов, которые вы описали, включая возможность использования "тупых запросов", если я правильно понимаю, также важна предварительная обработка данных, и структурирование данных.
Иначе при росте объема документов стоимость "тупых обработок" может выйти из-под контроля.
Если предполагается, что по одному документу выполняется много запросов, то предобработка нужна. Иначе, предобработка может стоить даже дороже чем "тупой поиск", при этом снижать качество (т.к. мы теряем информацию при "сжатии")
Плюс, даже по обработанной информации стоимость поиска растет с объемом информации (если это не подход на ембеддингах, где поиск выполняется не LLM, а векторной БД, хотя и у него есть проблемы с маштабированием)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
RAG без эмбеддингов для энтерпрайза (опыт ИИ-чемпионата)