Комментарии 3
Крайне познавательно. Благодарю за перевод.
В системах RAG избыточная информация может негативно влиять на итоговую генерацию LLM (Large Language Model), а слишком длинные контексты вызывают проблему «потери в середине» (см. рис. 1).
График приведен на основании OpenAI GPT 3.5 Turbo моделей (старые).
Для обновленных моделей предполагаю, что не все так плохо, учитывая стандартный тест "Needle In a Haystack".
Не умоляю необходимость корректировки извлеченного контекста, но обращаю внимание, что проблемы меняются так быстро, что некоторые становятся менее актуальными.
/
Благодарю за комментарий. У меня не было возможности сравнить то, как было раньше с тем, как есть сейчас, но могу уверенно сказать, что то, как есть сейчас, меня категорически не устраивает — модели постоянно зажевывают середину. Собственно, это и стало одной из причин, по которой я стал интересоваться вопросами RAG - без RAG возможности ИИ-перевода в профессиональных целях выглядят совсем грустно.
Часть 3. Обзор технологий RAG для LLM: оптимизация извлеченных данных