Оценку по внутренней документации проверяли на GPT-5.2 отдельно, когда документ просто пролезал в контекст. На Gpt-4o уже работало похуже, на локальном qwen не работало совсем :) Поэтому в рамках хакатона эту проверку просто не показывали, убрали из MVP. В дальнейшем именно так и планировали - прикрутить RAG. Но для этого надо было больше инфры и времени на подумать - сходу я не придумала как выкрутиться. Как минимум, надо было бы векторную базу и энкодер где-то разместить. Их же не вызовешь как сторонний сервис, как LLM, и на выделенную нам виртуалку они бы не влезли. Наверняка, можно было бы что-то придумать со всем этим, но я в отведенное время не придумала.
Оценку по внутренней документации проверяли на GPT-5.2 отдельно, когда документ просто пролезал в контекст. На Gpt-4o уже работало похуже, на локальном qwen не работало совсем :)
Поэтому в рамках хакатона эту проверку просто не показывали, убрали из MVP. В дальнейшем именно так и планировали - прикрутить RAG. Но для этого надо было больше инфры и времени на подумать - сходу я не придумала как выкрутиться.
Как минимум, надо было бы векторную базу и энкодер где-то разместить. Их же не вызовешь как сторонний сервис, как LLM, и на выделенную нам виртуалку они бы не влезли.
Наверняка, можно было бы что-то придумать со всем этим, но я в отведенное время не придумала.
Да, как раз хочу его попробовать тоже дальше :)