Когда метрики классификации получаются 0.99, это говорит о том, что что модель скорее всего видела тестовые данные на этапе обучения.
В опубликованном репозитории датасэт содержит тексты только на английском языке, было бы неплохо для полноты картины добавить и тексты на русском языке, на которых проводилось тестирование.
я немного поэкспериментировал с yandexgpt, пробовал подружить с llama index, так вот с дефолтными промптами (в llama index они на английском языке) ответы генерируются совсем нерелевантный, yandex gpt игнорирует инструкции вида "Используй только инофрмацию из контекста и не используй предыдущий знания" в результате в ответах появляется нерелелевантная информация. У кого то получилось подобрать эффективные промпты YandexGPT для RAG?
В Пример № 1 похоже что yandexgpt дает нерелевантный ответ. Было удобнее оценить работу yandexgpt, если бы ответы были разобраны или хотябы помечены как релевантный, полный, точный.
А я подумал, что Document нужно использовать чтобы векторизовать документы, а query для того чтобы векторизовать запросы по поиску документов) В документации ynadexgpt недоработока, ничего не не написано про это ...
С Typescript 2.3.3 и rxjs@5.4.3 приведенный код без импорта оператора не проходит компиляцию.
Если сделать импорт из 'rxjs/Rx' или 'rxjs/add/operator/do', то код компилируется и в runtime отрабатывает без ошибок, сборка webpack.
Когда метрики классификации получаются 0.99, это говорит о том, что что модель скорее всего видела тестовые данные на этапе обучения.
В опубликованном репозитории датасэт содержит тексты только на английском языке, было бы неплохо для полноты картины добавить и тексты на русском языке, на которых проводилось тестирование.
я немного поэкспериментировал с yandexgpt, пробовал подружить с llama index, так вот с дефолтными промптами (в llama index они на английском языке) ответы генерируются совсем нерелевантный, yandex gpt игнорирует инструкции вида "Используй только инофрмацию из контекста и не используй предыдущий знания" в результате в ответах появляется нерелелевантная информация. У кого то получилось подобрать эффективные промпты YandexGPT для RAG?
В Пример № 1 похоже что yandexgpt дает нерелевантный ответ. Было удобнее оценить работу yandexgpt, если бы ответы были разобраны или хотябы помечены как релевантный, полный, точный.
А я подумал, что Document нужно использовать чтобы векторизовать документы, а query для того чтобы векторизовать запросы по поиску документов) В документации ynadexgpt недоработока, ничего не не написано про это ...
Была такая проблема давно.
С Typescript 2.3.3 и rxjs@5.4.3 приведенный код без импорта оператора не проходит компиляцию.
Если сделать импорт из 'rxjs/Rx' или 'rxjs/add/operator/do', то код компилируется и в runtime отрабатывает без ошибок, сборка webpack.