Comments 5
"who many r in strawberry?"
В такой формулировке я бы тоже растерялся
не заметил ошибку, когда переписывал) Спасибо
Но итог не меняет:
Question: how many r in strawberry? Answers: 0: 0.00% 1: 12.00% 3: 5.00% 2: 83.00% <- selected 4: 0.00%
Интересно было также, что на вопрос с бинарной классификацией по типу "Действительно ли...."
Ответы тоже были разные и сильно отличались при добавлении других вариантов ответа
Спасибо за такую разностороннюю публикацию о применении Jev.
Не могли бы вы указать ссылку на источник картинки из раздела про RAG, чтобы детальнее ознакомиться с упомянутым применением Jev в RAG? И, может быть, найдется ссылка на такое же хорошее описание с примерами режимов Jev: Noul, Choice, Score.
На ваш взгляд, может ли Jev (особенно его локальные варианты) использоваться как LLM-as-a-judge, в частности, как альтернатива моделям POLLUX (пример вызова модели / публикация про POLLUX) для оценки ответов LLM по произвольно заданному списку критериев с текстовым описанием правил назначения баллов?
На ваш взгляд, позволяет ли Jev каким-то способом сделать аналог Bert модели — экстрактора инфоконтекстов Яндекса, например, если подавать в Jev текст с указанием номеров строк, и большой набор пересекающихся вариантов для выбора границ (номеров строк) relevant_content в тексте: [0,6],[3,9],…[N-6,N]?
Добрый день!
Спасибо за комментарий
На счет RAG: источник привести не смогу, так как картинку и кейс придумал сам) Но думаю на просторах интернета есть конкретные примеры
Дополнительную информацию о режимах можно почитать: Laya AI: Open-Source Decision Model | Run Locally
На счет LLM-as-a-judge: да, конечно, она может для этого использоваться и это является одним из кейсов использования. Вопрос только в ограниченности контеста и точности. Так как обычные llm, думаю, будут точнее
На третий вопрос ответить сходу не смогу) Но мне кажется, он вряд ли справится с этой задачей
Jev, Laya и decision models: Пытаемся разобраться