Jev, Laya и decision models: Пытаемся разобраться

[fireSparrow]

"who many r in strawberry?"

В такой формулировке я бы тоже растерялся

[Viacheslav-hub]

не заметил ошибку, когда переписывал) Спасибо

Но итог не меняет:
Question: how many r in strawberry? Answers: 0: 0.00% 1: 12.00% 3: 5.00% 2: 83.00% <- selected 4: 0.00%

Интересно было также, что на вопрос с бинарной классификацией по типу "Действительно ли...."
Ответы тоже были разные и сильно отличались при добавлении других вариантов ответа

[Mavito]

Спасибо за такую разностороннюю публикацию о применении Jev.

• Не могли бы вы указать ссылку на источник картинки из раздела про RAG, чтобы детальнее ознакомиться с упомянутым применением Jev в RAG? И, может быть, найдется ссылка на такое же хорошее описание с примерами режимов Jev: Noul, Choice, Score.

• На ваш взгляд, может ли Jev (особенно его локальные варианты) использоваться как LLM-as-a-judge, в частности, как альтернатива моделям POLLUX (пример вызова модели / публикация про POLLUX) для оценки ответов LLM по произвольно заданному списку критериев с текстовым описанием правил назначения баллов?

• На ваш взгляд, позволяет ли Jev каким-то способом сделать аналог Bert модели — экстрактора инфоконтекстов Яндекса, например, если подавать в Jev текст с указанием номеров строк, и большой набор пересекающихся вариантов для выбора границ (номеров строк) relevant_content в тексте: [0,6],[3,9],…[N-6,N]?