Можно ли заменить облачный Jev локальной Laya? Проверил обе модели и три специализированных реранкера на SciFact, FiQA и NFCorpus. Сравнил качество поиска, время обработки двадцати документов и потребление видеопамяти. Код и результаты доступны на GitHub.

Сравнил Jev и обычные LLM на трёх задачах: определение спама, выбор категории комментария и оценка негатива. Проверил качество ответов, скорость и стоимость на русском и английском. Отдельно посмотрел, распознают ли модели повторный вопрос в длинной истории комментариев.