1) здесь мы проверяли посредством мнения экспертов, а так же тестировали результаты на небольшом размеченном датасете (те смотрели какой подход позволяет отранжировать похожие книги лучшим образом). В будущем каждый подход формирования эмбеддинга можно тестировать на А/B, что даст более объективную картину.
2) как писал выше мы использовали экспертную оценку/разметку для формировать суждения о качестве решения на оффлайн данных. На нем пытались сделать лучший выбор. Финальная оценка после запуска, была сделана на бизнес метриках через месяц с момента запуска.
3) LLM выбирали по параметрам: лицензия, размер промта, качество. Качество опять же сравнивали на небольшом размеченном датасете. После ряда экспериментов победил Qwen, хотя изначально думали использовать Mistral
@DomanОтвечаю по пунктам:
1) здесь мы проверяли посредством мнения экспертов, а так же тестировали результаты на небольшом размеченном датасете (те смотрели какой подход позволяет отранжировать похожие книги лучшим образом). В будущем каждый подход формирования эмбеддинга можно тестировать на А/B, что даст более объективную картину.
2) как писал выше мы использовали экспертную оценку/разметку для формировать суждения о качестве решения на оффлайн данных. На нем пытались сделать лучший выбор. Финальная оценка после запуска, была сделана на бизнес метриках через месяц с момента запуска.
3) LLM выбирали по параметрам: лицензия, размер промта, качество. Качество опять же сравнивали на небольшом размеченном датасете. После ряда экспериментов победил Qwen, хотя изначально думали использовать Mistral