Интересное начинание, думаю внутри Яндекса есть свой набор тестов для замера метрик, хотя и не факт что именно таких. Если тут есть кто-то из яндексойдов - расскажите как это устроено. А где можно посмотреть на набор тестовых запросов и, возможно, дополнить ? Какое там распределение по типам товаров - Электроника / DYI / Еда / Игрушки и тд?
Есть ли публичный бенчмарк сервисов сравнения цен по метрикам качества? По аналогии с MTEB для ембедингов, например. Выглядит как полезная штука - пришел, выбрал для соответствующей категории без установки кучи сервисов и приложений
Пробовали ли Вы прикрутить LLM для запросов, хотя бы того же Сбера? Вывод который напрашивается из ваших метрик сравнения с Яндексом - хорошая LLMка не полечит проблему неактуальности данных по товарам и ценам. А тут как будто бы все гораздо лучше чем у других сервисов на рынке
Интересное начинание, думаю внутри Яндекса есть свой набор тестов для замера метрик, хотя и не факт что именно таких. Если тут есть кто-то из яндексойдов - расскажите как это устроено.
А где можно посмотреть на набор тестовых запросов и, возможно, дополнить ? Какое там распределение по типам товаров - Электроника / DYI / Еда / Игрушки и тд?
Два вопроса
Есть ли публичный бенчмарк сервисов сравнения цен по метрикам качества? По аналогии с MTEB для ембедингов, например. Выглядит как полезная штука - пришел, выбрал для соответствующей категории без установки кучи сервисов и приложений
Пробовали ли Вы прикрутить LLM для запросов, хотя бы того же Сбера? Вывод который напрашивается из ваших метрик сравнения с Яндексом - хорошая LLMка не полечит проблему неактуальности данных по товарам и ценам. А тут как будто бы все гораздо лучше чем у других сервисов на рынке