Comments 2
Почему выбрали LLaMA 3.1 8b Instruct ? "Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский". Хотя в примечании указывают: "Llama 3.1 была обучена на более широком наборе языков, чем 8 поддерживаемых языков". Модели типа "deepvk/USER-bge-m3" достоверно хуже? Сам сравнить не могу: "Ваш запрос на доступ к этому репозиторию был отклонен авторами репозитория. "
Спасибо за вопрос! Именно с "deepvk/USER-bge-m3" эксперименты не проводились. Но были эксперименты с аналогичном сетапе с русскоязычными LLM внутренней разработки (на заданиях с видео также страдали от проблем, описанных в статье). Качество генерации LLaMA 3.1 на русском языке (до обучения на видео) тестировали и посчитали достаточным для демонстрации описанных явлений.
Как научить LLM понимать видео? Часть 2