ruCLIP — мультимодальная модель для русского языка

[skleg]

Отличный результат на русском. Интересно, конечно, посмотреть на обученную на десятках миллионов изображений модель. Данный подход прямо просит учить на десятках или даже сотнях миллионов, но это дорого жаль.
Подумал еще, что данная общая модель может помочь улучшать автоматические переводы фильмов eng->ru, так как можно подавать семантику в виде кадра, а там может быть больше визуальной информации для корректного перевода, чем только в оригинальных субтитрах.

[king_menin]

Спасибо большое за ваш отзыв. Пользуйтесь! Насчет большего числа изображений — мы над этим работаем?

[Rybolos]

Очень интересный анализ получился у OpenAI openai.com/blog/multimodal-neurons