Исследовательская группа из Meta FAIR⚹ и Нью-Йоркского университета систематически изучила, как можно обучать мультимодальные модели ИИ с нуля. Их выводы ставят под сомнение сразу несколько широко распространённых представлений о том, как вообще следует строить такие модели.
Модели языка во многом определили эпоху так называемых foundation-моделей. Однако, как утверждают авторы работы “Beyond language modeling”, текст в конечном счёте представляет собой лишь сжатое и неизбежно неполное отражение реальности. Обращаясь к платоновской аллегории пещеры, исследователи замечают: языковые модели научились описывать тени на стене, ни разу не увидев предметов, которые эти тени отбрасывают. К тому же существует и вполне практическая проблема: качественные текстовые данные ограничены – и их запасы стремительно истощаются.
Исследование, в котором принимал участие Янн ЛеКун, посвящено обучению единой модели, созданной полностью с нуля. Для языка в ней используется привычное пословное предсказание, а для визуальных данных – диффузионный метод flow matching. Модель обучается сразу на нескольких типах данных: тексте, видео, парах “изображение – текст”, а также на видеороликах, содержащих действия. Поскольку исследователи не опираются на уже обученную языковую модель, их результаты не искажаются знаниями, усвоенными ранее.
В предыдущих подходах – таких, как Janus или BAGEL, – обычно используются раздельные визуальные энкодеры: один отвечает за понимание изображений, другой – за их генерацию. Однако исследователи Meta⚹ обнаружили, что подобное разделение на самом деле излишне.
Согласно результатам работы, автоэнкодер представлений (RAE), построенный на базе модели изображений SigLIP 2, превосходит традиционные VAE-энкодеры и в генерации изображений, и в их визуальном понимании. При этом языковые способности модели остаются на уровне систем, обученных исключительно на тексте.
Вместо того чтобы поддерживать две отдельные вычислительные ветви, модель использует один общий энкодер, выполняющий обе задачи. Это резко упрощает архитектуру – и ставит под сомнение распространённое предположение, будто зрение и язык неизбежно конкурируют внутри модели. Более того, как показало исследование, неразмеченное видео вообще не ухудшает языковые способности. На проверочном наборе данных модель, обученная одновременно на тексте и видео, даже немного превосходит текстовую базовую систему.
Исследователи также проверили, способна ли их модель предсказывать будущие визуальные с��стояния. Ей показывают текущее изображение и навигационную инструкцию – после чего она должна сгенерировать следующий визуальный кадр. Действия при этом кодируются напрямую текстом, так что никаких изменений в архитектуре не требуется.
По словам исследователей, способность к моделированию мира возникает прежде всего из общего мультимодального обучения, а не из специализированных навигационных данных. Модель демонстрирует конкурентоспособные результаты, используя всего один процент специфических для задачи данных. Более того, она способна следовать инструкциям на естественном языке – например, “Get out of the shadow!” – и генерировать соответствующие последовательности изображений, несмотря на то, что подобных входных данных во время обучения она никогда не видела.
Авторы подчёркивают, что их работа касается только этапа предварительного обучения – вопросы файнтюнинга и обучения с подкреплением они не рассматривали. Тем не менее результаты уже намекают на тенденцию: граница между мультимодальными моделями и моделями мира размывается. Огромные массивы немаркированного видео до сих пор почти не используются – и это исследование показывает, что их можно включать в обучение без ущерба для языковых способностей модели.
⚹ Meta – деятельность организации запрещена на территории Российской Федерации.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
