Tencent выложил в открытый доступ флагманскую модель для генерации 3D‑движений по текстовому описанию HY‑Motion 1.0. Это модель с 1 млрд параметров, построенная на архитектуре Diffusion Transformer (DiT) и технике Flow Matching.

Tencent HY‑Motion 1.0 даёт возможность как разработчикам, так и отдельным создателям превращать естественный язык в высокодетализированные, плавные и разнообразные 3D‑анимации персонажей, демонстрируя исключительные способности к следованию инструкциям в широком спектре категорий. Сгенерированные 3D‑анимационные ресурсы можно легко интегрировать в стандартные пайплайны 3D‑анимации.

Модель прошла полноценный трёхэтапный цикл обучения:

  • Крупномасштабный претрейн на более чем 3000 часах разнообразных данных о движениях.

  • Файнтюнинг на 400 часах отборных, высококачественных данных 3D‑движений.

  • Доводка с помощью обучения с подкреплением, использующего обратную связь от человека и reward‑модели для улучшения естественности движений и следования инструкциям.

Всё это позволило покрыть более 200 категорий движений в 6 основных классах — от базовой локомоции до сложных взаимодействий. Говоря проще, модель понимает как «человек идёт», так и «персонаж радостно подпрыгивает, размахивая руками».

Модель генерирует не готовые меши или текстуры, а скелетную анимацию (bone‑based motion), что является стандартом для современных 3D‑движков. Это значит, что полученные данные можно относительно легко загрузить в Blender, Unreal Engine, Unity или другой профессиональный пайплайн.

Разработчики не постеснялись сравнить своё детище с другими открытыми аналогами, и, судя по графикам, HY‑Motion 1.0 уверенно лидирует как по качеству движений (FID), так и по точности следования текстовому описанию (R Precision).

Для разных нужд предлагается две модели:

  • HY‑Motion-1.0 (1,0 млрд параметров) — флагманская версия.

  • HY‑Motion-1.0-Lite (0,46 млрд параметров) — облегчённая версия.

Полезные ссылки:

Для инди‑разработчиков и студий анимации это открывает новые возможности по быстрому прототипированию анимации.


Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник