First Principles расчёт realtime видеогенерации

[programania]

Для меня оказалось неожиданным, насколько мы далеки от realtime-генерации на мобильных устройствах — 2030-е года не выглядят как «AGI завтра».

Возможно, на сегодня и ближайшие годы единственный способ
локальной realtime-генерации на мобильных устройствах
это генерация НС не каждого пиксела, а только нескольких ключевых точек.
А всё осталькое быстро нарисует GPU.
Я сделал такое для 2D и webGL, но без НС, а на javaScript.
https://prog-mania.github.io/fani/
Habr добавляет что-то к ссылке. Это нужно удалить.
Работает даже на телефоне в реальном времени.
По такому же принципу можно сделать для 3D:
НС генерирует движение, положение и видимость ключевых точек,
а GPU из них и готовых текстур нарисует кадры.

[anvilarth]

звучит очень разумно! спасибо, что поделились

[serov1984]

Добрый день! А почему в статье рассматриваете именно Wan 2.1, а не Wan 2.2? Просто интересно :)

И что думаете по поводу Stable-Video-Infinity (SVI 2.0 Pro)? Лучший ли это на сегодня из open-source инструмент для бесконечных видео или уже есть что-то более совершенное?

[anvilarth]

Рассматривал Wan2.1, потому что проще в расчетах, так как нет high/low noise model :)
про SVI не слышал, слишком много всего выходит) Из последнего я бы порекомендовал https://github.com/PKU-YuanGroup/Helios