Netflix представила VOID (Video Object Inpainting and Decomposition) — фреймворк, который переводит задачу удаления объектов из видео на рельсы латентной диффузии. В отличие от классических методов, которые часто грешат «заплаточным» подходом, VOID использует механизм декомпозиции сцены. Модель разделяет видеопоток на слои фона и динамические маски, что позволяет нейросети не просто закрашивать пиксели, а реконструировать структуру сцены с учетом глубины и перспективы.

Техническое ядро VOID сфокусировано на решении проблемы темпоральной связности (temporal consistency), которая является ахиллесовой пятой большинства диффузионных моделей. Благодаря специфическим механизмам внимания (attention) и анализу межкадровых связей, модель минимизирует артефакты мерцания и «плавающих» текстур. В сравнительных тестах VOID демонстрирует превосходство над текущим SOTA-решением в лице ProPainter, обеспечивая более стабильное заполнение зон за маской даже при быстром движении камеры или перекрытии объектов.

Архитектурно VOID спроектирована как гибкий пайплайн, способный работать с масками любой сложности — от удаления мелких проводов до полной замены крупных объектов в кадре. Одной из ключевых фишек стала поддержка поэтапного инференса, что позволяет модели сохранять детализацию текстур без потери общего контекста сцены. Разработчики реализовали проект на базе PyTorch и обеспечили нативную совместимость с экосистемой Diffusers, что значительно упрощает интеграцию VOID в профессиональные VFX-пайплайны и создание кастомных расширений.

Для развертывания модели «в один клик» потребуются серьезные ресурсы: стандартный запуск оптимизирован под GPU уровня NVIDIA A100 (40 ГБ VRAM). Однако для сообщества предусмотрены сценарии оптимизации — использование model_cpu_offload и sequential_cpu_offload позволяет уместить инференс в 24 ГБ видеопамяти, что делает модель доступной для владельцев RTX 3090/4090. Веса и исходный код уже доступны на GitHub, что открывает путь к созданию инструментов голливудского уровня для всех разработчиков.

Это важный шаг в сторону автоматизации самого трудоемкого этапа постпродакшена — ротоскопинга и клинапа. Открытость VOID позволяет не только использовать её как готовый инструмент, но и использовать как базу для fine-tuning под специфические задачи кинопроизводства.

P.S. Поддержать меня можно подпиской на канал "n2d2ai", где я рассказываю про новые возможности ИИ.