Нейросеть удаляет объекты с видео, заменяя их фоном

[AllexIn]

Original и Inpainting — два совершенно разных кадра. Вполне допускаю что скейтер просто ушел.

[Andchir]

На Гитхабе были гифки, но сейчас там какие-то технические проблемы и картинки не отображаются. Но качество «удаления» объектов так себе.

[rombell]

классические картинки «надите 10 отличий». Действительно, по фигурам сверху ясно видно, что это разные кадры.

[kudryavy]

"Объект с видео" — это:

1. объект, содержащий видеоконтент (объект с чем-то)
   или
2. объект, присутствующий в видеоряде (объект из определенного места)
   Я не знаю, какой заголовок будет более точным, но настоящий заголовок статьи двусмысленный.
   Самая простая правка "объект из видео", но тоже может не внести ясность

[IvUs]

Nvidia ngx sdk такое умеет, но требует видюшку с rtx
https://youtu.be/gg0F5JjKmhA

[namikiri]

Функция Content-Aware Fill...

Гораздо веселее функция Content-Aware Scale!

Вот несколько примеров

[nidalee]

Функция Content-Aware Fill доступна подписчикам Adobe Creative Cloud. При работе с ней пользователь также может выделить объекты, которые хочет удалить с видеоролика, а программа рассчитает маски покадрово и заменит их на окружающий фон.

Также есть в DaVinci Resolve — «Object Removal».

[kahi4]

Удалить объект с видео со статичным фоном — то же мне задача. Если брать видео с примеров с гитхаба — хорошо видно, что объект нигде не пересекает другие подвижные объекты (с лодкой в море сложнее, но там и артифакты больше), а в таком случае это делается довольно просто и гораздо более качественно без алхимии с нейросетями. Наприм, http://www.mee.tcd.ie/~sigmedia/Research/RigRemoval статьи от 2005 года. Что за мода пихать нейронные сети везде и выдавать это как невероятный результат?

[AllexIn]

Исследуют возможности нейросетей.
Показывают возможности нейросете.
А выдача за невероятный результат… Где такое?

[kahi4]

Потому что это выглядит как очень хорошая, но все же курсовая работа. Мы же не будем публиковать все хорошие курсовые работы на хабр (хотя я бы почитал).

А что касается возможностей — вряд ли у кого-либо возникали сомнения что нейронная сеть способна достроить недостающую информацию базируясь на предыдущих и следующих кадрах, как и реализовать автокоррелятор (который, к слову, было бы интересно проверить на работоспособность при пересечении движущихся объектов, а то на статичном фоне тоже мне возможности).

[Mykola_Von_Raybokobylko]

Мне кажется вопрос тут не совсем технической направленности. Удалить объект из кадра и раньше можно было. Тут вопрос наверное в том чтобы подключить сеть у удалению объекта на массовых видеосвидетельствах. Это конечно конспирология но вполне возможный сценарий.
Либо использовать потоковый метод при трансляции эфирного видео.