Специалисты из Института информатики общества Макса Планка разработали технологию качественного удаления лишних людей из видеоролика, снятого движущейся камерой. Подобные спецэффекты раньше применялись только в Голливуде, но в будущем соответствующий софт будет доступен для любого компьютера или смартфона.
Программа анализирует последовательность видеокадров и вычисляет пикселы статичного фона. После этого она изменяет пикселы в кадрах с ненужным объектом, заимствуя фон из других кадров. Что характерно, программа грамотно справляется с восстановлением и теней, и отражений, как на зеркальных полах.
Научная работа с описанием технологии была представлена на Европейской конференции по компьютерному зрению ECCV 2012. Новый метод значительно эффективнее предыдущих разработок. Например, похожая технология используется для удаления объектов в сервисе Google Street View (по причинам приватности), но новый метод работает гораздо лучше. Сравнение с одной из предыдущих разработок показано на иллюстрациях.
Как и программу Remove годичной давности, эту технологию можно использовать не только для редактирования видеороликов, но и для удаления лишних людей на фотографиях. Программа Remove требовала, чтобы фотоаппарат сделал десяток кадров из статичного положения, из которых автоматически удаляются все движущиеся пикселы — и генерируется итоговое фото со статичными объектами. Новая же технология способна вычислять фон даже с движущейся камеры, что показано в демонстрационном ролике.
