Группа ученых из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали метод, позволяющий восстанавливать скрытое на видео, используя тени и отражения. Алгоритм анализирует взаимодействие теней и геометрии на видео и делает прогноз «переноса света».
К примеру, если в комнате установлена видеокамера, алгоритм поможет реконструировать видеоизображение невидимого угла помещения. Анализ видео занимает около двух часов.
Ученые считают, что эта технология может быть полезна, к примеру, для автомобилей с автоматическим управлением, которые смогут «предсказывать» ситуацию за углом. Кроме того, ее смогут внедрить центры по уходу за престарелыми для повышения безопасности, а поисково-спасательные команды смогут лучше перемещаться по опасным территориям.
«Вы можете многого добиться с помощью оборудования для визуализации всего, что вне поля зрения, например, лазеров, но при нашем подходе у вас есть доступ только к тому свету, который естественным образом попадает в камеру, и вы пытаетесь максимально использовать эту информацию», — говорит Миика Айттала, научный сотрудник NVIDIA, а также ведущий исследователь.
Ученые используют тени и блики, которые работают как камера-обскура: некоторые световые лучи блокируются, а другие проходят в поле видимости и рисуют изображение невидимого окружения.
Основная задача, которая стояла перед алгоритмом — понять смысл этих сигналов освещения и восстановить удобочитаемое видео. Однако изначально машина могла предлагать множество практически случайных изображений. В итоге исследователи алгоритмически указали, что им нужен шаблон «скремблирования», который соответствует вероятному затенению и затенению в реальном мире, чтобы раскрыть скрытое на видео. В работе также был использован тот факт, что нейронные сети естественным образом предпочитают выражать «подобный изображению» контент, даже если они не были обучены этому.
Алгоритм обучает две нейронные сети одновременно, используя идеи из концепции машинного обучения Deep Image Prior. При этом одна сеть создает схему скремблирования, а другая оценивает скрытое видео. Пока технологию протестировали в закрытом пространстве с заранее расставленными в беспорядке предметами. Восстановленное видео показало цвет и движение предметов, которые находились вне поля зрения.
В будущем команда надеется улучшить общее разрешение системы и в конечном итоге протестировать технику в неконтролируемой среде.
До этого в МТИ показали компьютерную модель, которая способна осознавать базовые физические законы как ребенок. ADEPT наблюдает за объектами, движущимися по сцене, а затем пытается предсказать их поведение на основе «интуитивно» понятых законов физики. При этом, чем серьезнее нарушение в поведении объекта, тем больше она «удивлена» происходящим.
