Комментарии 20
Спасибо за материал. На мой скромный взгляд результат выглядит весьма недурно.
ПС: "Идея CoordConv может также быть реализована путем генерации input — канала, содержащего координаты атомов" можно полюбопытствовать о природе этой описки?)
Нейросети в материаловедении весьма интересная тема — где можно ознакомиться с Вашей стетьей?
ЗЫ: у самого зависла статья в журнал по применению ИНС к анализу данных рентгеновской спектроскопии ((
Не знаю насчет видео, но на
у мутанта шевелится затылок, а лев
просто трясется (от страха, видимо) в лучших традициях фильмов ужасов
Размытие в одном глазу действительно довольно заметно. По идее, можно вычислять картинку левого глаза аналитически (смещением пикселей на основе карты глубины), а на местах резких горизонтальных градиентов карты глубины — дополнительно накладывать изображение сгенерированное нейросетью (чтобы избежать артефактов). Это должно «спрятать» размытие на ровных участках фона, там, где оно как раз больше всего заметно. Не пробовали такой вариант?
Я просто на днях как раз подобную задачу решал, для одного проекта нужно было показывать стерео по одной фотографии и карте глубины, нарисованной вручную. Реализовал смещения в шейдере, работает вполне адекватно (так как это статика, а не видео, то искажения фона менее заметны).
В вашем случае единственная на мой взгляд сложность — добиться соответствия аналитически найденных смещений с работой нейросети. В идеале, конечно, можно просто считать среднее смещение массива контрольных точек, для нескольких диапазонов глубины, а потом интерполировать. Но думаю даже простая пропорция уже даст хороший результат. Надо будет попробовать.
Кстати, спасибо еще раз за статью и особенно реализацию на googleColab! Очень помогает сейчас в моей работе.
А что, если ввести дополнительную метрику в виде соответствия уровня локального контраста, для исходного и генерируемого изображения? Не уверен правда, что это реально, я только начал изучать нейросети.
Это реально, но я в работе не очень много времени уделил построению лучшего loss function — взял среднемодульное отклонение попиксельное, структурную схожесть (ssim_loss), чтобы учесть контратст, кроме того полученное изображение прогонялось через первый слой предобусенной нейросети vgg16, который по идее должен отвечать за простые признаки типа четких границ итд. Среднее отклонение признаков тоже использовалось как компонент loss а. Но касаемо весов каждой из компонент -подробно не оптимизировал, так как обучалась сеть достаточно медленно
Загрузим предобученную DenseDepth модель и добавим слои для генерации изображения для другого глаза: (что лежит в custom_objects можно посмотреть на гитхабе или kaggle).Ссылки не работают. Поправите?
2) никак
Как посмотреть плоские фильмы в 3D