Основной потребитель ресурсов здесь - вычисление карты глубины (GPU). Затем идет создание параллакса (CPU), который, впрочем, делается относительно быстро. Загрузка и сохранение изображений занимает совсем незначительное время. Причем я пробовал делать так - загрузка с одного диска, сохранение на другой диск + несколько потоков обработки, разницы не случилось, к сожалению. Возможно здесь есть какое-то узкое место, хотя бы тот же Питон, или код нужно подправить. Я периодически копаюсь в этом, но в целом все работает относительно быстро, особенно на моделях Small и Base, может и нет особого смысла оптимизировать дальше.
Это уже вопрос авторских прав. Если нужно, могу скинуть отрывок, тизер так сказать, если у вас есть на чем смотреть (3D телевизор/проектор или VR). Напишите в личку.
Сжатие без потерь, меньше места на диске. У BMP сжатия совсем нет
используйте RAM диск для промежуточного хранения
Спасибо, а есть где посмотреть подробности о чем именно речь?
Подскажите нейронки для апскейлинга / удаления шума / удаления тряски
Многие (или большинство) моделей для апскейла также удаляют шум и прочие артефакты, это обусловлено тем, что они обучаются на специально заблюренных или излишне "зажепегеных" изображениях.
Из последних моделей мне понравились, например эти:
Искажения конечно есть, но в целом все смотрится очень хорошо и органично.
объем чувствуется только на небольшом расстоянии в 5-10м
Да, примерно так и есть. Задний план мало меняется, объем создается в основном для ближнего и среднего плана, и этого в целом достаточно. Возможно модель Giant (Depth-Anything-V2) или вообще другая новая модель, смогут детальнее работать с дальним планом. Уверен, это направление будет развиваться и дальше. Например, если сравнивать Depth-Anything-V1 и Depth-Anything-V2 - разница очень значительная в пользу последнего.
Вероятно вы имеете в виду аналоги конвертации на лету 2D -> 3D на 3D телевизорах? Ну там алгоритмы простые, качество 3D получается очень слабое, его практически нет, это скорее формальная функция, которой вряд ли кто-то пользовался.
Здесь же мы полностью перерисовываем материал, создаем его с нуля, от первоначальных данных ничего не остается (грубо). На базе каждого исходного фрейма мы рендерим его 3D пару, где в каждом фрейме объекты смещены (влево и вправо), это полностью перерисованная сцена.
Я думал насчет варианта "на лету", возможно на более мощном железе, например RTX 4900, а скорее пары RTX 4900, получится реализовать этот рендер, например на модели Small для видео 24fps. Но это дорогое удовольствие и более сложная разработка.
Приветствую! Специально не проверял, возможно позже протестирую
Основной потребитель ресурсов здесь - вычисление карты глубины (GPU). Затем идет создание параллакса (CPU), который, впрочем, делается относительно быстро. Загрузка и сохранение изображений занимает совсем незначительное время. Причем я пробовал делать так - загрузка с одного диска, сохранение на другой диск + несколько потоков обработки, разницы не случилось, к сожалению. Возможно здесь есть какое-то узкое место, хотя бы тот же Питон, или код нужно подправить. Я периодически копаюсь в этом, но в целом все работает относительно быстро, особенно на моделях Small и Base, может и нет особого смысла оптимизировать дальше.
Это уже вопрос авторских прав. Если нужно, могу скинуть отрывок, тизер так сказать, если у вас есть на чем смотреть (3D телевизор/проектор или VR). Напишите в личку.
В 3D очках на 3D телевизоре/проекторе (то есть, которые поддерживают 3D), либо шлемы VR
Сжатие без потерь, меньше места на диске. У BMP сжатия совсем нет
Спасибо, а есть где посмотреть подробности о чем именно речь?
Многие (или большинство) моделей для апскейла также удаляют шум и прочие артефакты, это обусловлено тем, что они обучаются на специально заблюренных или излишне "зажепегеных" изображениях.
Из последних моделей мне понравились, например эти:
realSR_BSRGAN_DFO_s64w8_SwinIR-M_x2_GAN
realSR_BSRGAN_DFOWMFC_s64w8_SwinIR-L_x4_GAN
Можете найти их тут: https://github.com/JingyunLiang/SwinIR/releases
Они хорошо апскейлят, и, важно - не создают эффект пластилиновости, искусственности.
Еще очень много моделей тут: https://openmodeldb.info/
В основном там тюны, заточенные под определенные вещи (аниме, игры и тд).
Искажения конечно есть, но в целом все смотрится очень хорошо и органично.
Да, примерно так и есть. Задний план мало меняется, объем создается в основном для ближнего и среднего плана, и этого в целом достаточно. Возможно модель Giant (Depth-Anything-V2) или вообще другая новая модель, смогут детальнее работать с дальним планом. Уверен, это направление будет развиваться и дальше. Например, если сравнивать Depth-Anything-V1 и Depth-Anything-V2 - разница очень значительная в пользу последнего.
Вероятно вы имеете в виду аналоги конвертации на лету 2D -> 3D на 3D телевизорах? Ну там алгоритмы простые, качество 3D получается очень слабое, его практически нет, это скорее формальная функция, которой вряд ли кто-то пользовался.
Здесь же мы полностью перерисовываем материал, создаем его с нуля, от первоначальных данных ничего не остается (грубо). На базе каждого исходного фрейма мы рендерим его 3D пару, где в каждом фрейме объекты смещены (влево и вправо), это полностью перерисованная сцена.
Я думал насчет варианта "на лету", возможно на более мощном железе, например RTX 4900, а скорее пары RTX 4900, получится реализовать этот рендер, например на модели Small для видео 24fps. Но это дорогое удовольствие и более сложная разработка.
- этот момент не понятно, о чем речь?
Спасибо