Эта статья продолжение основной статьи:
Как сделать 3D версию любого фильма на примере StarWars4 (DepthAnythingV2 + Parallax).

Сначала рекомендуется ознакомиться с первой статьей, там все основные детали: суть алгоритма, необходимые библиотеки, первоначальные скрипты и описание параметров в них. Также там приведены примеры обработанных изображений и есть ссылки на готовые 3D видео (отрывок StarWars4), в том числе для VR. Эта статья продолжение, здесь приводится доработанный скрипт и комментарии к нему. Также ниже будут обозначены другие решения, которые можно использовать для конвертации видео из 2D в 3D.

По традиции будут приложены несколько изображений, в том числе анимированные 3D-гифы, примеры того, что можно получить через DepthAnythingV2 + Parallax.

Меня давно интересовала тема апскейла изображений, отдельно — апскейла старых видео. Одно из первых решений, которое попалось в руки несколько лет назад — waifu2x. Но эта нейронка больше подходила для апскейла аниме (насколько я помню на них она и тренировалась). То есть, waifu2x подходила для довольно простых изображений без избытка деталей и сложности текстур.

Затем я поизучал ESRGAN и Real-ESRGAN. Довольно неплохие модельки, вполне годятся для апскейла изображений, но очень часто заметна синтетичность, особенно в сложных сценах, например когда на изображении есть деревья. Я даже попробовал дотренировать Real-ESRGAN (к слову это делать не сложно, на их гитхабе есть скрипты и инструкции), но пока дособирал свой датасет для тренировки на глаза попалась другая модель — SwinIR, протестировав которую понял — она покрывает мои текущие потребности, если не полностью, то по меньшей мере процентов на 80%. А потребности были — заапскейлить несколько старых фильмов, и чтобы после апскейла фильм смотрелся как фильм, а не как пластилиновый театр. В целом все получилось. Именно об этом статья.

Апскейлить будем фильм «Пираты Силиконовой долины» (1999г, США, DVD5). Он повествует о появлении домашнего ПК и становлении компаний Apple и Microsoft. Довольно интересный фильм с бунтарским духом той эпохи. Главные герои — молодые Стив Джобс, Стив Возняк, Билл Гейтс и другие участники «революции домашних ПК». Кстати, апскейлить фильм будем конечно же на домашнем ПК.

Недавно в X (Твиттер) один пользователь задался вопросом - сколько денег OpenAI потеряла из-за того, что люди говорят своим LLM спасибо и пожалуйста (не дословно). Сэм Альтман ответил на это: "tens of millions of dollars well spent--you never know", что можно перевести как: "десятки миллионов долларов были потрачены не зря, никогда не знаешь [на чем выиграешь].

Сложно судить, как здесь происходит на самом деле. В первую голову пришло, что такие простые завершающие сообщения можно обрабатывать отдельно. Делают ли это OpenAI, Antropic и тд не известно.

Я решил провести небольшой поверхностный тест на реальных диалогах. В качестве подопытных выбирал рассуждающие модели, как наиболее ресурсозатратные.

Это статья — обзор разных моделей Depth-Anything-V2, приложение к предыдущей статье Как сделать 3D версию любого фильма на примере StarWars4 (DepthAnythingV2 + Parallax). Здесь мы сравним качество полученных карт глубин для всех доступных моделей — Large, Base, Small. Будет много картинок и мало текста.

Для наглядности, карты глубин раскрасим в цвет (COLORMAP_JET). Со шкалой от темно-красного (ближние объекты) до темно-синего (дальние объекты).

Кратко по моделям:
Large: 335.3M параметров, размер ~1280Mb.
Base: 97.5M параметров, размер ~372Mb.
Small: 24.8M параметров, размер ~95Mb.

Заголовок не совсем корректен, потому, что 3D версию можно сделать любого 2D материала: фильма, мультфильма, своих личных видео/фото и тд, да хоть скриншот с рабочего стола можно сделать в 3D. Но в данном материале мы будем делать 3D версию фильма.

В качестве материала возьмем Звездные войны. Эпизод IV: Новая надежда (Star Wars. Episode IV: A New Hope, 1977).