В качестве небольшого любительского проекта я поэкспериментировал с нейросетями AI Gigapixel для апскейла одного из моих любимых научно-фантастических сериалов — Star Trek: Deep Space Nine (DS9), в русском переводе «Звёздный путь: Глубокий космос 9».

Перспективы Deep Space Nine

Так же, как Final Fantasy 7, где я делаю апскейл фонов, текстур и видео в моде Remako, DS9 лишён планов на выпуск HD-версии. В то время как популярные сезоны Original Series и The Next Generation (TNG) в основном сняты на плёнку, DS9 снимался в середине 90-х годов с наложением визуальных эффектов (космические битвы и т. д.).

Аналоговую плёнку можно заново отсканировать с более высоким разрешением, но с цифровым видео такое не получится. Ремастеринг сериала становится гораздо более дорогостоящим: это одна из причин, почему его не выпустили в HD.

Ремастеринг DS9 с машинным обучением

Я подумал, что здесь можно с пользой применить нейросети. С помощью таких инструментов, как AI Gigapixel, кадры низкого разрешения DS9 можно масштабировать до высокой чёткости: 1080p или 4K. Они никогда не сравнятся с хорошим ремастерингом, но это шаг в правильном направлении.

Поэтому я попробовал на парочке кадров, что получается. Результаты великолепны. AI Gigapixel использует нейронные сети, обученные на реальных фотографиях. Они хорошо подходят для апскейла рендеров видеоигр Final Fantasy, но также удивительно качественно отмасштабировали кадры и спецэффекты DS9.

Вот несколько примеров:


Оригинальное разрешение 480p (нажмите, чтобы увеличить)


Улучшенное разрешение 1080p (нажмите, чтобы увеличить)


Оригинальное разрешение 480p (нажмите, чтобы увеличить)


Улучшенное разрешение 1080p (нажмите, чтобы увеличить)

Эти отдельные кадры выглядели многообещающе. На первом наборе изображений обслуживающий персонал станции в скафандрах представляет собой лишь несколько пятен. После апскейла проявились гораздо более чёткие фигуры.

Крупный план руки тоже улучшился. Морщины и складки на коже выглядят гораздо более детализированными, а бейсбольный мяч лучше демонстрирует блеск и замысловатую прошивку.

Видео

Однако настоящая проверка — как нейросети справятся с последовательностью кадров, то есть видео. Появятся ли артефакты и другие проблемы? В конце концов, AI Gigapixel создана для апскейла отдельных изображений и не учитывает отношения между отдельными кадрами видео.

Для проверки я решил обработать часть эпизода «Жертва ангелов» 6-го сезона. Это отличная серия про Войну Доминиона, где есть и эпические космические битвы, и более личные моменты лицом к лицу.

Более подробно об этом процессе расскажу в будущих статьях, но если вкратце: извлечение и масштабирование кадров, а затем генерация из них нового видео заняла около двух дней. Это обработка первых пяти минут эпизода (резюме, начальная сцена и вступление). Вполне нормальное время для ПК среднего и высокого класса с общедоступным ПО.

Результат привел меня в благоговейный трепет. Он выглядел лучше, чем я надеялся. Никаких проблем и артефактов. Поскольку (движущиеся) изображения стоят более тысячи слов, вот два видеоролика для сравнения.

Первый демонстрирует ситуацию «до и после» на неподвижных кадрах.


Второй сравнивает два видео. Обратите внимание, насколько чётче выглядит улучшенная версия.


Настоятельно рекомендую смотреть эти видео через приложение YouTube на телевизоре, если это возможно. Это даёт лучшее ощущение, как будет выглядеть улучшенный DS9 непосредственно на ТВ.

Сравнения — это хорошо, но как выглядит реальное видео? Вот первые пять минут эпизода в полном объёме с разрешением 1080p:

Что насчёт 4К?

Честно говоря, не знаю. Хотя я могу увеличить масштаб до 4K, у меня нет телевизора или монитора с таким разрешением, чтобы проверить улучшения. Тем не менее, я записал это видео. Интересно услышать мнение людей с оборудованием 4K, выглядит ли оно лучше по сравнению с версией 1080p.

Рендеринг почти расплавил мой компьютер, так как он намного интенсивнее, чем 1080p, поэтому ограничимся только этим примером 4K.

Что дальше?

Поскольку я не владею правами на DS9, то не могу делать с сериалом что хочу. Я бы выпустил полные эпизоды, но это просто юридически невозможно. Данные видео служат скорее доказательством концепции, чтобы правообладатели из CBS взглянули на машинное обучение и нейронные сети для возможного ремастеринга DS9, который немного приблизит наш любимый фильм к эпохе HD.

Представьте, что может сделать профессиональная команда с мощным оборудованием, специально обученными нейронными сетями (возможно, обучив её на сезоне TNG — на наборе данных из оригинальных кадров и кадров после ремастеринга) и доступом к SD-исходникам вместо DVDRip, как у меня.

Ну а я со своей стороны могу более подробно рассказать о процессе апскейла, как я его проводил, что станет темой будущей статьи.

Дайте знать, что вы думаете об этом.