Меня давно интересовала тема апскейла изображений, отдельно — апскейла старых видео. Одно из первых решений, которое попалось в руки несколько лет назад — waifu2x. Но эта нейронка больше подходила для апскейла аниме (насколько я помню на них она и тренировалась). То есть, waifu2x подходила для довольно простых изображений без избытка деталей и сложности текстур.
Затем я поизучал ESRGAN и Real-ESRGAN. Довольно неплохие модельки, вполне годятся для апскейла изображений, но очень часто заметна синтетичность, особенно в сложных сценах, например когда на изображении есть деревья. Я даже попробовал дотренировать Real-ESRGAN (к слову это делать не сложно, на их гитхабе есть скрипты и инструкции), но пока дособирал свой датасет для тренировки на глаза попалась другая модель — SwinIR, протестировав которую понял — она покрывает мои текущие потребности, если не полностью, то по меньшей мере процентов на 80%. А потребности были — заапскейлить несколько старых фильмов, и чтобы после апскейла фильм смотрелся как фильм, а не как пластилиновый театр. В целом все получилось. Именно об этом статья.
Апскейлить будем фильм «Пираты Силиконовой долины» (1999г, США, DVD5). Он повествует о появлении домашнего ПК и становлении компаний Apple и Microsoft. Довольно интересный фильм с бунтарским духом той эпохи. Главные герои — молодые Стив Джобс, Стив Возняк, Билл Гейтс и другие участники «революции домашних ПК». Кстати, апскейлить фильм будем конечно же на домашнем ПК.
