Sakhar 25 июн 2020 в 17:07

Я вам графония принес! Как нейросеть может улучшить разрешение в старых играх до HD

7 мин

21K

Работа с видео*Python*Машинное обучение*

+20

Комментарии 35

Alexufo 25 июн 2020 в 17:39

никогда не забывайте

+28

muxa_ru 29 июн 2020 в 01:18

Это свежий Дюк Пульс?

EyeGem 25 июн 2020 в 17:41

Интересно, однако как-то мыльновато получается и с наклонными линиями плохо справляется. Подойдёт для имитации плохого качества картинок в старых игровых журналах. А смысл пиксель-арта всё-тики в чётких линиях (без мыльности) и красивых кластерах пикселей (без бандинга и пр.) т.е. для качественно pixel art super resolution нужна особым образом натренированная нейросеть ^^

ardraeiss 30 июн 2020 в 17:57

Для этого, как понимаю, понадобится обучающий сет из арта в "целовом" суперрезе и его руками уменьшенного перерисовкой до "исходного" разрешения аналога, скорее всего перерисовкой с нуля. Оба ручной выделки, не просто "пожать разрешение в 8 раз редактором".
Дорого, где ж столько пикселартистов найти, готовых дважды делать каждый арт.

v1000 25 июн 2020 в 17:54

Вот если бы нейросеть могла бы исправить глупые сюжеты и диалоги в некоторых играх…

VEG 25 июн 2020 в 17:58

По-моему, во всех примерах «улучшения» стало выглядеть откровенно хуже. Пиксельность — это не значит плохо. Пиксельность — это часть стиля, которому часто следуют намеренно. От некоторых пиксельных картинок аж дух захватывает, настолько они классные. И «улучшайзеры» могут это только испортить.

+18

PrinceKorwin 25 июн 2020 в 17:59

Не. Не прокатило. При просмотре обработанных картинок глазу плохеет и мозг отказывается на это смотреть. При этом оригинальные изображения не вызывают никакого отторжения.

iga2iga 29 июн 2020 в 00:58

Есть такое… Мозгу приходится справляться не с восприятием картинки, а с попытками понять — «а не стоит ли тебе сгонять к окулисту, мой дорогой друг?!...» С другой стороны при просмотре пикселизированной картинки такого не возникает, мозг понимает, что со зрением пока что всё ок.

Angmarets 25 июн 2020 в 18:14

чет вспомнилась картинка

+19

perfect_genius 28 июн 2020 в 17:33

А есть такие фильтры, как справа?

yvm 25 июн 2020 в 18:57

Ждем, когда NN научатся оживлять людей по фотографиям любого качества.

victoriously 25 июн 2020 в 20:54

На деле результаты как на картинках можно вполне получить с помощью шейдеров, возможно, даже будет выглядеть лучше.

Только что проверил в RetroArch

Без шейдера / scalefx_hybryd

Как по мне, текст выглядит шикарно, да, некоторые детали графики, выраженные одним пикселем, могут изменить форму, но это все еще лучше, чем в статье.

dartraiden 25 июн 2020 в 23:14

Мне лично больше нравится xBR, но да, в случае с эмуляторами можно добиться примерно сходной картинки без нейросетей.

dmitryredkin 26 июн 2020 в 10:49

Именно так. Смысл нейронок как раз в не том, чтобы размазать границы спрайтов ( как вы сказали, шейдеры справляются с этим лучше), а чтобы внести в изображение больше деталей. И вот тут результаты пока что, на мой взгляд, нулевые.
И в принципе понятно, почему: каждый человек додумывает своё, и то, что понравится одному, будет совершенно отвергнуто другим. Вот и приходится авторам улучшайзеров выкручивать фантазию на минимум…
Из картинок в статье разве что дум-гай может похвастаться некоторым увеличением детализации…

VEG 26 июн 2020 в 11:16

Из картинок в статье разве что дум-гай может похвастаться некоторым увеличением детализации…

Только вот его лицо стало частично похожим на младенца (пухленькие щёчки).

dmitryredkin 26 июн 2020 в 11:20

О чём я и говорю. Мне нравится — вам нет…

dmitryredkin 26 июн 2020 в 14:39

Пикрелейтед:

Сорс

victoriously 26 июн 2020 в 14:16

Про смысл согласен, но нейронки пытаются натянуть куда угодно, даже туда, где они не нужны или есть аналоги лучше/производительнее.

iga2iga 29 июн 2020 в 01:02

Можно. И будет лучше. Но зачем тогда придумали нейросети?!.. Правильно! Что бы пихать их куда ни попадя.

GCU 26 июн 2020 в 00:36

Может просто неудачно подобрано, но местами выглядит хуже, чем стандартный фильтр Ланцоша. И вообще идея универсального увеличителя на мой взгляд обречена на провал, так как в низком разрешении дерево, обои, одежда или даже часть лица персонажа выглядят похоже, а при увеличении обладают абсолютно разными деталями. Соответственно сначала нужно корректно классифицировать объект, затем уже на основании выборки объектов заданного типа воссоздавать детали. А это довольно сложная задача.

Sakhar 26 июн 2020 в 16:50

При разработке как раз с фильтром ланцоша сравнивал, но это опустил —
Исходное

Фильтр ланцоша из библиотеки PIL

RTSR

GCU 26 июн 2020 в 21:50

Признаю что RTSR тут выглядит чётче, но насколько он стабилен? Например если сместить изображение от сетки на пиксель вправо/влево или вверх вниз. Артефактов нет?

Sakhar 26 июн 2020 в 23:22

В целом части, где такое в принципе могло бы возникнуть — это свертки. Но в данной сети все свертки 3x3 идут с шагом (stride) в 1 пиксель

Поэтому артефактов нет. Теоретически может быть артефакты на расстоянии до 4 пикселей от края, связанные с padding на границе, но реально они незаметны.
На практике возникала проблема в предобработке с неправильным ресайзом захваченного окна 640x480 (дос игры по большей части в реальном 320x240). Вот там иногда надо позаниматься пиксельхантингом, чтоб правильно уменьшить без размыления

qant 26 июн 2020 в 00:41

Ну как минимум для увеличения качества фотографии может пригодится, так можно будет напечатать маленькую фотку как большую картину, попробуйте кто-нибудь, интересно на результат посмотреть.

mistergrim 26 июн 2020 в 11:14

ESRGAN давно уже показывает впечатляющие результаты:

Оригинал

Результат

Для большей наглядности, оригинал в масштабе:

Пиксели

Ну или Topaz A.I. Gigapixel (результаты похуже, но зато одной кнопкой).

А у автора баловство какое-то.

Sakhar 26 июн 2020 в 16:56

Основная идея — оптимизация для увеличения FPS до реального времени.
ERSGAN и прочие SR сети сильно тяжелые, поэтому вот тут, например просто обрабатывают текстуры и пересохраняют. Ну или по кадрам в течение долгово времени обрабатывают, потом склеивают видео обратно

YuriM1983 26 июн 2020 в 13:16

Это примерно, как надеть очки на здоровые глаза. Спасибо, но нет. Чёткие пиксели — гораздо лучше.

ForeverLive 26 июн 2020 в 16:37

Сглаживать пиксельарт это очень глупо, даже немного абсурдно. При чем это насколько очевидно, что у меня зашкаливает возмущение и сложно подобрать слова. Пиксель арт сглаживать стали, ну приехали.

impwx 26 июн 2020 в 20:56

Поддерживаю. Примеры картинок в статье, имхо, фильтр только ухудшил — четкий, хрустящий пиксель-арт превратился в мыло.

Oxyd 27 июн 2020 в 19:47

Так и до аналогового чиптюна недалеко… А потом безалкогольное пиво, резиновая женщина…

Svoa 26 июн 2020 в 16:57

Мне кажется более детерминистские методы работают по крайней мере для ретро игр и пиксель арта лучше в частности www.researchgate.net/publication/220184192_Depixelizing_Pixel_Art
Или НС должна добавлять много информации cdn.vox-cdn.com/thumbor/evZZTbWheBNLq7hjd_Jzn0tCpaU=/800x0/filters:no_upscale()/cdn.vox-cdn.com/uploads/chorus_asset/file/16033641/jbhpQZLoeWwNdmqsEq94Je_650_80.gif

Koksh 26 июн 2020 в 16:57

Я думал в Блейдранере не улучшение изображения, а экстракция сильно запакованных слоёв высокого разрешения. типа фотка без читающего устройства, просто когда держишь в руках — это тамбнайл, превьюха