Искусственный интеллект улучшает качество графики старых видеоигр и делает это действительно хорошо



    Технологии искусственного интеллекта постепенно развиваются, помогая решать задачи и проблемы самых разных сфер — от бизнеса до медицины и развлечений. Недавно стало известно еще об одной задаче, которую ИИ решает очень хорошо. Речь идет об игровых модах — как оказалось, машинное обучение отличный инструмент для улучшения графики классических компьютерных игр.

    Технология, о которой идет речь, получила название “AI upscaling”. Все просто, как часы: алгоритму «скармливается» изображение из игры низкого разрешения, и чуть позже ИИ выдает улучшенную версию этого экземпляра. Конечно, в начале работы необходимо обучить нейросеть, иначе никакого улучшения не будет. Но после обучения ИИ демонстрирует весьма интересные результаты работы.

    Пример — графика из The Elder Scrolls III: Morrowind. Поклонник этой игры обработал все графические файлы при помощи алгоритма и получилось если не идеально, то близко к тому.


    Обычно на улучшение качества текстур из какой-либо игры нужна работа целой команды энтузиастов, которые тратят дни, недели и месяцы личного времени на достижение нужного результата. Это сотни и сотни часов всей команды, причем далеко не всегда проект удается закончить.

    При помощи ИИ графику нельзя улучшить за пару минут, но все же работа выполняется гораздо быстрее — уже за недели, а не месяцы или даже годы. Причем работу может выполнить один-единственный человек. Вполне может быть, что вскоре мы увидим большое количество «перелицованных» старых игр, которые будут выглядеть по-новому.

    Улучшениям уже подверглись такие известные тайтлы, как Doom, Half-Life 2, Metroid Prime 2, Final Fantasy VII, и Grand Theft Auto: Vice City. Недавно даже Mass Effect 2 улучшили, получив очень неплохой результат.

    По словам одного из «оптимизаторов», у него ушло около 200 часов работы на настройку работы алгоритма и получение желаемого результата. Но зато всего один человек смог обновить Doom.

    Оптимизаторы ведут работу с играми, где текстуры хранятся в специальных файлах. Это изображения камней, металла, травы, оружия и всего прочего, что есть в игре. При запуске все эти изображения «натягиваются» на карты уровней и мы видим то, что видим.

    По словам тех, кто уже занимался улучшением графики, после работы ИИ остаются графические артефакты, которые приходится убирать вручную. На это и уходит время. К слову, примерно то же происходит и во всех остальных случаях, когда используется искусственный интеллект — его наличие в проекте вовсе не означает отсутствие человека. «Ручная» работа все еще нужна.

    Вот один из сервисов, которые активно используются моддерами и оптимизаторами.

    Сервис имеет две функциональных части. Первая переводит изображение (вернее, пытается перевести) из low-res в high-res. Ну а вторая часть занимается сравнением того, что получилось с накопленным после обучения «опытом». Если вторая часть оценивает картинку как «удачную», она принимается в качестве результата.



    При этом с течением времени ИИ совершенствует методы своей работы и усложняет алгоритмы. Это не просто «растягивание» изображений, что может делать графический редактор, а реальное многоступенчатое преобразование.


    Геймеры, которые играют в оптимизированные игры (и помнят оригинальные версии) говорят, что впечатление при прохождении остается прежним, эмоции все те же. Но добавляется еще и восхищением качеством «новой» картинкой. Раньше геймеры видели более качественную картинку благодаря тому, что графика отображалась на кинескопах старых версий, так что многие графические артефакты были просто незаметны. А вот сейчас, при запуске старой игры на современном мониторе все недостатки видны, как на ладони, что в некоторых случаях снижает удовольствие при прохождении.


    Выше уже говорилось, что вскоре мы увидим старые игры в новой упаковке — и это действительно так. Все больше появляется сервисов, позволяющих оптимизировать графику и моддеры всех мастей работают над различными проектами. Остается немного подождать и мы сможем насладиться новыми впечатлениями от игры в известные тайтлы.


    Madrobots
    240,00
    Приближаем сингулярность за ваши деньги
    Поделиться публикацией

    Комментарии 45

      0
      А почему не научить нейросети вылавливать графические артефакты и убирать их, чтоб еще больше ускорить процесс и снизить трудозатраты??
        +5
        Учить как? Это мы знаем как трава и деревья выглядят, а для нейросети придется брать реальные пейзажи и отрисовывать на движке игры
          0

          Сети, построенные на архитектуре GAN (как упомянутый ESRGAN), так и учат — показывают реальные траву и деревья. Сеть запоминает закономерности, характерные для реальных объектов и соответственно этому вносит коррекцию при повышении разрешения.

            0
            если человек может отличить графический артефакт, то и нейросеть сможет — а как обучать — да так же нарезать картинки с артефактами и без, и учить. Артефакты же не уникальны, нейросеть сможет их распознать и возможно удалить, налепив заплатку.
          +26
          На видео не хватает разделения экрана, чтобы сравнивать «до» и «после».
            0
            Абсолютно согласен. Есть только в видео по ФФ7 и там что-то невероятно крутое как по мне.
              +1
              можно и картинки глянуть, например здесь. вполне наглядно.
              0
              Готовимся к тому, что скоро на видеокартах будет еще и fpga для нейросети…
                +6
                Ну tensor cores на RTX'ах есть уже.
                +4
                Так последних видеокартах на NVidia уже есть же тензорные ядра для нейросетей. Используется для как раз для повышения разрешения.
                  +1
                  Т.е, когда выставляешь разрешение 4к, кадр рендерится с меньшим и потом апскейлится до нужного?
                  0
                  Вот бы посмотреть сравнение не с Nearest neighbor, а с Lanczos.
                    +1
                    Будет просто мыло. IMHO лучше уж квадраты.
                    DOOM с новыми текстурами очень порадовал.
                      0
                      можно ссылку для дума? тоже хочу порадоваться.
                        +1
                        Если не ошибаюсь — вот тут. Не помню уже откуда качал.
                          0
                          посмотрел в doom 1. стиль итоговой картинки мода похож на встроенный в gzdoom режим xbrz 2x, только деталей побольше. если бы не знал, то не уверен, что заметил бы разницу. мне с пикселами как-то привычнее, не так заметна низкая детализация. я только оружие сглаживаю.
                            0
                            Такого режима не пробовал, но текстуры были больше чем *2. Вроде писали, что алгоритм несколько раз прогоняли для больших разрешений. По крайней мере артефакты были очень характерные для этого способа.
                    +7

                    Ну здравствуй, Глубина!

                      0
                      «Геймеры, которые играют в оптимизированные игры (и помнят оригинальные версии) говорят, что впечатление при прохождении остается прежним, эмоции все те же. » — это самое главное!

                      Морра была великолепна, она такой остается и до сих пор.
                        0
                        Прощай рынок ремастер поделок.
                          0
                          Наоборот, здравствуй рынок простых ремастеров. Теперь не нужно рисовать новые текстуры, а можно апскейлить старые и заново продать.
                            0
                            Это упирается в вопрос общедоступности такого софта.
                            Если он будет работать на среднем компьютере и стоить недорого — то для многих игр пользователь сам сможет сделать ремастер, и зачем ему покупать всякие там «enhanced edition»?

                            А, да, есть еще второй вопрос — сложность выковыривания ресурсов из игры и заковыривания обратно после улучшения. Могут быть проблемы, если ресурсы хранятся достаточно жестко и обфусцированно. Но это крайне редкий вариант.
                              +1

                              Ну, многие старые игры надо адаптировать к широкому экрану, починить интерфейс и возможность запуска на win10 например.

                                0
                                Надо-то надо, но если игроки смогут это делать самостоятельно (а нейросети для апскейла изображений уже вполне доступны — Let's Enhance, waifu2x, Mail.ru Vision, и даже в Фотошопе такой фильтр есть, в общем — см. habr.com/ru/post/438886), то рынок ремастеров коммерческих («продать второй раз то же, но с перламутровыми пуговицами») может таки потерять свою прибыльность.
                                  +1
                                  Одумайтесь не повторяйте мою ошибку. Если вдруг ремастер будет сделать сложнее чем запустить косынку, то это выгодный рынок и потребитель будет.
                                0
                                Могут быть проблемы, если где-то есть константы типа MAX_TEXTURE_WIDTH и буферы выделяются с их учётом. Как эти константы легли в код при компиляции — тоже нетривиальная задача выяснить.
                                  0
                                  Я именно про эти проблемы. Так-то обычно ресурсы не обфусцируют.
                            0
                            Мне кажется все пошло от статьи про Монти и его 4к
                            Я тогда тоже скачал эту программу чтобы хоть как то улучшить свой любимый сериал The Golden Girls в итоге ничего не вышло, нейросеть практически не улучшила его
                              +4
                              Логичным продолжением нейросетевой модернизации графики стала бы модернизация 3d-моделей (где они есть), а не только текстур. Наиболее приемлемым для таких целей мне видится воксельное представление моделей.
                                0
                                Может теперь TesRenewal Skywind выпустят в этом столетии.
                                  +1
                                  Было бы любопытно посмотреть на обновленного первого макс пейна если это вообще возможно.
                                    +2
                                    у старых 3d игр есть большая проблема — очень простенькие модельки. на «квадратную» голову первого макса хоть какую текстуру не натяни, лучше она от этого не станет.
                                    вот когда нейросети научатся полноценно воссоздавать старые игры на новых движках с полной заменой всего и вся — тогда да.
                                    думаю, что и до этого доживём, причём довольно скоро.
                                      0
                                      Согласен. Может быть в будущем при подобной переделке в игру добавят нсп, а то город малолюдный очень.
                                        0

                                        а потом все это будет тормозить на топовых печах, т.к. движок на такое не рассчитывался :)

                                      0
                                      Сейчас не вспомню конкретики, но бывали случаи, когда грамотно сделанная текстура маскировала недостаток детальности модели.

                                      Но для совсем примитивных моделей да, это плохо работает. Впрочем, даже в этом случае можно добиться интересных результатов:
                                      image
                                      (скины для Quake 1)
                                        0
                                        на картинке текстуры как раз под стать модели, поэтому смотрится вполне нормально. а вот если на эту модель натянуть текстуры высокого разрешения с хорошей детализацией и чёткостью — то вся убогость модельки мгновенно вылезет наружу.
                                        можно конечно и замаскировать, но для этого нужен талантливый художник и далеко не факт, что на выходе получится что-то похожее на оригинал.
                                    +2
                                    Ещё бы саму 3д детализацию улучшать…
                                      0
                                      Жду того момента, когда нейронке будет достаточно «скормить» бинарник лобой игры, а та сможет его полностью перекомпилировать на современный движок, с детально проработанными текстурами, модельками и анимациями. Вот тогда нас ждет настоящий ренессанс ретрогейминга. Но для этого нужен уровень едва ли не полноценного ИИ.
                                        +1
                                        У меня было подозрение, что мой мозг улучшает качество картинки, теперь же я в этом просто уверен.
                                          +1
                                          Так оно и происходит, мозг дорисовывает, буквально додумывает то, чего на картинке не было. Исключение наверно просмотр корявых экранок.
                                            0
                                            И на корявые экранки можно натренироваться, вопрос практики…
                                          0
                                          Подскажите, где можно посмотреть на Vice City и есть ли такой мод для American McGee's Alice?
                                            0
                                            набрать в youtube «vice city esrgan». или надо именно вживую? ну тогда гугл в помощь. про алису не интересовался, мож и делал кто, сейчас чуть ли не каждый день что-то новое по этой теме появляется(не в смысле готовых текстур, а в смысле проектов).
                                            +2
                                            В действительности графика не улучшается, просто картинка становится четче.

                                            Как по мне, куда важнее освещение, а не качество текстур. Чего только стоит Minecraft с рейтрейсингом. Думаю, что нужно совмещать такие вещи. А если добавить ещё и деталей через Меш-шейдер, постобработку, то вообще сахарно будет :)

                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                            Самое читаемое