Intel сделала фотореалистичную графику в GTA V с помощью машинного обучения

    Intel Labs работает над проектом «Enhancing Photorealism Enhancement» (EPE) для создания фотореалистичного окружения. Исследователи добились высоких результатов по сравнению с другими технологиями благодаря использованию датасета с фотографиями реальных городов и алгоритмам обработки, которые убирают артефакты изображения.

    Сотрудники Intel Labs построили свой проект на базе датасета Cityscapes, который содержит в себе фотографии немецких городов, снятых на камеру, закреплённую на автомобиле.

    Часто, при обработке видеопотока с использованием методов машинного обучения возникают артефакты изображения: мерцания, прыжки, исчезновение деталей объектов и т.д. Разработчики смогли избежать этого. Для этого они использовали дополнительные данные такие, как глубина объектов, расстояние до камеры и информацию об обработке и визуализации освещения.

    Сравнение изображений с дополнительными данными и без них
    Сравнение изображений с дополнительными данными и без них

    В результате работы EPE поверхность дорог сглаживается, меняются блики на транспорте, преображаются холмы и растительность. Кроме этого, к итоговому изображению применяется цветовой фильтр для повышения реалистичности.

    Технология захватывает картинку из игры и обрабатывает её через Image Enhancement Network. Разработчики используют дополнительные геометрические данные, например, нормали поверхности и расстояние до камеры. Помимо этого, дополнительные данные включают в себя информацию об освещении объектов и характеристики диффузных отражающих способностей поверхности. Комплексный набор дополнительных данных — G-buffers, используется в работе сети для улучшения выходной информации.

    Схема работы технологии
    Схема работы технологии

    Обработанное изображение оценивается «перцептивным дискриминатором» и ему присваивается оценка. Для более объективной оценки изменённая картинка сравнивается с фотографией реального мира.

    Intel Labs считает, что развитие программного обеспечения для улучшения компьютерной графики может сыграть такую же важную роль, как и увеличение вычислительной мощности видеокарт. Исследователи полагают, что в дальнейшем технологию можно довести до использования в режиме реального времени.

    Реклама
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее

    Комментарии 14

      +16

      Такое ощущение, что они всего лишь добавили немного мыльца и поправили тон и насыщенность цвета.

        +6
        Ну а что поделать, если реальность такая блеклая и немного мыльная?
        +7
        замылили и добавили зелёного…
        даже я со своим астигматизмом оценил =)))
        ps: эффект есть, на уровне ощущений — заметный, но, мне кажется, из-за пониженной резкости, большое количество деталей в исходнике сильно перегружает восприятие, а мыльное смотрится легче =)
          0
          Датасет немецкого города, и потому из Калифорнии получился немецкий город. С идеальными немецкими дорогами.
            0
            Похоже, датасет всего лишь 720p. Ну или разрешение ограничено для реалтаймовости.
            +2
            Какой отличный инструмент для создания фейковых видео. Пропаганда оценит.
              –1
              обратите внимание на license plate на транспортных средствах. обучали нейросеть на видео из Германии, как мы знаем — в ЕС номера имеют синюю область слева. и вот модифицированном на видео из игры калифорнийские номера синят слева тоже :D

              кстати да, немного палитрой мне стало похоже на GTA IV
                0
                Мне палитра и мыльцо больше напомнили Fallout 3 :)
                +2
                Да, было бы интересний посмотреть что они сделают с NFS 1 :)
                В принципе, ничего невозможного, была же нейросеть, которая рисовала картину по цветовой разметке (где синее — нарисовать воду, где зелёное — растительность и т.п.)
                  0

                  Идея прикольная, но нужно было собрать датасет из голивудских фильмов. Немецкие регистраторы создают такое себе впечатление.

                    0

                    Ну, теперь можно GTA VI и не выпускать.

                      +1
                      Достижение, конечно, но это именно тот вариант, где излишний фотореализм вредит эстетике игры.
                        0
                        Тык назначение этого, скорее всего — генерировать данные для обучения нейросеток, а не радовать глаз геймера)
                        0
                        Сделали из солнечной Калифорнии серую городскую Германию.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое