Нейросеть от Nvidia превращает простейшие наброски в красивые пейзажи


    Водопад курильщика и водопад здорового человека

    Все мы знаем, как нарисовать сову. Нужно сначала нарисовать овал, потом еще окружность, ну а потом — получается шикарная сова. Конечно, это шутка, причем очень старая, но инженеры Nvidia постарались сделать так, чтобы фантазия стала реальностью.

    Новая разработка, которая называется GauGAN, создает шикарные пейзажи из очень простых набросков (действительно простых — окружности, линии и все). Конечно, в основе этой разработки лежат современные технологии — а именно генеративные состязательные нейросети.

    GauGAN позволяет создавать красочные виртуальные миры — и не только для развлечения, но и для работы. Так, архитекторы, специалисты по ландшафтному дизайну, разработчики игр — все они могут почерпнуть что-то полезное. Искусственный интеллект сходу «понимает», чего хочет человек и дополняет изначальную идею огромным количеством деталей.

    «Мозговой штурм в плане разработки дизайна дается гораздо легче с использованием помощи GauGAN, поскольку умная кисть может дополнить изначальный набросок, добавив качественные изображения», — заявил один из разработчиков GauGAN.

    Пользователи этого инструмента могут изменять изначальную задумку, модифицировать пейзаж или другое изображение, добавлять небо, пески, море и т.п. Все, что душе угодно, причем добавление происходит всего за пару секунд.

    Нейросеть тренировали с использованием базы в миллионы изображений. Благодаря этому система может понять, чего хочет человек и как добиться желаемого. Причем нейросеть не забывает о мельчайших деталях. Так, если нарисовать схематично пруд и какие-то деревья рядом с ним, то после оживления пейзажа все близлежащие объекты будут отражаться в зеркале воды пруда.

    Системе можно указывать, какой должна быть видимая поверхность — она может быть покрыта травой, снегом, водой или песком. Все это можно за секунду преобразовать, так что снег станет песком и вместо заснеженной пустоши художник получит пустынный ландшафт.

    «Это как книжка раскраска, в которой говорится, где размещать дерево, где — солнце, а где — небо. Затем, после изначальной задачи нейронная сеть оживляет картину, добавляет необходимые детали и текстуры, прорисовывает отражения. Все это основывается на реальных изображениях», — говорит один из разработчиков.


    Несмотря на то, что системе не хватает «понимания» реального мира, система создает впечатляющие пейзажи. Все потому, что здесь используются две нейросети, генератор и дискриминатор. Генератор создает изображение и показывает его дискриминатору. Тот, основываясь на миллионах виденных ранее изображений, выбирает наиболее реалистичные варианты.

    Именно поэтому генератор «знает», где должны быть отражения. Стоит отметить, что инструмент весьма гибкий и оснащен большим количеством настроек. Так, с его помощью можно писать картины, подстраиваясь под стиль определенного художника или просто баловаться с быстрым добавлением восхода или заката.

    Разработчики утверждают, что система не просто берет откуда-то изображения, складывает вместе и получает результат. Нет, все получаемые «картинки» являются генерированными. То есть нейросеть «творит», как настоящий художник (или даже лучше).

    Пока что программы нет в свободном доступе, но вскоре ее можно будет опробовать в работе. Это можно сделать на технологической выставке GPU Technology Conference 2019, которая прямо сейчас идет в Калифорнии. Счастливчики, которые смогли посетит выставку, уже могут потестировать GauGAN.

    Нейросети уже давно учат принимать участие в творческом процессе. Например, в прошлом году, некоторые из них могли создавать 3D модели. Кроме того, разработчики из DeepMind обучили нейросеть восстанавливать трехмерные пространства и объекты по рисункам, фотографиям, наброскам. Для того, чтобы воссоздать простую фигуру, нейросети хватает одной картинки, для создания более сложных объектов требуется пять картинок для «натаскивания».

    Что касается GauGAN, то этот инструмент явно найдет достойное коммерческое применение — у многих направлений бизнеса и науки есть необходимость в подобных сервисах.
    Поддержать автора
    Поделиться публикацией

    Комментарии 19

      +3
      Все потому, что здесь используются две нейросети, генератор и дискриминатор. Генератор создает изображение и показывает его дискриминатору. Тот, основываясь на миллионах виденных ранее изображений, выбирает наиболее реалистичные варианты.

      Ну, это общее описание вообще всех генеративных состязательных сетей.

        +7
        Где демо?
          +1
          Пока что программы нет в свободном доступе, но вскоре ее можно будет опробовать в работе
          +2
          Слишком громкие заявления. Надеюсь оно работает лучше чем их программа для удаления деталей с изображения:
          www.nvidia.com/research/inpainting
            +6
            Так вот ты какая, кнопка «сделать пиздaтo все хорошо»
              +17
              Так вот как оно получилось!
              image
                +2
                Чебуратор

                +2
                Где скачать? Дайте две!
                  +1
                  На заглавной картинке с отражениями всё не так уж и хорошо (хотя они есть).
                    +2
                    Думаю немного подрехтовать и иллюстрации для 90% фентези можно будет рисовать этим.
                      +1
                      Давным-давно, в каком-то из древних выпусков GPU Gems, была опубликована ссылка на простой алгоритм, позволяющий сделать примерно то же самое, только степень контроля над происходящим в плане предсказуемости результата была выше. И безо всяких нейросетей, которые тогда были ещё не в тренде.
                      Скрины



                        0
                        А точно картинки не надо местами поменять?
                          +4
                          Так что, уже можно хентай в нормальное порно кнвертировать?
                            +1
                            не просто нормальное, а с кастомизируемыми учасниками )
                            0
                            А куда записаться чтоб оповещение получить, когда эта программа станет доступна в паблике?
                              0
                              Так вы бы открыли ссылку из статьи, там буквально сказано «code will be available at this https URL. » — github.com/NVlabs/SPADE
                              +1
                              Фотошоп 80-го уроня.
                                0
                                Если присмотреться к демовидео, то можно увидеть что эта нейросеть добавляет картинки по типу текстур. В статье указано что она может сделать даже лучше художника и всё в таком духе. Но мне кажется, артефактов, особенно в месте соединения разных текстур слишком много, видна неаккуратная склейка и неестественность картинки.

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое