Нейросеть создаёт картины в стиле Ван Гога и Пикассо



    Компания Google недавно показала, как нейросеть может самостоятельно создавать произведения искусства. Попросту говоря, рисовать картины, утрируя существующие изображения.

    Новый эксперимент, проведённый в университете Тюбингена (Германия) демонстрирует альтернативный алгоритм для нейросети: она правдоподобно подделывает художественный стиль Винсента Ван Гога, Пабло Пикассо, Эдварда Мунка и любых других художников. На вход для обработки подходят любые изображения.

    Пример работы алгоритма показан иллюстрациях вверху, где нейросеть обработала в разных стилях фотографию улицы в немецком городке.

    Сгенерированные картины действительно красивы и, без сомнения, имеют высокую художественную ценность. Впрочем, это не означает, что оригиналы произведений великих мастеров прошлого упадут в цене. Скорее наоборот, ценность подлинников только возрастёт.

    Нейронная сеть имеет 19 вложенных слоёв, а обработка исходного изображения происходит в несколько стадий. На каждой стадии в иерархии количество фильтров увеличивается, но при этом размер картинки становится меньше за счёт реализации механизма своеобразного даунсэмплинга.



    Стилизация под конкретного автора происходит на этапах d, e.

    Авторы научной работы считают главным достижением то, что удалось успешно отделить репрезентации контента и стиля в нейросети. Таким образом, ими можно управлять независимо друг от друга. Например, взять контент с одного изображения, а стиль — с другого. Именно это показано на самой первой иллюстрации, где одна фотография преобразуется в картины, выполненные в разном стиле.

    Слои со стилем применяются или ко всему изображению, или фрагментарно. Вот как выглядит фотография города, если к ней применить стиль знаменитой картины «Композиция VII» Василия Кандинского.

    Оригинал


    Результат работы нейросети
    Поделиться публикацией
    Комментарии 11
      +2
      Ссылка на исходную публикацию на arxiv.org
        +9
        Инструмент в онлайн они не выложили? Поиграться же хочется. Это ж наркота посильне Deep Dream!
          0
          Ещё бы робота сделать, который бы такое рисовал красками…
          +3
          Интересно, сможет ли он смоделировать стиль Шишкина? Перова? Кустодиева? Тех картин, где практически нет искажений?
            +2
            Явно же уклон во всякие импрессионизмы-абстракцонизмы. И нет признаков, что алгоритм дружит с обработкой фоток людей. Для имитации всяких Шишкных достаточно взять любую фотку с природой и наложить по вкусу любой фотошоповский фильтр, имитирующий краски. С Перовым сложнее: взять сюжетную фотку, поиграться с яркостью-контрастом, выделить нужное. А вот Кустодиев хорошо с этим алгоритмом должен пойти.
              +2
              Посмотрите в сторону Dynamic Auto Painter.
            • НЛО прилетело и опубликовало эту надпись здесь
                0
                Не могу понять как они обучили сеть. Есть статьи раскрывающие механизм построения и обучения?
                +1
                Сомнения берут, что им удалось обучить 19 слоев. Может они просто фильтры набрали из уже обученных сеток сложив их в последовательный конвейер?

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое