Google уже демонстрировала, как нейросеть создаёт картины в стиле Ван Гога и Пикассо, но такой метод не подходит для видео: результат покадрового изменения фильма будет сложно склеить. Немецкие учёные справились с этой проблемой — их нейросеть распознаёт объекты в кадре, запоминает их и использует один и тот же стиль для отрисовки, когда они появляются снова.
![image](https://habrastorage.org/r/w780q1/getpro/geektimes/post_images/320/eee/31b/320eee31b9999589ef840c9ec8250a2e.jpg)
Переработка кадров из фильма «Ледниковый период» в стиле «Звёздной ночи» Ван Гога
Нейронные сети обучают с помощью большого количество изображений. Каждая такая сеть состоит из ряда слоёв — от двух до 30 — с разным уровнем абстракции. Фотография или рисунок для получения конечного результата проходит через все эти слои. В июле 2015 года Google продемонстрировала, как нейросеть создаёт произведения искусства из рандомного шума.
![image](https://habrastorage.org/r/w1560/getpro/habr/post_images/7d2/631/f87/7d2631f87f11d595c901a8be6ae1fb7a.png)
В том же году в университете Тюбингена, Германия, провели эксперимент, который продемонстрировал способность нейросети подделывать художественный стиль великих мастеров — Ван Гога, Пикассо, Мунка и других. В качестве исходника используются любые изображения и фотографии. Результаты — на изображении ниже. Главным достижением авторы эксперимента посчитали возможность независимо управлять контентом и стилем в нейросети.
![image](https://habrastorage.org/r/w780q1/files/75a/1ed/c88/75a1edc88a934298995e6c29118080fd.jpg)
На исследование учёных из университета Тюбингена ссылаются Алексей Досовицкий, Мануэль Рудер и Томас Брокс из университета Фрайбурга, Германия. Учёные улучшили возможности нейросети для того, чтобы изменять не отдельные изображения, а видеоряд. В случае покадрового изменения объекты в каждом кадре могут быть переработаны различно, и результат будет сложно совместить. Учёные справились с этой проблемой, научив нейросеть распознавать объекты, следить за тем, чтобы их отображение не менялось слишком сильно в видео, и использовать каждый раз при их появлении один и тот же стиль.
![image](https://habrastorage.org/getpro/geektimes/post_images/320/eee/31b/320eee31b9999589ef840c9ec8250a2e.jpg)
Переработка кадров из фильма «Ледниковый период» в стиле «Звёздной ночи» Ван Гога
Нейронные сети обучают с помощью большого количество изображений. Каждая такая сеть состоит из ряда слоёв — от двух до 30 — с разным уровнем абстракции. Фотография или рисунок для получения конечного результата проходит через все эти слои. В июле 2015 года Google продемонстрировала, как нейросеть создаёт произведения искусства из рандомного шума.
![image](https://habrastorage.org/getpro/habr/post_images/7d2/631/f87/7d2631f87f11d595c901a8be6ae1fb7a.png)
В том же году в университете Тюбингена, Германия, провели эксперимент, который продемонстрировал способность нейросети подделывать художественный стиль великих мастеров — Ван Гога, Пикассо, Мунка и других. В качестве исходника используются любые изображения и фотографии. Результаты — на изображении ниже. Главным достижением авторы эксперимента посчитали возможность независимо управлять контентом и стилем в нейросети.
![image](https://habrastorage.org/files/75a/1ed/c88/75a1edc88a934298995e6c29118080fd.jpg)
На исследование учёных из университета Тюбингена ссылаются Алексей Досовицкий, Мануэль Рудер и Томас Брокс из университета Фрайбурга, Германия. Учёные улучшили возможности нейросети для того, чтобы изменять не отдельные изображения, а видеоряд. В случае покадрового изменения объекты в каждом кадре могут быть переработаны различно, и результат будет сложно совместить. Учёные справились с этой проблемой, научив нейросеть распознавать объекты, следить за тем, чтобы их отображение не менялось слишком сильно в видео, и использовать каждый раз при их появлении один и тот же стиль.