В NVIDIA Research продемонстрировали нейросеть GauGAN2, которая использует модель глубокого обучения и создает картины по текстовым описаниям. Для создания изображения ей достаточно всего три или четыре слова.

Достаточно, например, ввести словосочетание «закат на пляже», и ИИ сгенерирует данную сцену. Если добавить прилагательное, например «закат на каменистом пляже», или заменить «закат» на «полдень» или «дождливый день», то модель мгновенно изменит картинку.

Одним нажатием кнопки пользователи могут создать карту сегментации, высокоуровневую схему, которая показывает расположение объектов в сцене. Оттуда они могут переключаться на рисование.

Новую функцию преобразования текста в изображение GauGAN2 теперь можно испытать в демонстрациях NVIDIA AI.

Вместо того, чтобы рисовать каждый элемент воображаемой сцены, пользователи могут ввести короткую фразу, чтобы быстро создать тему изображения, например, заснеженный горный хребет. Затем сцену можно редактировать, чтобы, например, сделать конкретную гору выше или добавить пару деревьев на переднем плане или облака в небе.

Модель искусственного интеллекта, лежащая в основе GauGAN2, была обучена на 10 млн высококачественных пейзажных изображений с использованием суперкомпьютера NVIDIA Selene. Исследователи использовали нейронную сеть, которая изучает связь между словами и визуальными эффектами.

По сравнению с современными моделями, специально предназначенными для приложений преобразования текста в изображение, GauGAN2 обеспечивает большее разнообразие сцен и более высокое качество изображений, утверждают разработчики.

Демонстрация исследования GauGAN2 иллюстрирует будущие возможности инструментов создания изображений для художников. Одним из примеров является приложение NVIDIA Canvas, основанное на технологии GauGAN.

В июне NVIDIA выложила в открытый доступ бесплатную бета-версию Canvas. Минимальные системные требования: Windows 10, видеокарта из серии GeForce RTX, NVIDIA RTX, Quadro RTX, TITAN RTX, а также версия видеодрайвера 460.89 или новее. Размер дистрибутива бета-версии Canvas 1.0 составляет 1.1 ГБ. В Canvas есть различные фильтры, с помощью которых пользователь может нарисовать картину в стиле разных знаменитых художников.

Нейросеть GauGAN2 от NVIDIA создаёт картинку по текстовому описанию