Как стать автором
Обновить

Генеративные нейросети и этика: появилась модель, копирующая стиль конкретного художника

Время на прочтение6 мин
Количество просмотров8K
Всего голосов 35: ↑32 и ↓3+29
Комментарии47

Комментарии 47

Проблема в том, что многие художники и дизайнеры ориентированы на массовую публику, которая не имеет художественного вкуса и ей все-равно, насколько жутковатые глаза или непродуманные тени на рисунке (чего греха таить многие рисовальщики халтурят), она вполне будет удовлетворена сгенерированными рисунками. Рекламные агенства, декораторы и прочие точно-так же ориентируются на общую публику, а значит перейдут на применение результатов нейросетей. Небольшой процент эстетов типа меня, которые морщат нос, не являются основой платежеспособной базы.

Ценность традиционных рисунков или ручной работы, например скультптуры, вырастет, но в целом очень много людей лишится работы, и уже не получится ставить художество на поток. На подходе генерация видео по запросам, а значит и там у работников проблемы. Где нужна была команда CGI специалистов для генерации сцены или клипа достаточно будет ноутбука с доступом к интернету.

Впрочем это часть общего опасения по поводу рабочих мест в новом мире, где все делает ИИ. Мы так и так придем к безусловному базовому доходу.

Я думаю, что не лишним будет провести аналогию с CGI, заменившей в своё время очень много людей, создававших реквизит для фильмов.
В случае CGI уже очень заметно, что
1. хронически не хватает бутафоров и бюджета на реквизит даже в очень дорогих проектах (см. новый амазоновский сериал по Толкиену с платьями из штор)
2. качество картинки очень сильно упало, потому что обязанности художественного руководителя частично перешли к продюссерам.

На данный момент нейронки умеют: плохо рисовать скетчи (приемлимо, если заставлять её исправлять все косяки), плохо делать обводку (равномерную лучше сделает программа, а вот с передачей движения все очень плохо), плохо рендерить изображения.
Очень хороший художник, возможно, и сможет заставить нейросеть нарисовать что-то приличное, но большинство огрехов ему будет удобнее поправить самостоятельно, чем заставлять нейронку каждый раз искать приличный вариант.
Да и оригинальную идею удобнее набросать, чем как-то искусственно пытаться заставить выдать нужный результат.

Нейронка удобна тем, например, кто хочет красиво поставить свет, но не знает как правильно ставить свет (где нарисовать блики, тени, рефлексы, etc.).
Но человек, который умеет ставить свет сам, сразу видит все ошибки нейросетки, и как их исправить.

Как мне кажется, качество большинства картинок, которые будут производиться нейронкой, будет только падать.
Потому что всё больше и больше в нейрорисовальщики будут идти люди, которые не умеют рисовать сами.
А значит, не смогут понять, в чём ошибки, где надо поправить, и в принципе не будут знать теорию.

Ставлю на то, что если нейронка вытеснит художников, то лет через 10 начнется ностальгия по временам когда "даже реклама была красивой"

Лет через десять человек, разговаривающий с телевизором, будет нормой.

-Не, ну че за лошара, тебя опустили, а ты взял и ушел? А ну развернись и въ.би этому мудаку!

Когда они заменили дизайнеров, я молчал: я же не был дизайнером (с)

Я думаю, что эта "весна ИИ" долго не продлится, и на нейронки накинут точно такую же удавку, как и на Интернет. Сейчас с одной стороны подтянут этические обоснуи (нейронки же могут генерировать порно и всякий расизм, а ещё сцены насилия!), с другой подтянут свои главные калибры копирасты (доказывайте лицензионную чистоту каждой из 20 млн картинок обучающей выборки, иначе любой выхлоп вашей нейронки будет приравнен к пиратству).

И кончится тем, что нейронки будут выпускать зацензуренные по уши в полном соответствии с каким-нибудь дебильным CoC, а обучать разрешат только на лицензионно чистых выборках, которые уже не будут давать такого разнообразия в выхлопе.

После чего гуманитарии облегчённо выдохнут и пойдут и дальше зарабатывать деньги на том, что теоретически мог бы сделать ИИ, если бы это не было запрещено.

НЛО прилетело и опубликовало эту надпись здесь

Думаю при нормальном выхлопе подтянутся крупные игроки. Зачем платить художникам, если у тебя картинки почти бесплатно и мгновенно может генерировать нейронка.

Проблема с нейронкой в том, что её нельзя заставить нарисовать одного и того же персонажа в анфас, в профиль, со спины, в 3/4, хмурящимся, весёлым и т.п. Чисто по тому, что она не "знает", что то, что оно изобразило — это персонаж, а не тупо набор пикселей. Всякие КПДВ, которая вещь в себе в единственном экземляре — да, можно (но и сейчас уже, когда в кадре хоть что-то с надписями, они получаются на эльфийском).

Ну для, например, недорогих изданий книг, можно с этим не заморачиваться, а просто генерировать разные картинки всяко интереснее чем без них. Как доп услуга например может взлететь. В остальном, понятно что это дело в лучшем случае ближайшего будущего, но никак не сегодняшнего дня.

Ну на самом деле можно, хоть и не очень просто.

Во-первых, можно обучить нейронку генерировать не одиночное изображение, а сразу атлас связанных рисунков в нескольких позах. Именно так например работает вот этот генератор спрайтовых листов.

Во-вторых, имея одиночное изображение персонажа можно запечь его в эмбеддинг, и тогда сетка будет генерировать именно его в разных вариациях (см. Textual Inversion). Да, там есть свои ограничения и не всё так просто, но сама возможность всё же имеется.

В дальнейшем очевидно возможности нейронок будут только расширяться, и большинство проблем так или иначе решат.

Как доказать, что это нарисовала нейронка, а не я сам?

В общем случае весьма затруднительно, а вот если известна конкретная модель нейронки, то по артефактам синтеза ловится легко.

Так, творения Stable Diffusion детектятся по остаточному шуму (нейронка работает на шуме очень специфического вида, и некоторые его количества остаются на картинке), генерации свёрточных нейронок вроде StyleGAN опознаются по артефактам свёртки (характерные пики в частотном спектре после Фурье-преобразования), ну и т.д.

Если алгоритмы детекта будут в публичном доступе (а как иначе для аргументации в суде), что мешает сделать фильтры, которые напрочь убивают эти артефакты?

А в ответ энтузиасты выпустят нейронки, обученные на картинках по лицензии Creative Commons.

А вы как считаете, есть этот этический водораздел: пользоваться Dalle 2 –
это норм, а настраивать на конкретного художника – зло?

Мне кажется тут история как с искусственными рубинами (или другими камнями). Если вы сделали искусственный рубин и преподносите его именно как искусственный, то всё замечательно. Это не подделка, вы продаете честно как есть.

А вот если вы этот рубин продаете как натуральный, т.е. во многие тысячи раз дороже, то тут уже печаль, это будет самый настоящий обман.

Им же банально страшно, все эти талантливые художники с богатым внутренним миром сейчас находятся в положении кузнеца 18-го века которому показали современную производственную линию.

Они прекрасно понимают что ничего не могут поделать, и всё что остаётся - рассказывать о том что нейросети рисуют "не то" потому что у них нет души и вообще особого внутреннего видения которое делает мои работы уникальными. Думаю что уже сейчас генеративные модели сложно отличить от человеческих работ при слепом тестировании, а что будет через 5 лет рассказывать не нужно.

Я бы и сам расстроился узнав что вся моя креативность и тонкая душевная организация неотличимо воспроизводятся четырьмя гигабайтами свёрток и матричных умножений.

Там, как бы не просто тонкая душевная организация, но банально желание жить на что-то. Вы можете сказать пойти художнику на завод, чтобы там он трудовые мазоли наработал, ну так на заводе тоже роботы везде будут, автоматические производственные системы с парочкой инженеров-надсмотрщиков. Куда не сунешься - везде ИИ и роботы, а человек пусть в поле идет и ложится умирать, время его вышло.

Голодный человек может на отчаянные поступки, даже если он художник, и как это предотвратить надо думать уже сейчас.

Голодный человек может на отчаянные поступки, даже если он художник, и как это предотвратить надо думать уже сейчас.

И где луддиты сейчас? Где кассиры которых заменили селф-чекаутом? Где все жертвы повышения производительности труда? Приспособились.

Там, как бы не просто тонкая душевная организация, но банально желание жить на что-то.

Нет, это не желание жить на что-то, это желание жить хорошо продавая свой богатый внутренний мир и механический скилл рисования этого мира на планшете. Оказалось что внутренний мир неплохо заменяется эмбеддингами от очередного BERT'а, а скилл рисования - U-net'ом.

В предельном случае, когда почти весь человеческий труд будет автоматизирован наступит коммунизм всеобщее благоденствие, и если при этом кому-то будет нечего есть - это вопрос к справедливости распределения благ, а не к этическим аспектам замены труда человеческого трудом машинным.
Вопросы к справедливости распределения благ, впрочем, есть уже очень давно.

Очевидно, что проблемы отдельных личностей не следует решать вредящим всему обществу торможением прогресса.

Пособие по потере профессии переходящее в базовый безусловный доход выглядит куда лучшим и общим решением. А то почему это художников нужно спасать ценой запрета на получение генерируемых ими благ с гораздо меньшими расходами ресурсов - а потом и с лучшим качеством, а кассиров, кузнецов, грузчиков и шофёров - нет? Надеюсь, вы не желаете затормозить прогресс, что все устаревающие профессии спасать?

Скорее наоборот - нужно реформировать архаичный институт авторского права.

Мне кажется, вы явно перегибаете палку. Нейросети закрывают примерно тот же рынок, что стоковые фотографии или клипарт, и даже работают ровно так же: на входе запрос, на выходе релевантные картинки. Если не нравится, что на выходе, рисуйте сами.

Да, конечно, сейчас очень сложно зарабатывать, рисуя КДПВ к типовым текстам, а ещё сложнее писать музыку для каких-нибудь казуальных игр, где можно взять один из миллиона одинаково пригодных треков.

Но тут ничего нового; в дедовские времена художник мог зарабатывать рисованием рекламных баннеров на улице (а откуда им ещё было браться, баннерам). Баннеров уже давно нет, а художники есть, но спрос, конечно, куда изощрённее. По сути платят не за картинку, а за полноценный артстайл-пакет и за возможность исправлять рисунки в нужную заказчику сторону, то есть кастомизацию.

Нейросети на многие порядки превосходят то что могут предложить стоки и клипарт.
Абсолютно уверен что в течении года-двух у нас будут быстрые редакторы которые смогут генерировать арт нужной тематики в нужном стиле (что важно), и по запросу менять параметры сцены или отдельных участков. Это уже сейчас есть на уровне PoC'ов.

У меня была знакомая художница в игровой студии, и я наблюдал процесс создания одного изображения, от получения эскиза от специального художника по эскизам до часов и дней рисования и доведения каждого штриха до состояния "теперь мне нравится".
Так вот, там на выходе получались изображения лишь маржинально лучшие чем то что генерирует Stable Diffusion на моём ноуте за 2 минуты. И эта работа оплачивалась очень хорошо.

Теперь один художник сможет набрасывать запросы нейросетке, выбирать понравившееся и обрабатывать напильником в разы, если не десятки раз быстрее. А значит все эти армии тонких натур с креативной фантазией сожмутся в соответствующее количество раз.

Ну вот мне сложно воспринимать ваш анализ, потому что вы скатываетесь к стёбу над "тонкими натурами с креативной фантазией", что явно не способствует объективности. Всё это понятно, но, повторюсь, посмотрите на пример композиторов. Для любого типового случая саундтрек есть, и нет никакого смысла платить за yet another ambient для очередной шаблонной задачи. Да, этой ниши больше нет, но профессия всё равно никуда не делась.

В некотором смысле это ровно та же история, что с Github copilot или гуглопереводчиком. На каждый чих переводчика не будешь нанимать, но есть известные пределы.

про переводчиков - понадобилось мне как-то у ребенка справку медицинскую в другой стране предьявить.

Итого мои мысли после ожидания 2 недель и получения заветной бумаги со штампом "переведено": переводчики врядли будут массовой профессией, но до тех пор, пока гуглопереводчик не ставит такой штамп, переводчик с сертификатом - без масла на хлебе не останется, зуб даю.

А по теме картинок: возможно будет "антиплагиат" в нейронках - т.е. ты приносишь картинки со своим уникальным стилем, тебя регистрируют - и после этого следующий художник с таким же стилем увидит "здравствуйте, вы - не уникальная снежинка"

Арт – совсем не то же самое, что фордовская деталь от чёрного автомобиля или гамбургер в мак-точке.

Да, в сегодняшних реалиях принято считать арт объектом потребления (более того, менее талантливые, но от этого не менее голодные художники сами туда его тянут). Но потребление это абсолютно другое, оно происходит другим, значительно более сложным органом.

Но какая разница между артом созданным человеком и артом сгенерированным машиной если этот сложный орган не может отличить одно от другого в слепом тесте?

Будем потреблять "арт-продукт искусствосодержащий идентичный натуральному" и просить добавки.

не может отличить одно от другого в слепом тесте

Ссылку на исследования дадите? Или даже на тест можно. Я разницу вижу. Подозреваю, её увидит любой с условно нормальным человеческим мозгом и любым опытом в человеческой культуре (не маугли), кто посмотрит на картинки дольше трёх секунд.

Ну да. Обратите внимание на второй комментарий — там товарищ даже конкретную нейросеть определил сходу.

Проблема в том, что эти ваши нейросети не умеют (как минимум пока) в детальные запросы или последовательное улучшение. Вот так попросишь её изобразить нечто весьма конкретное — а оно кругами бегает, всякая фигня получается — но только не то, что от неё попросили.

Или, например, "нарисуй мне всё-всё то же самое, только чтобы космонавт был не китаец, а негр". Фиг с два.

Как обычно, здесь показали пару удачных, но не показали 1000 неудачных результатов генерации, которые видишь в первую очередь на практике. Если бы картинки справа соответствовали по смыслу и композиции оригинальным картинкам слева, это выглядело бы намного убедительнее. Но могу поспорить, что по запросу «Русалочка помогает поднять Тору его молот» ничего вменяемого не получится.

по запросу «Русалочка помогает поднять Тору его молот» ничего вменяемого не получится

Да, порносюжеты авторами принципиально заблокированы :)

Недавно видел обратное — художник с приличным количеством работ обучил нейросеть по своим художествам. И теперь по дешёвке делает нейросетевые комишены.

Для мультиков, где на несколько секунд статичного кадра только рот шевелится для блики в зрачках трясутся - сойдет. И такой контент найдет своего потребителя. И на бумажные сосиски из микроволновки и на стейк на гриле найдутся платежеспособные ценители .

Ох, какой простор для фантазии.

Скажем, можно обучить такую сеть на инстаграме ким какой-нибудь кардашян (и похожих туда в обучение докинуть для массовки, всё одно демонстрируемые позы, органы и макияж у них примерно одни и те же). Интересно, оставит ли это вышеупомянутую ким без работы?

Следующий этап: генерация видео (и аудио) на основе архива чат-урбатов. На месте тружениц камер я бы уже организовывал профсоюз для создания мощного запретительного лобби для такой технологии...

за Кардашян я не переживаю, а вот анонимные "работницы чатов" - возможно действительно получат отток клиентов ....

За "работу" тружениц инстаграма вряд ли вообще кто-то переживает, кроме шерхолдеров инстаграма.

Другой вопрос, что эта всех ныне поразившая технология в текущем виде – путь сугубо и очевидно тупиковый. Это чудесная новая игрушка для инженеров, которые раньше, скажем так, не имели возможности "поучаствовать" в создании арта (в широком смысле). Именно это и приводит к основной и главной ошибке: инженеры и энтузиасты поспешили решить, что раз "похоже", значит "заменяет", без глубокого понимания сути вопроса.

При этом создание арта отличается на фундаментальном уровне от создания физического предмета на конвейере, и даже написания софта. Предметы искусства (в широком смысле опять же) создаются:

а) по причине "пыла художника" – состояния, включающего в себя множество факторов и мотивов (своё видение, желание улучшить/изменить мир, протест, отрицание, глубокие переживания etc). В этом случае нейросеть если и поможет, то крайне незначительно и опосредованно: художник натворит и сам, неудержимо и сурово;

б) что-то продать (в т.ч. сам предмет) и продвинуть. И тут случается весьма забавное: удешевление создания контента исключает возможность продать дороже (если, конечно, участники сделки в здравом уме; другие ситуации оставим специалистам), а отсутствие внутреннего содержания арта, который сгенерирован без участия художника, делает бессмысленным потребление такого контента. Для кого, собственно, он в этом случае предназначается? Настолько неквалифицированным и непритязательным потребителем может стать разве что другая нейросеть, что тоже нивелирует ценность изобретения чуть менее, чем полностью.

По (а). Возможно, вы слышали расхожее выражение: "Если вы делаете игру вашей мечты, значит вы один и будете в неё играть"? Так арта это тоже касается. Когда художник творит ради творения, неудержимо и сурово, популярность таких работ будет близка к нулю. Хотя есть шанс один на миллион, что какая-то из подобных работ выстрелит (обычно после смерти художника).

Этому пункту пока что определённо ничего не угрожает, ибо никто не будет вкладываться в создание нейронки, генерирующей вещи, которые станут популярными с шансом один на миллион лет через сто после создания.

А вот по (б) всё совсем не так, как вы расписали. Зайдите на любой художниковый ресурс вроде deviantart'а и гляньте, на чём они там зарабатывают. Основной заработок - это бесконечные YCH'и, то есть тупейший конвейер, когда художник лепит пачки однообразных рисунков по шаблону. И вот нейронки это направление сожрут уже в ближайшие годы.

Вообще, потребность современного общества в художниках и без того завышена искусственно, причём на многие порядки, при помощи института авторского права. Если бы государства под угрозой наказания не вводили жёсткие ограничения на применение арта, то 99.9% потребностей в арте закрывалось бы без помощи художников вообще - простейшим поиском по картинкам, в чуть более сложных случаях коллажированием. То есть "продающий" художник даже без учёта нейронок не настолько полезен для общества, как может показаться, и хлеб с маслом ему приходится обеспечивать дополнительными мерами поддержки, причём весьма жёсткими и затратными.

Много возражений.

По п. а:

и игры есть, сделанные одним человеком, тут даже недавно пост был. К тому же, игра как результат труда значительно более сложна, чем условно "лубочные" картинки, о которых шла речь изначально. Ну и если обращаться к живописи в целом, то условный Коровин, к примеру, пейзажи никому не известных уголков без фотографической точности (ну этот хоть более-менее приличный импрессионист был) рисовал не потому, что продать старался.

По п. б:

бухгалтерия рядового художника с девиантарта мне неизвестна, это правда. Они там прям выкладывают движение финансов, что посмотреть можно?
Думаю, что, во-первых, не каждый, как минимум, художник живёт именно так, во-вторых, что-то мне подсказывает, что при внимательном анализе основной поток средств всё же будет давать обработка индивидуальных заказов.

Что касается полезности для общества, то вы затрагиваете важный и интересный вопрос. Частично он связан со отмеченным выше специфическим взглядом инженеров на творчество. Во-первых, кто, по-вашему, искусственно завышает "потребность общества в художниках" – тайный международный союз художников, пустивший свои щупальцы в правительства и умы?

Во-вторых, и главное:

потребность общества может быть в шахтёрах, сталеварах, и даже юристах и айтишниках. Возможность творчества появляется именно потому, что потребности общества худо-бедно закрываются. Творчество – это не социальная повинность, она не классифицируется и не кодифицируется по классическим правилам "8 часов у станка". Её нельзя запихать в ТК и посчитать вероятную прибыль за полугодие. Творчество – это не то, что общество должно делать для выживания; это то, что общество может себе позволить, достигнув определённого уровня развития. Пытаться загнать это явление в рамки рабочих смен, трудовых мобилизаций и расчёта прибылей и убытков – будет шагом назад. А нейросети, как бы с первого взгляда результат их работы ни был похож на оригиналы, ничего в этот процесс внести не могут, пока не будут обладать сравнимым с человеком аппаратом обработки информации (как минимум по объёму, не говоря уже о каналах, искажениях от биологии и прочего интересного). А тогда уже и вопросы будут совсем другие.

Так ведь в комментарии, на который вы отвечаете, прямо написано, что именно приводит к завышению степени потребности в художниках - институт авторского права. Из-за которого общество теряет огромный пласт произведений.

Ну, оно там написано, да. То, что оно написано, не означает, что это единственная или даже основная причина.

ну вот я скажу, что для своей наколеночной игрушки - я позицию "дизайнера набросков" уже закрыл нейронкой.

Да, если у нее будет популярность - то скорее всего там будет нормальный живой художник, но прямо сейчас, на этапе идеи, мне уже не нужно кого-то просить нарисовать "картинку, которую я вижу у себя в воображении"...

Возможно, что это наоборот - увеличит спрос на художников в итоге (люди смогут запускать три "наколеночных" проекта там, где раньше могли запускать один), посмотрим

Поддерживаю, я тоже также поступил, правда я думаю все же вообще весь дизайн сделать через нейронку. Он там не сложный, поэтому спокойно покрывается тем, что умеют они.

Первая моя реакция была: копирование стиля художника имеет такое же отношение к этике, как нарушение копирайта – к воровству, то есть никакого. С другой стороны, этическая проблема – это то, что общество готово считать этической проблемой. И, если главный путь развития культуры теперь стал этически проблемным, то у меня для этого общества плохие новости…

Вряд ли нейросети смогут понимать и оперировать 3D-пространством в ближайшее время. Так что туда и придётся идти художникам теперь.

3d-художники же моделируют, а рендерит компьютер.
Аналогично, нейросеть может работать с 3d-сценой как с текстом, и отдавать результат на рендер.

В теории нейросеть может всё, так где такая простая идея как ваша? Поэтому я и ограничился ближайшим временем.
Для 3D явно придётся придумывать принципиально другую архитектуру нейросети, особенно аппаратной.

Вряд ли нейросети смогут понимать и оперировать 3D-пространством в ближайшее время.

Вымрут все.

Вот бы увидеть созданные ею человеческие ладони. Может, справится лучше 2D-нейросетей.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий