Comments 48
Значит, Чжао разработает еще один инструмент, который будет определять, "отравленная" картинка или нет. И разработчики моделей будут платить большие деньги Чжао за этот инструмент. Что вы паникуете? Деньги решат любые проблемы.
Классическая гонка меча и щита:
1. Выпустили инструмент для отравления картинок
2. Создатели нейросетей сделали свой инструмент детекта/лечения отравленных картинок. Даже с помощью той же нейросети обучили нормализовать эти картинки (датасет же элементарно собрать)
3. Выпускают новый инструмент для отравления картинок и поехали по новой.
Теперь ждем контрмер от создателей генеративных моделей
Снятие установленной защиты доказывает злой умысел само по себе. Как бы встраивание таких функций не оказалось для судов прямым доказательством направленности на нарушение авторских прав by design.
Скажите ещё, что суд между нонеймом нарисовавшим картинку и майкрософтом основывается на прямых доказательствах.
Нонеймы периодически выигрывают корпораций. (случай про неуклюжую бабку, которая обварилась горячим кофе и отсудила почти 3 миллиона долларов у макдональдса)
Вообще-то она 8 дней в больнице провела и ей понадобилась пересадка кожи, в рамках досудебного спора она попросила у них 20000 долларов в качестве компенсации лечения и потерянного дохода. До нее были сотни случаев, когда люди обваривались. Подавать кофе температурой 85 градусов в бумажных стаканчиках -- это реально опасно.
Узнал эту информацию отсюда
Если сравнивать картинки до/после, там хорошо заметен шум добавляемый на изображение. Скорее всего минимальное преобразование изображений сломает эту защиту, на reddit уже пишут, что защита обходится удалением шума.
Так а почему дни сочтены?
Есть уже собранные датасеты и на них можно учить.
Крупные корпорации смогут легко докупать / производить новые материалы для дообучения.
С точки зрения развития оно станет честнее с точки зрения воровства стилей (что хорошо) но дороже/сложнее (что плохо) и доступно скорее корпорациям, а не частным лицам (что плохо)
Кроме того все такие вещи в конечном итоге не помогут.
Да, они работают сейчас с определенным классом архитектур нейросетей.
Но в конечном итоге они лишь приблизят архитектуры нейросетей ближе к человеческому пониманию "что есть стиль".
Потому что испортить это понимание будет означать что люди тоже могут перестать понимать, что за стиль.
Так а почему дни сочтены?
Потому что иначе ты слона не продашь читателя не привлечешь.
Нет такого понятия как "воровство стиля".
Никто не запрещает тебе писать книгу в стиле Стругацкого или Роалинг, Бредбери и т.д. Тоже самое касается и нейросети. Главное, чтобы не было прямого нарушения авторских прав.
P.s. Добавят в ИИ модуль, который будет удалять/игнорировать эти шумы и нет никакой "проблемы".
Это жест отчаяния.
Машинистки подсыпают сахар в тонер копировального аппарата.
Поздно беспокоиться, пора адаптироваться.
Отличный инструмент, с помощью которого можно повысить качество нейросетей
Вообще, удивительно, что такой кал все ещё результативен в 2024м.
Понятно, что оно имело смысл на заре ИИ хайпа, когда в угоду оптимизации работы и из-за объективных ограничений объёма памяти, нейросети могли проглотить очень маленький кусочек изображения за раз, и вынуждены были, например, идентифицировать леопарда на 10 мегапиксельном четком изображении, где виден зверь целиком, по кусочку его кожи 96х96 пикселей с характерным окрасом.
Сейчас же, когда модели оперируют принципиально другими объемами памяти + обучены на датасетах с принципиально разным попиксельным паттерном (например, на уровне пикселей, 48 мегапиксельное фото с телефона с сенсором, размером с булавочную головку, где практически все пересчитано и воссоздано с нуля софтом встроенной камеры, ибо сырое изображение с камеры просто отвратительно, будет совсем не похоже на аналогичного размера фото с полнокадровой беззеркалки, где каких-либо алгоритмов улучшения нет в принципе, но, при этом, сенсор даёт хорошую картинку изначально, а высококачественный скан плёнки будет не похож ни на первое, ни на второе, ибо в него подадут уникальные артефакты плёнки и ее зерно), удивительно, если state-of-the-art модели вообще как-то на это отреагируют и "заметят", что с изображением что-то не так
Они таргетируются на конкретную архитектуру, фактически подсвечивая её проблемы.
Это просто очередной этап контрмер и как раз-таки вполне ожидаемый после хайпа нейросетей. Сейчас набирает обороты новый хайп. И так по кругу. А что касается размера матрицы, так напрямую он влияет только на разрешение и скорость съемки. Там скорее более важна оптика.
Кстати, мы рискуем уйти в странную фото-виртуальность.... Ведь нейросети - учатся на современных фото. Для нейросети леопард таков, каким его сняла современная камера айфона или дорогого самсунга.
А камера айфона сама рисует (улучшает) фото леопарда (или луну, известный случай) через свой ИИ. Один ИИ-1 учится на продукте другого ИИ-2. При этом ИИ-2 учится на ИИ-1.
Может возникнуть некоторая положительная обратная связь. Если мы сначала убедим нейросеть, что леопард немного похож на свинью, то ИИ фотокамер начнет делать такие немного свинячьи фото, а сетки распознавания будут подбирать под эталоны леопардов самых свиноподобных. И следующее поколение ИИ фотокамер будет их еще более свинскими рисовать.
Может получиться вообще парадоксальная ситуация, когда мы, люди, которые редко видят леопарда в обычной жизни - будем знать, что он свиноподобен. А кто-то, кто видел его вживую будет нам возражать, но мы-то его четко переубедим миллионом фотопруфов из Интернета!
Разве этот момент как раз таки не учтен путем добавления путем добавления скрытых слоев, где каждый последующий слой оперирует всё большим куском изображения?
А что насчет отравления текстов для "чижиков"? Кто то уже озаботился?
Вряд ли это что то сильно изменит, сейчас в гугле по запросу к примеру кованой мебели будет выдавать безумные картинки нарегененые нейронкой.а сколько на шаттерстоке уродских изображений котов из нейронки, это не мешает их пытаться продать
А есть такой же но с крылышками для гитхаб?
Луддиты 21 века подсыпают отравы в колодецдатасеты моделей. Поздно они спохватились, любой "не-нейро" инструмент типа того же irfanview может пережать оригинал (с некими артефактами), артефакты нейронки уже умеют убирать, а весь этот "яд" так и скроется в этом шуме кодирования. Учитывая что можно запустить батч на много миллионов картинок даже на обычном компе, затея помешать выглядит более чем сомнительной.
Сначала они запрещали на сайтах меню правой кнопки мыши...
Луддиты
Проблема в том, что "все у кого нет миллиарда долларов - идут на хрен". (c)
При массовой безработице, ITшники тоже окажутся не нужны из-за краха экономики (останутся лишь счастливчики типа "личный сисадин поместья Абрамовичка").
Ну вот и окуклится эти миллиардеры (со своей прислугой) в замкнутое общество из 100 000 человек на всю планету. Смогут сами себя всем обеспечить и мы им будем не нужны. Окей.
А пролетариат из 8 млрд - 100 тысяч, тоже сможет сам себе жить по прежнему (если захочется). В чем же проблема?
Не сможет. Во первых земля, чья собственность и не получится выехать в поле и засеять, а во вторых для высокой урожайности нужны удобрения, которые никто бесплатно не даст, в третьих современные семена являются гибридами, которые дают высокий урожай только в первом поколении.
Удобрения и семена надо самим делать. Или без "Абрамовича" невозможно?
Земля имеет какую-то ценность для них сейчас, пока на ней можно выращивать что-то и продавать людям. А у людей для этого должны быть деньги. Так что, это взаимная зависимость.
Если будет совсем тяжко из-за краха экономики, обращайтесь. У меня в собственности участок 40 соток в средней полосе. Заключим контракт типа "барщина", и дам в подарок стартовый набор классических семян. Прокормиться хватит, проверено десятками поколений.
Корпы уже все удобные данные с сети собрали, новые могут и докупить, ну и заведут антидот для особых случаев.
Исследовательское и некоммерческое использование открытых данных, и в особенности для новых, потенциально конкурентных генераторам разработок -- усложняется.
Любопытно, не получал ли господин Чжао грантов на свои исследования от Микрософт, Мета или Гугл. Впрочем, достачно и одной робкой надежды, яючто тебя купят.
Как я понял, это обычный Adversarial Attack. Проблема таких атак в том, что они работают только на уже обученную сеть, которую тренировались отравлять. Да, они показывают, что обучить на этих данных не получится, но тут нет противоречия: в обучении диффузионок используются предобученные энкодеры типа CLIP для определения соответствия промпта картинке, плюс предобученный VAE для сжатия изображения в латентное пространство. Атака, по сути, идет на них. Если учить какую-то архитектуру полностью с нуля, то она этого отравления даже не заметит.
Плюс, очень легко чистить датасет от таких сэмплов - достаточно скачать утилиту, "отравить" свои картинки и обучить классификатор на парах до/после отравления. Чистить датасеты от таких образцов очень легко.
Подождите, я что-то не понял. Здесь «отравляют» картинку например собаки и нейросеть обученная на других изображениях распознает эту картинку как кошку. Но ведь, если эту отравленную картинку использовать для обучения новую нейросеть, то она начнет ее распознавать именно как собаку. И получит иммунитет. Или это не так?
Я бы, на месте производителей нейросеток, сам такую штуку выпустил!
Все недовольные свои картинки пропатчили и в сеть выложили. А вся эта защита легко детектируется/убирается. Можно дальше пылесосить интернет.
На все претензии же можно отвечать, что вашей картинке в датасете нет - она же защищена!
Не понимаю, как можно отравить датасет, не повлияв на визуальное представление. Ведь по сути наш мозг - тоже интеллект, и если он способен понять и разобрать фирменный стиль художника, то и ИИ сможет, может только чуть больше ресурсов понадобится, чем обычно. Неплохо было бы в статье дать базовое представление об этой проблеме для ИИ
А нельзя сказать нейросетям не использовать исходные файлы изображений, а делать их "скриншоты" и потом уже пихать в себя для обучения?
Мне кажется в комментариях не все поняли новость и решили что новость о технологии отравления. А новость о том что действительно очень большому кол-ву человек не нравится что их произведения украли. А значит такой большой объем недовольства вполне может во что-то вылиться. Например, возникнет какой-нибудь прямой юридический запрет и генеративным нейросеткам придается напрямую лицензировать образцы для обучения, что приведёт к их стагнации
Дайте угадаю, инструмент позволит перевести изображения в белиберду, снизив при этом порог входа для новых чудаков с их ии, оставив на рынке несколько крупных фигур, у которых есть собственные базы изображений скачанных еще пять лет назад? Так это инструмент для защиты пользователей или же для создания монополий и продаж баз?
Интересно, а для художников, которые копируют один или несколько стилей, уже придумали яд? Учитывая количество художников, они все копируют так или иначе в определенной мере другие стили, даже не зная об этом. Не думаю, что есть хоть один художник, который ни разу не смотрел на лицензированные работы при обучении.
Дни генеративных ИИ сочтены? Инструмент для «отравления» датасетов добился неожиданной популярности