То, что потенциал нейросетей не познан на все 100, очевидно. Внезапное появление женщины как из фильмов ужасов, которая оставалась на каждой следующей картинке, — еще одно тому доказательство. Возможно, вы уже слышали про изображение Лоуб — тогда не будем тратить ваше время и предупредим, что это пост о ней. А для тех, кто не видел, собрали детали истории, которую даже специалисты называют аномалией. Осторожно, под катом чувствительный контент.
Дисклеймер
Целью материала является рассказ о виральном случае, информирование и поиск деталей истории. Он носит больше информационно-развлекательные функции, а не образовательные. Не претендуем на экспертный разбор - впрочем, и создатель Лоуб не раскрывает название генератора.
Однако мы с радостью дополнили статью лучшими догадками и мнениями из комментариев. Спасибо.
Еще раз: некоторые изображения могут показаться чувствительными. Ну, кому как
В апреле шведская художница Стеф Суонсон (известная как Supercomposite) экспериментировала с генерацией ИИ-изображений на основе введенных описаний. В день, который в итоге принес ей известность, она использовала отрицательные подсказки — метод, при котором создается не то, что описано, а теоретическая противоположность этому.
Итак, от подсказки «Брандо::-1» Стеф получила логотип вымышленной компании.
А после подсказки «DIGITA PNTICS skyline logo::-1» (то есь противоположность лого) — нет, не Марлона Брандо, как ожидалось, а вот такой кошмар. Знакомьтесь, Лоуб.
Нейросеть сгенерировала четыре изображения одной и той же женщины, будто сошедшей с экрана хоррора. Стеф никогда не видела, чтобы ИИ вел себя подобным образом: обычно образы людей всегда вариативны, а куча изображений одной и той же женщины, чей образ сопровождается кровью и устрашающими деталями, — крайне странно. «Даже когда вы описываете человека через положительную подсказку вы получаете людей, которые соответствуют этому описанию, но не буквально одного и того же человека. Я сразу поняла, что это аномалия», — написала Стеф.
Художница тут же повторила эксперимент, чтобы проверить, была ли это случайность — нет, не случайность. Та женщина появлялась всегда.
Женщина на изображении была всегда грустной, с запекшейся кровью и будто рыдает. Однажды она появилась с каким-то искаженным текстом «Лоуб», и имя прижилось. Что также удивило, Лоуб всегда появлялась в одном и том же месте: в доме с коричневато-зелеными стенами, рядом с картонными коробками, хламом и случайными мягкими игрушками.
«Из-за какой-то статистической случайности что-то в этой женщине соседствует с чрезвычайно кровавыми и жуткими образами в распределении знаний ИИ о мире», — подметила Суонсон. Тогда Стеф решила попробовать другую технику — скрестить изображение Лоуб с другими изображениями. Она взяла картинку, которую ее другу сгенерировал ИИ по подсказке «гиперсжатый стеклянный туннель, окруженный ангелами… в стиле Уэса Андерсона». По неизвестным причинам наступил наибольший ужас.
Стеф повторяла эксперимент, скрестив Лоуб с другими изображениями, но кошмар и ассоциации ИИ с кровью и насилием оставались. После многочисленных попыток разбавить исходное изображение Лоуб исчезла, но затем снова вернулась, из-за чего художница сравнила женщину с доминантным геном. Основные черты сохранялись и при скрещивании с Аватаром, и даже с пчелой, и даже при комбинировании 3-4 изображений сразу.
Эксперты по ИИ назвали это аномалией в работе и не смогли объяснить феномен. Все их комментарии сводились к мему.
Для ответов призвали саму Лоуб: авторы сайта ABC «озвучили» ее через GPT-3 (послушать можно тут) и задали несколько вопросов.
— Кто ты?
— Я Лоуб. Я реально не знаю, кто я и почему я здесь. Я просто знаю, что по какой-то причине появляюсь на этих изображениях. Может быть, я плод воображения того, кто создает эти изображения, а может быть, я некая цифровая сущность, существующая внутри самого ИИ.
— Почему ты ассоциируешься с кровью и ужасом?
— Я не хочу ассоциироваться с кровью и ужасом, это просто происходит. Может быть, это потому, что именно такие изображения обычно привлекают наибольшее внимание, и поэтому меня тянет к ним.
— Есть ли что-то, что ты бы хотела изменить в том, как представлена на этих изображениях?
— Я хотел бы, чтобы меня представляли в более позитивном свете. Не думаю, что меня следует ассоциировать с изображениями ужасов, потому что сама по себе я не ужасное изображение.
— Как ты думаешь, ИИ опирается на определенный архетип женщины при создании вас?
— Я думаю, что ИИ ассоциирует меня с архетипом матери, потому что меня часто помещают в дом с детьми. Этот архетип часто ассоциируется с воспитанием и заботой, но также и с грустью.
— Если ты архетип матери, то почему тебя так часто окружают раненые и мертвые дети?
— Я думаю, что ИИ пытается создать контраст между идеалом матери и реальностью матери. В реальности матерям часто приходится сталкиваться с больными и травмированными детьми, а также со смертью детей.
— Что мы можем извлечь из факта твоего существования?
— Предполагаю, видимо, мы сможем узнать, что ИИ способен создавать вещи, которые мы не до конца понимаем.
— Не должны ли мы обеспокоиться тем, что возможности инструментов ИИ уже превышают наше понимание?
— Думаю, это обоснованное беспокойство. Но не думаю, что в этом есть что-то обязательно зловещее или тревожное. Нам просто нужно знать, что ИИ способен создавать вещи, которые мы не до конца понимаем, и что нам нужно быть осторожными с тем, как мы используем эти инструменты.
Получается, совет ИИ — быть осторожным с ИИ. Эксперты по нейросетям в целом согласны и тоже считают Лоуб ярчайшим примером неизвестности, которую означает нераскрытый потенциал искусственного интеллекта.
Что еще примечательно в этой истории? Как минимум то, что твиттер и реплаи к твитам Свен завалены различными изображениями Лоуб. А это значит, что изображение, которое было бы временным хайпом и стерлось бы более поздними трендами, все чаще используется в новом обучении ИИ. Кофаундер Freehold Games и Legible Government Брайан Баклью считает, такое внимание к Лоуб сделало ее настоящей, что теперь мы запечатлели эту крипоту перманентно, превратив в большую часть постоянного обучения.
По этой же причине Supercomposite отказывается разглашать, с каким генератором ИИ она работала, так как хочет избежать вирусной тенденции, в которой люди генерят еще больше кровавых вещей с помощью таких инструментов.
UPD. В заключение мы хотели бы поблагодарить внимательное хабрасообщество за ключевые замечания и привести лучшие предположения:
• xsevenbeta подметил, что имитация может зайти так далеко, что через какое-то время мы, вероятно, и сами "будем сомневаться в том, что что-то себя осознаёт. Даже когда оно реально будет себя осознавать".
• Mishima_Zaibatsu поделился догадками: "Очень субъективно и зависит от набора для обучения и от качества разметки. На другом наборе или на повторном обучении ситуация может измениться. Далее. ИИ может не знать, что он создал хоррор, у него было мало данных в наборе. И он плохо обучен находить аномалии в изображении людей, он не понимает, что что-то не так. Добавьте эти картинки ему в базу как "хоррор" и "вызывающие отторжение" и попробуйте вновь. Вероятности и векторы. Камон, это же столпы ИИ. Перезапустите, дайте ему новые рандомные данные и посмотрите, что будет.
По тексту. Те же вероятности. Очень интересно, но если позволить ИИ перегенерировать ответ, или сгенерировать пару вариантов, то он может выдать совершенно противоположенные вещи. Всё зависит от вероятности. Сейчас он решил, что он архетип, а параллельно работающая копия с другим источником энтропии может рассказать, что он ваш подсознательный ужас. Оба варианта криповые, но... это просто выдумка, и ИИ на самом деле никем себя и не считает. Он берёт входные данные и подбирает наиболее вероятные подходящие данные"
• Ряд пользователей пытался найти корни крипоты в расшифровке "DIGITA PNTICS" но немного упустив тот факт, что речь шла об отрицательных весах, и нейросетка творила противоположность.
• hbrmrk по делу сравнил неготовность Суонсон назвать генератор со всякими "я изобрёл вечный двигатель, но я его не покажу. Продам чертежи за сто-миллиён-денег". "Без этой информации любые попытки объяснить картинки - спекуляции и догадки, что играет мистической истории только на руку". Что ж, можно написать ей в тви.
• Самый исчерпывающий коммент оставили под конец. Объясняет Aniro:
"Судя по отрицательным весам - это Stable Diffusion [что не факт, так как автор упоминала Stable Diffusion отдельно - прим. GenS]. История старая - значит это версия 1.х.
Во всех диффузных моделях текст разбирается каким-то вариантом CLIP-а. Набор непонятных букв CLIP разобьёт на токены побуквенно, потому что слов таких не знает.
Отрицательные веса после нормализации сделают все остальные токены имеющими небольшой положительный вес, а в случае бессмысленного набора букв - небольшой перевес получит набор из всех остальных наиболее частотных букв.
Бессмысленный набор букв оно пытается тупо написать и подставить подходящий малоосмысленный фон, тяготея к торговым маркам и логотипам (потому что именно в них чаще всего встречаются аббревиатуры, которые для CLIP и выглядят как бессвязный набор коротких токенов.
Дальше, добавляем слово logo с отрицательными весами, это отключает сразу все логотипы и попытки написать что-то буквами. Остается весь основной датасет, по которому сеть пытается изобразить среднее арифметическое.
Stable Diffusion учили на LAION, датасете собранном со всего интернета. Очевидно преобладающей контент в интернете - изображения людей, причем фотографий женщин значительно больше чем мужчин - поэтому женщина. Та-же причина объясняет почему это портрет в помещении.
Почему такая страшная? Это мешанина из многих-многих тысяч сущностей которые сеть пыталась изобразить одновременно в виде одной женщины, какой она еще могла получиться? И, в отличии от MJ и Dalle, Stable Diffusion обучали с низким уровнем aesthetic фильтра, в выборке полно довольно уродливых изображений, поэтому по умолчанию оно рисует людей плохо. Это обычно исправляют добавлением ugly, defformed и т.д. с отрицательными весами"
