С развитием нейросетей им придумывают всё более разнообразные способы применения. С их помощью обучаются автопилоты Tesla, а распознавание лиц используется не только для обработки фотографий приложениями типа Prisma, но и в системах безопасности. Искусственный интеллект учат диагностировать болезни. В конце концов, с его помощью даже выигрывают выборы.
Но есть одна сфера, которая традиционно считалась принадлежащей исключительно человеку — творчество. Однако и это утверждение начинают ставить под сомнение. Ли Седоль, проигравший AlphaGo, признался: «Поражение заставило меня засомневаться в человеческой креативности. Когда я увидел, как играет AlphaGo, то усомнился в том, насколько хорошо играю сам». Поэтому в сегодняшнем посте давайте поговорим о том, способны ли роботы ступить на территорию искусства, в пространство креативности, а значит эмоций и восприятия.
/ Flickr / franck injapan / PD
Самообучающиеся системы давно начали проверять на креативность. Например, в 1970 году ученые разработали алгоритм, который мог писать прозаические тексты — правда, довольно бессмысленные.
С тех пор нейросети научились рисовать картины, сочинять музыку и стихи, а также придумывать сценарии к фильмам. Яндекс учит нейросети записывать музыкальные альбомы, похожие на альбомы популярных групп, и писать стихи в стиле Егора Летова. Принцип действия всех алгоритмов похож: они анализируют огромный массив произведений искусства, а потом на основе полученных закономерностей «создают» свое творение: картину, музыкальную композицию, роман и т. д.
Творчество нейросетей постепенно институционализируется. Так, в 2016 году впервые прошел конкурс художественных произведений, созданных роботами. В этом году главный приз в 40 тыс. долларов выиграл алгоритм PIX18, придуманный Creative Machines Lab: его похвалили за хороший мазок и умение генерировать произведения на базе фотографий, находящихся в его распоряжении.
Так прокомментировали победу в комитете: «Композиция и работа с кистью напоминает Ван Гога. Интересная палитра». Это выглядит как настоящая критика картины начинающего художника.
Картины, созданные алгоритмом DeepDream от Google, считаются практически искусством — в первую очередь именно потому, что их создал искусственный интеллект.
Однако есть другой важный вопрос — новизна. По этому критерию мы оцениваем и творения художников. Если алгоритмы не срисовывают или не обрабатывают фотографии, а, например, пишут абстрактные картины, могут ли они действительно создать что-то новое?
На этот вопрос попробовали ответить разработчики из Лаборатории искусственного интеллекта и искусства Ратгерского университета, создав генеративно-состязательную сеть (GAN). Ранее алгоритм учился на основе ответов одного дискриминатора: анализировал картины, рисовал свои и сверял результат. Он продуцировал изображения, похожие на те, что изучал до того.
Команда сделала следующий шаг в развитии сети и добавила второй дискриминатор, соревнующийся с первым. Теперь нейросеть анализирует примерно 81 тысячу картин и, опираясь на такую объемную выборку, формирует список условий, при которых созданная картина может быть отнесена к произведениям искусства. Параллельно второй дискриминатор составляет список стилей и проверяет картину на схожесть с ними – проводит операцию по верификации. Новая картина рождается тогда, когда изображение признается произведением искусства, не идентичным ни одному из существовавших ранее стилей.
Кроме того, нейросети уже способны создавать мульфильмы. Компьютерная программа The Painting Fool, разработанная Саймоном Колтоном (Simon Colton) из Имперского колледжа Лондона, смогла сплести нарисованные ею же изображения в видеоряд.
Система адаптирует специальные решения для автоматизированного создания коллажей, симулируя мазки кисти на холсте. ПО в состоянии имитировать техники рисования, для чего используются возможности многоядерных процессоров — каждый поток контролирует отдельную кисть. Это позволяет «смешивать» кисти в непредсказуемых комбинациях, что приводит к более правдоподобному эффекту.
Сам процесс рисования – например, портрета – начинается с разметки областей заинтересованности: глаз, рта, бровей и т. д. Для каждого «региона» программа сегментирует изображение методом neighbourhood-growing и обосновывает границы. Затем The Painting Fool занимается окраской каждого сегмента. Он может «рисовать» карандашами, пастелью, акварелью и мелками, учитывая освещенность, условия среды.
И The Painting Fool — лишь показательный пример, только один представитель «компьютеров искусства». Причем их количество постоянно увеличивается. Одному роботу удалось настолько очаровать аудиторию музыкальной композицией, что они решили, будто её написал человек. А короткий роман, написанный японским роботом, чуть не выиграл литературную премию.
Это подводит нас к важному вопросу — проблеме рецепции искусства смотрящим. Существует ли разница между нашим восприятием произведения, созданного человеком, и тем, что «сгенерировано» роботом? В интернете есть сайт Bot or Not, предлагающий угадать, кто написал то или иное стихотворение — бот или человек. Ответ не всегда очевиден. Это неоднозначная территория.
На сайте Bot or Not есть стихотворения, написанные роботами – при том, что люди отнесли их к авторству человека. Соответственно, можно считать, что эти алгоритмы прошли тест Тьюринга для поэзии. Компьютер должен убедить 30% людей в своей «человечности», чтобы пройти тест. Но писатель Оскар Шварц, создатель Bot or Not, отмечает что это игра не в одни ворота: мы не только можем перепутать написанное ботом с работой человека, но и наоборот — принимаем творчество людей за творчество роботов. Возникает смешение уровней, новое понимание текстов и смыслов, где стирается грань между иллюзией и аутентичностью в привычном нам виде.
Здесь встает еще одна проблема, связанная с сутью художественного произведения: чем оно отличается от копирования и воспроизведения прошлого опыта.
Американский психолог Колин Мартиндейл (Colin Martindale) предложил оригинальную теорию креативности. Согласно его исследованиям, первоочередная цель творца — вызвать в потребителе эмоциональное возбуждение. Этого можно достичь разными средствами: новизной, сложностью идей, интеллектуальным вызовом, двусмысленностью и неоднозначностью трактовок и посылов. Социум, в котором уровень возбуждения перестает расти (или начинает убывать) — деградирует.
Мартиндейл выделил два этапа познавательного процесса. Первичный процесс — ненаправленное, иррациональное мышление вроде сновидений или мечтаний. Вторичный процесс — осознанный, концептуальный, это решение конкретных задач и использование логики. Похожую оптику он приложил и к творческому процессу: концептуальное сознание может различать, может логически мыслить, но оно не способно создать или вывести что-то, чего не знало раньше, ex nihilo nihil fit — «из ничего ничто не происходит». Изначальное мышление может проводить аналогии, выстраивать цепочки ассоциации и сравнивать, порождая новые комбинации ментальных элементов. Оно производит сырье, которое концептуальное мышление может обработать.
По близкому принципу работает описанная выше сеть GAN — одна нейросеть «различает», другая — «сравнивает и находит ассоциации». Алгоритм следует теории креативности, производит новые полотна, провоцирующие эмоциональный отклик в людях.
Искусство и технологии всегда пересекались и подпитывали друг друга (достаточно вспомнить об эпохе Возрождения, об экспериментах Леонардо и Микеланджело). Новые материалы, подходы и изобретения часто позволяли художникам создавать шедевры и целые виды искусства. Так и сегодня, помимо самостоятельного «производства» поэм, картин и музыки, нейросети помогают ученым проводить исследования в творческой сфере.
Развитие современной музыкальной индустрии ориентируется на классифицированные паттерны, помогающие в буквальном смысле построить математическую модель музыки и «запрограммировать» желаемый эффект от прослушивания композиции.
Международная исследовательская группа из университетов Японии и Бельгии в сотрудничестве с компанией Crimson Technologies выпустила специальное устройство на базе машинного обучения, умеющее выявлять эмоциональное состояние слушателей и генерировать на основании собранной информации принципиально новый контент.
«Как правило, машины и программы для создания песен зависят напрямую от автоматических композиционных систем, их предварительно заданный и хранящийся объем готового музыкального материала позволяет сочинять только похожие между собой треки», — отмечает профессор Масаюки Нумао (Numao Masayuki) из Университета Осаки.
Нумао и его команда хотят предоставить «машинам» информацию об эмоциональном состоянии человека. По их мнению, это должно способствовать увеличению интерактивности музыкального опыта. Ученые провели эксперимент, во время которого испытуемые слушали музыку в наушниках с сенсорами активности головного мозга. Сведенные воедино данные ЭЭГ транслировались роботу-композитору. В результате удалось выявить большую вовлеченность и более интенсивную эмоциональную реакцию слушателей на определенную музыку.
Нумао считает, что эмоционально-связанные интерфейсы имеют потенциал: «Например, мы можем использовать их в здравоохранении, чтобы мотивировать человека чаще упражняться или же просто приободрить его, поднять настроение».
Джон Бергер (Бёрджер) в «Искусстве видеть» отмечал, что зрение для человека первично по отношению к языку. Знание влияет на нашу оценку. По Бергеру, любое изображение — это просто один из многочисленных способов видения, но наше восприятие изображения зависит от того, каким способом видения пользуемся мы.
Поэтому дискуссия о творчестве алгоритмов мотивирует нас задуматься не только о том, как «творят» программы, но и о том, как мы сами воспринимаем творчество. Нейросети могут писать стихи, а мы порой путаем их с человеческими: но именно наше восприятие, наше прочтение наполняет их смыслом. Например, для алгоритма слова, мазки, цвета и звуки являются всего лишь набором знаков, которые он может сложить в гармоничную структуру. Это сырье, за которым робот не видит содержания, смыслового поля. По крайней мере, пока не видит.
Роботы не могут придать предметам значение, а произведениям — глобальную культурную ценность. «Никогда еще не писалось так много стихов и так мало поэзии», – читаем у Умберто Эко. ИИ может создать гениальную симфонию или сочетание рифм, правильно организованных графически, но лишь признание человека позволит всему этому обрести столь желаемый многими статус – действительно быть искусством, а не казаться им.
Но есть одна сфера, которая традиционно считалась принадлежащей исключительно человеку — творчество. Однако и это утверждение начинают ставить под сомнение. Ли Седоль, проигравший AlphaGo, признался: «Поражение заставило меня засомневаться в человеческой креативности. Когда я увидел, как играет AlphaGo, то усомнился в том, насколько хорошо играю сам». Поэтому в сегодняшнем посте давайте поговорим о том, способны ли роботы ступить на территорию искусства, в пространство креативности, а значит эмоций и восприятия.
/ Flickr / franck injapan / PDТворчество роботов
Самообучающиеся системы давно начали проверять на креативность. Например, в 1970 году ученые разработали алгоритм, который мог писать прозаические тексты — правда, довольно бессмысленные.
С тех пор нейросети научились рисовать картины, сочинять музыку и стихи, а также придумывать сценарии к фильмам. Яндекс учит нейросети записывать музыкальные альбомы, похожие на альбомы популярных групп, и писать стихи в стиле Егора Летова. Принцип действия всех алгоритмов похож: они анализируют огромный массив произведений искусства, а потом на основе полученных закономерностей «создают» свое творение: картину, музыкальную композицию, роман и т. д.
Творчество нейросетей постепенно институционализируется. Так, в 2016 году впервые прошел конкурс художественных произведений, созданных роботами. В этом году главный приз в 40 тыс. долларов выиграл алгоритм PIX18, придуманный Creative Machines Lab: его похвалили за хороший мазок и умение генерировать произведения на базе фотографий, находящихся в его распоряжении.
Так прокомментировали победу в комитете: «Композиция и работа с кистью напоминает Ван Гога. Интересная палитра». Это выглядит как настоящая критика картины начинающего художника.
Восприятие произведений
Картины, созданные алгоритмом DeepDream от Google, считаются практически искусством — в первую очередь именно потому, что их создал искусственный интеллект.
Однако есть другой важный вопрос — новизна. По этому критерию мы оцениваем и творения художников. Если алгоритмы не срисовывают или не обрабатывают фотографии, а, например, пишут абстрактные картины, могут ли они действительно создать что-то новое?
На этот вопрос попробовали ответить разработчики из Лаборатории искусственного интеллекта и искусства Ратгерского университета, создав генеративно-состязательную сеть (GAN). Ранее алгоритм учился на основе ответов одного дискриминатора: анализировал картины, рисовал свои и сверял результат. Он продуцировал изображения, похожие на те, что изучал до того.
Команда сделала следующий шаг в развитии сети и добавила второй дискриминатор, соревнующийся с первым. Теперь нейросеть анализирует примерно 81 тысячу картин и, опираясь на такую объемную выборку, формирует список условий, при которых созданная картина может быть отнесена к произведениям искусства. Параллельно второй дискриминатор составляет список стилей и проверяет картину на схожесть с ними – проводит операцию по верификации. Новая картина рождается тогда, когда изображение признается произведением искусства, не идентичным ни одному из существовавших ранее стилей.
Кроме того, нейросети уже способны создавать мульфильмы. Компьютерная программа The Painting Fool, разработанная Саймоном Колтоном (Simon Colton) из Имперского колледжа Лондона, смогла сплести нарисованные ею же изображения в видеоряд.
Система адаптирует специальные решения для автоматизированного создания коллажей, симулируя мазки кисти на холсте. ПО в состоянии имитировать техники рисования, для чего используются возможности многоядерных процессоров — каждый поток контролирует отдельную кисть. Это позволяет «смешивать» кисти в непредсказуемых комбинациях, что приводит к более правдоподобному эффекту.
Сам процесс рисования – например, портрета – начинается с разметки областей заинтересованности: глаз, рта, бровей и т. д. Для каждого «региона» программа сегментирует изображение методом neighbourhood-growing и обосновывает границы. Затем The Painting Fool занимается окраской каждого сегмента. Он может «рисовать» карандашами, пастелью, акварелью и мелками, учитывая освещенность, условия среды.
И The Painting Fool — лишь показательный пример, только один представитель «компьютеров искусства». Причем их количество постоянно увеличивается. Одному роботу удалось настолько очаровать аудиторию музыкальной композицией, что они решили, будто её написал человек. А короткий роман, написанный японским роботом, чуть не выиграл литературную премию.
Это подводит нас к важному вопросу — проблеме рецепции искусства смотрящим. Существует ли разница между нашим восприятием произведения, созданного человеком, и тем, что «сгенерировано» роботом? В интернете есть сайт Bot or Not, предлагающий угадать, кто написал то или иное стихотворение — бот или человек. Ответ не всегда очевиден. Это неоднозначная территория.
На сайте Bot or Not есть стихотворения, написанные роботами – при том, что люди отнесли их к авторству человека. Соответственно, можно считать, что эти алгоритмы прошли тест Тьюринга для поэзии. Компьютер должен убедить 30% людей в своей «человечности», чтобы пройти тест. Но писатель Оскар Шварц, создатель Bot or Not, отмечает что это игра не в одни ворота: мы не только можем перепутать написанное ботом с работой человека, но и наоборот — принимаем творчество людей за творчество роботов. Возникает смешение уровней, новое понимание текстов и смыслов, где стирается грань между иллюзией и аутентичностью в привычном нам виде.
Творчество — это эмоциональное воздействие
Здесь встает еще одна проблема, связанная с сутью художественного произведения: чем оно отличается от копирования и воспроизведения прошлого опыта.
Американский психолог Колин Мартиндейл (Colin Martindale) предложил оригинальную теорию креативности. Согласно его исследованиям, первоочередная цель творца — вызвать в потребителе эмоциональное возбуждение. Этого можно достичь разными средствами: новизной, сложностью идей, интеллектуальным вызовом, двусмысленностью и неоднозначностью трактовок и посылов. Социум, в котором уровень возбуждения перестает расти (или начинает убывать) — деградирует.
Мартиндейл выделил два этапа познавательного процесса. Первичный процесс — ненаправленное, иррациональное мышление вроде сновидений или мечтаний. Вторичный процесс — осознанный, концептуальный, это решение конкретных задач и использование логики. Похожую оптику он приложил и к творческому процессу: концептуальное сознание может различать, может логически мыслить, но оно не способно создать или вывести что-то, чего не знало раньше, ex nihilo nihil fit — «из ничего ничто не происходит». Изначальное мышление может проводить аналогии, выстраивать цепочки ассоциации и сравнивать, порождая новые комбинации ментальных элементов. Оно производит сырье, которое концептуальное мышление может обработать.
По близкому принципу работает описанная выше сеть GAN — одна нейросеть «различает», другая — «сравнивает и находит ассоциации». Алгоритм следует теории креативности, производит новые полотна, провоцирующие эмоциональный отклик в людях.
Нейросети — в помощь художнику. И музыканту
Искусство и технологии всегда пересекались и подпитывали друг друга (достаточно вспомнить об эпохе Возрождения, об экспериментах Леонардо и Микеланджело). Новые материалы, подходы и изобретения часто позволяли художникам создавать шедевры и целые виды искусства. Так и сегодня, помимо самостоятельного «производства» поэм, картин и музыки, нейросети помогают ученым проводить исследования в творческой сфере.
Развитие современной музыкальной индустрии ориентируется на классифицированные паттерны, помогающие в буквальном смысле построить математическую модель музыки и «запрограммировать» желаемый эффект от прослушивания композиции.
Международная исследовательская группа из университетов Японии и Бельгии в сотрудничестве с компанией Crimson Technologies выпустила специальное устройство на базе машинного обучения, умеющее выявлять эмоциональное состояние слушателей и генерировать на основании собранной информации принципиально новый контент.
«Как правило, машины и программы для создания песен зависят напрямую от автоматических композиционных систем, их предварительно заданный и хранящийся объем готового музыкального материала позволяет сочинять только похожие между собой треки», — отмечает профессор Масаюки Нумао (Numao Masayuki) из Университета Осаки.
Нумао и его команда хотят предоставить «машинам» информацию об эмоциональном состоянии человека. По их мнению, это должно способствовать увеличению интерактивности музыкального опыта. Ученые провели эксперимент, во время которого испытуемые слушали музыку в наушниках с сенсорами активности головного мозга. Сведенные воедино данные ЭЭГ транслировались роботу-композитору. В результате удалось выявить большую вовлеченность и более интенсивную эмоциональную реакцию слушателей на определенную музыку.
Нумао считает, что эмоционально-связанные интерфейсы имеют потенциал: «Например, мы можем использовать их в здравоохранении, чтобы мотивировать человека чаще упражняться или же просто приободрить его, поднять настроение».
Искусство видеть
Джон Бергер (Бёрджер) в «Искусстве видеть» отмечал, что зрение для человека первично по отношению к языку. Знание влияет на нашу оценку. По Бергеру, любое изображение — это просто один из многочисленных способов видения, но наше восприятие изображения зависит от того, каким способом видения пользуемся мы.
Поэтому дискуссия о творчестве алгоритмов мотивирует нас задуматься не только о том, как «творят» программы, но и о том, как мы сами воспринимаем творчество. Нейросети могут писать стихи, а мы порой путаем их с человеческими: но именно наше восприятие, наше прочтение наполняет их смыслом. Например, для алгоритма слова, мазки, цвета и звуки являются всего лишь набором знаков, которые он может сложить в гармоничную структуру. Это сырье, за которым робот не видит содержания, смыслового поля. По крайней мере, пока не видит.
Роботы не могут придать предметам значение, а произведениям — глобальную культурную ценность. «Никогда еще не писалось так много стихов и так мало поэзии», – читаем у Умберто Эко. ИИ может создать гениальную симфонию или сочетание рифм, правильно организованных графически, но лишь признание человека позволит всему этому обрести столь желаемый многими статус – действительно быть искусством, а не казаться им.