AR-технологии на службе живописи

    Я работаю бизнес-архитектором в области цифровой трансформации. С недавних пор в свободное время начала заниматься графикой и живописью,  создала цикл картин «Цифровое ОКО» с дополненной реальностью. AR-технологии дают зрителю возможность попасть в альтернативный мир, находящийся по другую сторону холста. В этой статье я расскажу, как совместить daytime job с профессиональным хобби и получить нечто настолько необычное, что у вас будет персональная выставка.


    Я занимаюсь бизнес-аналитикой и бизнес-архитектурой, то есть помогаю нашим клиентам найти новые модели в части цифровой трансформации бизнеса. По образованию я программист. Но в определенный момент поняла, кодинг – это не мое, и стала развиваться в сторону аналитики. 

    Идея симбиоза живописи с информационными технологиями пришла мне в голову как-то сама. Мне хотелось соединить два мира, в которых живу. И так получилось, что я написала несколько картин на которых были видеокамеры и вдруг я подумала, а куда они смотрят? Что если дать зрителю увидеть мир из-за полотна картины, показать, что видит изображенная на картине камера. И я решила вывести на экраны видеосъемку с камер, изображенных на картинах. Ведь основная тема цикла – наблюдение, главный образ которого – камеры. Но потом я вспомнила: «Есть же дополненная реальность». А это значит, что можно создать на основе картины отдельный мир, в который можно заглянуть, лучше понять смысл работы.

    До возникновения идеи я не видела похожих проектов. Я даже проверила наличие подобных решений — не нашла. AR и VR в сфере искусства, конечно же применяются, но чаще всего эти решения находятся в зоне ответственности музеев, реже являются персональным проектом какого-нибудь молодого художника.

    43°46'05.0''N 11°15'19.0''E

    Например, в Детройтском институте искусств с помощью платформы дополненной реальности Tango от Google можно заглянуть внутрь саркофага и восстановить стершиеся краски на экспонатах. А в Национальном музее естественной истории в Вашингтоне посетителей отправляют в Юрский период с помощью системы дополненной реальности Broadcast AR. В Государственной Третьяковской галерее на VR-экспозиции посетители могут заглянуть в мастерские художников Наталии Гончаровой и Казимира Малевича, создать свою версию Шишкинского «Утра в сосновом лесу» и услышать «Крик» Мунка. Грехтен Эндрю, художница из Лондона, создала VR-проект Alternate Reality. Автор при работе над картинами часто использовала Google Glass и снимала видео и фотографии процесса, а затем включала отснятый материал в VR. Посетитель надевал очки виртуальной реальности и видел историю создания картины. Помимо AR и VR более распространенными технологиями для оформления экспозиций являются проекции, интерактивные панели и экраны, QR-коды и RFID-метки.

    Возвращаясь к своему проекту… С момента создания первой картины до проведения первой выставки «Цифровое ОКО» прошло чуть больше года.  Если мне не изменяет память, то идея с AR возникла в конце 2018 года. Тему с разработкой приложения я подняла за три месяца до первой выставки, которая была в мае 2019 года. И не потому, что разработать такое приложение сложно, а потому, что надо учитывать все риски, особенно в работе с новой командой. Видео мы тоже начали снимать где-то с марта. С разработкой приложения мне помогала группа профессиональных разработчиков.

    55°55'13.9''N 37°32'59.7''E

    Приложение дополненной реальности разработано на движке Unity с AR-библиотекой Vuforia. Благодаря этой технологии изображение, передаваемое камерой планшета, анализируется программным модулем компьютерного зрения, и по заданным уникальным признакам обнаруживает картины. Когда картина идентифицирована, загружается связанный с ней видеоконтент, положение которого в пространстве синхронизуется с положением картины. Если пользователь с планшетом двигается относительно картины, положение видео корректируется благодаря поступающей информации с акселерометров и гироскопов устройства и повторно уточняется с помощью системы компьютерного зрения. 


    Нужно учитывать, что картины хорошо отслеживаются при условии, что зритель с планшетом стоит так, что вся картина помещается на экране. Если он будет стоять ближе и камера будет видеть только часть картины, то отслеживание может сбоить. Это зависит от того достаточно ли опорных точек попадает в видимость камеры.


    С одной из картин возникла проблема: машинному зрению было сложно ее отследить, так как  в ней слишком мало контрастных точек и четких углов, которые являются опорными точками для машинного зрения. Я предпочла оставить картину без AR, нежели менять изображение на ней. Всё-таки картины первичны. И что самое забавное – на картине изображен Иисус. Зрителями эта ситуация воспринималась как некая мистика: Иисус не хочет распознаваться, да и вообще, не нужны ему никакие камеры, он и без них всё прекрасно знает.

    44°18′47.9''N 09°10′30.95''E


    История с дополненной реальностью скорее является перфомативной частью. Я не стала заливать приложения в Play Market и Apple Store, а предоставила на время выставки планшеты с заранее загруженным приложением. Во-первых, знаю по себе, не все любят устанавливать на свои смартфоны «одноразовые» приложения. Ни к чему напрягать людей. Во-вторых, мы все знаем, как непросто залить приложение в Apple Store. У кого Android и кто хочет установить себе приложение, тот может установить его через APK-файл. Но учитывайте, что приложение весит достаточно много, в него загружено восемь высококачественных видео.

    Конечно, лучше смотреть картины на выставке, но можно открыть мой сайт, загрузить приложение и посмотреть картины вместе с видео.

    41°41'10.5''N 44°48'19.0''E

    С видео мне помог мой двоюродный брат Алексей Алафьев – очень талантливый фотограф, видеограф. Он не только организовал и осуществил профессиональную съемку, с ним вместе мы придумывали идеи. Я набрасывала темы, а он уже предлагал, как это лучше представить, визуализировать. И вот такой совместный результат у нас получился.


    Кстати, он же автор видео моей первой выставки «Цифровое ОКО».


    42°43'00.9''N 12°06'48.0''E и 45°04'50.2''N, 6°30'61.0''E



    Расскажу немного о концепции и самой выставке. «Цифровое ОКО» – арт-проект с дополненной реальностью, который отражает влияние технологий на социум и размывание границ частной жизни. Уже состоялось два показа этого проекта. Первый являлся просто экспозицией картин с AR. После чего было решено развить идею до бОльшего проекта и задействовать дополнительных участников. Неотъемлемой частью открытия второго показа являлась перформативная программа. Постановка «Я. Они. Мы», которая включала иммерсивные элементы, рассказывает о нас с вами. Как мы подвергаемся манипуляции и стадному чувству, боимся индивидуальности и в тоже время не желаем выглядеть банальными. Мы способны быть сильными и противостоять тому, что лишает нас свободы.

    55°45'42.8''N 37°36'12.1''E


    Также зрителей ждал ханг-концерт MarsiAnka. Гармоничные, мягкие и ритмичные звуки ханга на интуитивном уровне возвращают нас к почти утерянному естеству. А завершал вечер выступление ди-джея.

    Я думаю, что продолжу в своем творчестве тему влияния цифровых технологий на человека. «Цифровое ОКО» (камеры) – это лишь вершина айсберга. Меня волнуют социальные темы, как человек ощущает себя в современном мире, куда его приводит изменяющийся мир. Это тема поиска себя человеком. Но дополненную реальность вряд ли буду применять и дальше. Поиграла с трендами, удивила, впечатлила и хватит.

    Мои коллеги из DTG уже не раз бывали на моих выставках, и им понравилось. Один из наших разработчиков заметил, что когда на стене висят три картины и наводишь на них смартфон, то приложение считывает только какую-то одну картину. Он сказал, что это баг и его нужно исправить. Но на самом деле, так и было задумано. Три видео воспринимать сложно. 

    Были еще профессиональные шутки про блокчейн, которым мы занимаемся. Предлагали записать историю создания картины в блокчейн.


    Ещё приятно, что моими работами интересуются и журналисты. Кому интересно узнать больше о моем творчестве, то можете почитать интервью в журнале «Сноб».

    Творчество помогает моей работе. Повысилась способность концентрации, развилось умение видеть что-то новое, не только визуально, но и обращать внимание на детали. Творчество расширило мой кругозор, обогатило меня идеями и в аналитике тоже.


    Я слежу за современным искусством. Особенно вдохновляют работы авангардистов и концептуальные проекты. А если по направлениям, то, наверное, авангардизм, гиперреализм, абстракционизм, сюрреализм, инсталляции и ready made искусство. Хотя не хочется умалять значение, например, постимпрессионизма, супрематизма, соц-арта и поп-арта. Меня вдохновляют картины моего ментора – Тимофея Смирнова. У него потрясающая графика с глубоким философским смыслом. 

    Для меня написание картин – это не арт-терапия. Я не расслабляюсь в процессе написания. Мне интересен процесс, но больше – результат.  


    Заходите на наш сайт за вакансиями, кстати.
    ГК ЛАНИТ
    475,38
    Ведущая многопрофильная группа ИТ-компаний в РФ
    Поделиться публикацией

    Комментарии 11

      +4
      Тамара, спасибо! Очень красивые работы и интересная идея — объединить живопись и видео с помощью информационных технологий и дополненной реальности, потрясающий эффект! Желаю новых работ и новых выставок!)
        0
        del
          +2
          Спасибо, работы очень понравились.
          Но сертификат на сайте стоит перегенерировать :)

            0
            Спасибо! Не уследила за сертификатом :)
            +3
            Работы понравились, и объединение живописи и видео тоже.
            Но вот меня почему-то всегда на выставках напрягали люди не смотрящие на картину, а фотографирующие её (вы пришли именно посмотреть, понять, почуствовать, а не пофоткать, как в переходе, почти всё есть в интернете, и если выставка правильная, то фото картин можно найти), теперь же треша стало ещё больше — люди снимают на видео одной рукой планшет, что держат в другой, который снимает картину. Есть к стати идея для перформанса- сделайте картину в которой будет больше «вложений реальности» и на устройстве снимающем видео, с устройства снимающего устройство, показывающего вашу картину будет воспроизводиться например звук или другое видео с других ракурсов, да или совсем закольцевать- отображать видео с камер в выставочном зале или исходную картину. Чтобы люди собирались группками (не у всех же есть три руки для трёх девайсов) и снимали такие «тоннели» объединений реальностей. А суть всего этого — показать абсурдность обезьянок тычущих везде телефоном или фотоаппаратом. Мне иногда таким хочется предложить фото обеда вместо еды, и фотку унитаза, вместо естественно доступа к самому этому месту. Извините просто немного накипело, вспомнил неуважающих актёров зрителей со звонками посреди спектакля, и снимающих экранки преступников.
              0
              Спасибо.
              Я с Вами солидарна! Хотя в какой-то момент перестала обращать внимание на таких людей, так как большинство из них, к сожалению, не осознает эти моменты, а наши эмоциональные ресурсы расходуются. Да и это их право и их решение — «вылетать» из реальности и «замыливать» чистое восприятие. Пусть работает естественный отбор.
              Радует, что ко мне на выставки приходят люди, которые способны оценить как живопись в чистом виде, так и идею симбиоза с IT. Это очень ценно.
              А идея с перфомансом хороша! По мне, философия абсурда прекрасна :)
              0
              Концептуально получилось. У меня тоже была попытка объединить живопись и технологии, но я пошел несколько другим путем — в сторону 3d. На подписях картин разместил QR-код со ссылкой на свой сайт, на который залил виртуальную галерею со своими картинами. Делал на основе blender и blend4web. Вот ссылка
                0
                Да, в Вашем случае технология выступает в роли инструмента для демонстрации картин. Прикольно. А не пробовали сделать стены галереи более однотонные? Картины то интересные и сами по себе яркие, а тут теряются…
                0

                А не проще было нарисовать камеры из разных частей света, транслирующих онлайн и при наведении просто включать онлайн трансляцию?

                  0
                  Тут дело не в том, что проще, а в желании реализовать определенную концепцию определенным образом. А так-то идей масса, и они меня до сих пор не отпускают :D
                    0
                    согласен, стены никуда не годятся)) они пестрые и качество текстуры оставляет желать лучшего. идей по улучшению много, надо разобраться с функционалом blend4web, хочется больше взаимодействия галереи и посетителя, чтобы больше объектов было кликабельными.
                    в целом мне очень понравилась ваша идея. было бы здорово провести такую объединенную выставку, на которой художники представили свои картины в сочетании с новыми технологиями.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое