Artefact: AR в музее глазами разработчика, аналитика, искусствоведа

Чтобы протестировать приложение «в бою», еще до карантина мы сходили в ГМИИ им. Пушкина на одну из постоянных экспозиций. Наши знакомые, причастные к искусству и не очень, сделали то же самое. Кому-то не удалось попасть в музей, и они протестировали Artefact удаленно.

Я пришел в музей с установленным приложением и загруженным в него архивом выставки. Провел некоторые тесты, и вот какие два момента меня заинтересовали. Во-первых, картины — объекты сложные, с большим количеством деталей, а во-вторых — не слишком контрастные, если не сказать, бледные. Чтобы опознать картины, алгоритмы должны быть устойчивы к большому числу разнообразных помех и искажений. Большинство из нас знакомо с понятиями сигнала, шума и фильтрации. Однако пространственные искажения — это не случайный шум, который можно подавить линейным фильтром. А голова какого-нибудь посетителя музея, который заслонил ею часть картины — это своего рода шум бесконечной амплитуды. Его уровень нельзя уменьшить путем линейной фильтрации. Значит, алгоритмы должны уметь распознавать изображение, используя только видимую часть.

Чтобы проверить, насколько устойчив алгоритм к помехам, возникающим в реальных условиях, я проделал два эксперимента. Сперва я попробовал распознать картину, наводя на нее смартфон не прямо, а под углом. Для эксперимента я выбрал картину Пикассо «Старый еврей с мальчиком». С этой проблемой приложение справилось без особого труда, успешно определив произведение даже тогда, когда угол наклона составлял 45 градусов.

Во втором эксперименте я отошел от картины и подождал, пока ее частично заслонит от меня другой посетитель. Площадь, которая оказалась недоступна, составила при этом около трети изображения. Приложение на некоторое время задумалось (или мне так показалось), однако через несколько секунд опознало картину и выдало дополнительную информацию. Конечно, интересно, какими способами разработчикам удалось достичь такой устойчивости распознавания к помехам.

Важно понимать, что используется не просто распознавание изображения, а трекинг. В задачи трекинга, помимо распознавания искомого изображения во входном видеопотоке, входит также определение перспективных искажений и последующие преобразования этих искажений в позицию метки в пространстве. Таким образом, справляться с наведением камеры под разными углами — это основная функция алгоритма.

Для успешного распознавания изображения необходимо выделить в эталонном изображении характерные точки, главным образом — в местах с резким перепадом яркости. Так же характерные точки выделяются в кадре видеопотока. Наборы этих точек сравниваются между собой. Естественно, имеет смысл сравнивать не весь набор точек, а небольшие области, на которых перспективные искажения играют меньшую роль. Это позволяет алгоритму быть устойчивым к потере части изображения в видеопотоке или, наоборот, к шуму в виде посторонних объектов в кадре. При совпадении нескольких таких областей можно сравнить расстояние между ними на эталонном изображении и полученным с камеры для последующего вычисления перспективных искажений и позиции метки.

На устройстве есть не только камера, но и другие средства связи с внешним миром: акселерометр, компас и гироскоп. Данные с них помогают не потерять уже обнаруженную метку.

В музей я пришел в выходной, и там было много посетителей. Пока я стоял в очереди за билетом, вызвал приложение Artefact, нашел выставку в списке и скачал архив с необходимыми для работы данными (108 мегабайт). В музеях я бываю не часто, но раз уж это случилось, то осмотрел все залы на обоих этажах. Приложение сумело опознать около 80% объектов, на которые я наводил камеру, а я наводил ее на все картины, которые привлекали внимание. Не скрою, меня впечатлило, что задачу распознавания рутинно выполняет смартфон — мобильное устройство, которое обладает не самым мощным процессором и обязано быть энергоэффективным. К тому же приложение в реальном времени обрабатывает видео, захватывает часть кадров и сопоставляет их с какими-то эталонами. Но ведь мобильное устройство должно беречь энергию, да и к тому же обычно заряжено далеко не на все сто процентов. Напрашивается предположение, что одним из желательных свойств приложения Artefact является минимизация объема вычислений, которые выполняются непосредственно смартфоном. А значит, либо используются специализированные алгоритмы, хорошо решающие узкий класс задач распознавания, либо вычисления должны производиться в облаке. Интересно, какие библиотеки используются при разработке — open source или проприетарные?

Весь алгоритм распознавания действует на устройстве, так что приложение может работать без подключения к интернету. Архив содержит необходимый набор эталонных изображений и меток для сравнения, а также метрик и метаданных для идентификации меток. Для каждой выставки можно сформировать набор пакетов, которые позволят пользователю заранее загрузить все материалы на устройство. Тогда автономно можно не только распознавать экспонаты, но также читать статьи и слушать аудиогиды. Ранее загруженные данные кешируются, уже просмотренные данные остаются доступны пользователю без подключения к интернету. Пользователь может очистить весь кеш или удалить отдельные пакеты со своего устройства.

В разработке используются открытые библиотеки, в основном это широко используемые библиотеки общего назначения. Их достаточно для таких задач, как работа с сетью, кеширование изображений и UI. В плане проприетарных библиотек наибольшее внимание сейчас привлекают разработки, внедренные за последнее время в сами операционные системы.

Для рендеринга на iOS мы перешли с OpenGL на SceneKit и Metal. Это позволило нам за относительно короткий срок внедрить в приложение отображение трехмерных моделей в нескольких форматах (.usdz, .usdc, .usd, .usda, .scn) и использовать Physically based rendering. К тому же это решило проблему с тем, что Apple закончила поддержку OpenGL и перевела спецификацию в статус deprecated.

Со стороны дополненной реальности важным этапом стало появление ARKit. Фреймворк мы используем для реализации функции «Музей дома». Она оказалась очень популярной у пользователей, и мы планируем развивать ее. Также ARKit поддерживает трекинг изображений, и последние тесты этих функций показывают хорошие результаты. Возможно, скоро полностью перейдем на ARKit.

На Android мы сейчас смотрим в сторону ARCore и Sceneform.

В музее мое внимание привлекла картина Луиджи Луара «Дым окружной парижской
железной дороги», написанная в 1885 году. Раньше я не знал про этого художника и не видел его картин, зато мне нравятся работы многих его современников. Дым, занимающий две трети полотна, говорит о том, что дорога была оживленной. Увы, в приложении информация о художнике и о его творчестве, не говоря уж о парижском аналоге МЦК, оказалась скупой. В аудиогиде, который я нашел в том же Artefact, интересных сведений было чуть больше. Позже оказалось, что в интернете полно релевантной информации, и это навеяло мысль о том, что качественное контент-наполнение может представлять широкое поле для деятельности.

Кстати, экскурсоводы в музеях часто рассказывают захватывающие эксклюзивные вещи, которые трудно извлечь из каталогов и альбомов, так что даже возникает подозрение — уж не сами ли они это все сочинили? Однако, такие истории вызывают эмоции и запоминаются зрителями. Смогут ли мобильные приложения добавить в просмотр эту человеческую компоненту? Думаю, что если бы удалось сформировать сообщество энтузиастов, которые могли бы превратить сухую информационную сводку в гипертекст, в окно, ведущее в энциклопедии и специальные труды, это было бы по-настоящему здорово. Возможно, подобную роль могли бы взять на себя гуманитарные вузы.

Контент в приложении разрабатывают музеи. Сотрудники музея отбирают экспонаты и решают, какую историю рассказать посетителям. Со своей стороны мы стараемся помочь музею адаптировать и подобрать новый контент под формат дополненной реальности. У нас жесткая система модерации, чтобы поддерживать качество контента на высоком уровне.

В рамках национального проекта «Культура» мы проводим конкурсный отбор заявок от музеев на создание гидов в приложении. При необходимости адаптируем текст, помогаем с его версткой на платформе. Еще переводим контент на иностранные языки, в основном на английский. Профессиональные аудиогиды записываются на русском и английском языках.

В интернете я провожу много времени в поисках вдохновения художественных референсов, которые давали бы идеи для будущих работ или новое видение. Это важная часть вынашивания творческих планов. В моем Pinterest тысячи изображений скульптур, фрагменты живописных работ, древнее искусство, керамика, костюмы, образцы фактур и прочее. Я часто задумываюсь о том, что приложение, которое могло бы распознать работу, определив ее происхождение и выходные данные, стало бы неоценимым помощником в моем творчестве и художественном самообразовании. Ведь творческий процесс — это в некотором роде сталкинг: никогда не знаешь, где попадется тот референс, который определит твою будущую работу.

Я загрузила Artefact и попробовала протестировать его на изображениях в интернете. Оказалось, что приложение умеет распознавать изображения с экрана ноутбука, но информацию дает лишь по тем работам, которые есть на экспозиции в ряде конкретных музеев. Этот инструмент мне показался удобным, потому что можно заранее посмотреть на галерею работ, выхватить о них какие-то факты и после принять решение о том, стоит ли идти смотреть на работу вживую. Мне любопытно узнать, есть ли возможность распознавать через приложение скульптуры?

Алгоритм распознавания работает только с двумерными изображениями. Мы используем трюк для распознавания трехмерных объектов: представляем трехмерный объект как набор изображений с нескольких ракурсов. В большинстве случаев это позволяет опознать объект. Проблемы возникают со сложными объектами, например, с моделями оружия, из-за большого количества возможных ракурсов, с которых посетитель рассматривает экспонат.

Ориентируясь на детскую аудиторию, мы внедрили поддержку квестовых механик. Маленькие посетители музея смогут изучать экспозицию музея в игровой форме. Ведь всем нам интересно отгадывать загадки. Сначала распознаем экспонат, отвечаем на вопрос (найти ответы пользователи смогут в самом экспонате). Что нужно сделать дальше? Внимательно рассмотреть дополнительные изображения в AR (например, на рентгенограмме автопортрета Рембрандта можно увидеть, что сначала художник изобразил себя в берете, но по какой то причине потом «снял» его), открыть все точки интереса или найти ответ в аудиогиде или интерактивной статье. В общем, изучить всю доступную информацию об экспонате. Элементы игровой механики позволяют усилить вовлеченность в процесс изучения материалов экскурсии.

Также мы разработали механику поиска экспоната по самому вопросу. Читаем вопрос, ходим по залу и сканируем подходящий под ответ экспонат. Подтверждаем свою уверенность в ответе. Посетители музея смогут соревноваться между собой, проходя викторину в режиме скрытого подсчета очков, сражаться друг с другом, чтобы выяснить в конце посещения, кто набрал больше баллов. Недавно Мурманский областной художественный музей воспользовался именно этой механикой и провел олимпиаду для школьников прямо в нашем приложении.

В прошлом году в рамках Нацпроекта «Культура» мы сделали много гидов для краеведческих музеев. Например, «Природа Зауралья» — постоянная экспозиция Курганского областного краеведческого музея. Она рассказывает о географическом положении края и представляет посетителям его многообразный животный мир. А в приложении можно услышать голоса разных животных. Думаю, что это будет интересно как для детей, так и их родителей.

На мой взгляд, в последние годы посещение выставок стало трендом. Периодические выставки проходят при аншлаге, зрительская аудитория разнообразная: от домохозяек до профессиональных искусствоведов. Не все из них готовы следовать за экскурсоводом от начала до конца. Люди постигают новое по-разному, кто-то способен слушать рассказ лектора или гида, а кому-то обязательно нужно посмотреть, пощупать и обнюхать все самостоятельно. А у экскурсовода время строго ограничено, и он или она не может рассказать про каждый экспонат. Каждый выстраивает введение в художественные направления в соответствии с некоторой идеей и показывает лишь те работы, которые являются опорными или знаковыми. Многие могут вспомнить случай, когда внимание привлекла какая-нибудь замечательная картина, но гид уже ведет группу дальше. Что выбрать? Ведь кажется, что проходишь мимо той самой работы, ради которой и стоило прийти в музей. Но если задержаться — потеряешь нить рассказа экскурсовода. Приложение Artefact тут способно помочь. Посетитель мгновенно получает информацию о произведении, которое привлекло его внимание, и не отстает от группы. Проекту хотелось бы пожелать развивать уже намеченные направления, охватывать еще большее количество периодических выставок и музейных пространств. Интересно, какие следующие большие цели и задачи ставят перед собой авторы проекта?

Большой целью может стать уход от пакетного распознавания к облачному. Таким образом мы могли бы распознавать все объекты Музейного фонда РФ.

Также мы стараемся придумать новый механизм для распознавания трехмерных объектов, который давал бы более стабильный результат.

Но самая важная задача — сделать Артефакт базовым гидом и инструментом, который был бы полезен как пользователям так и музеям.