Artefact: AR в музее глазами разработчика, аналитика, искусствоведа

AR-приложение Artefact помогает посетителям музеев быстро получать информацию о предметах искусства. Вы приходите в музей и наводите камеру смартфона на арт-объект. Artefact распознает экспонат и подсвечивает «точки интереса» — контент-поинты с информацией о картине или контексте ее создания. Кроме того, приложение показывает первые эскизы к работе, предлагает прослушать запись из аудиогида или прочесть подробную статью. По нашей просьбе искусствовед, программист, аналитик (и не только) опробовали Artefact, а его разработчики ответили на вопросы. Все это — под катом.

Чтобы протестировать приложение «в бою», еще до карантина мы сходили в ГМИИ им. Пушкина на одну из постоянных экспозиций. Наши знакомые, причастные к искусству и не очень, сделали то же самое. Кому-то не удалось попасть в музей, и они протестировали Artefact удаленно.
Александр
разработчик в финтех-компании, хабраавтор
Я пришел в музей с установленным приложением и загруженным в него архивом выставки. Провел некоторые тесты, и вот какие два момента меня заинтересовали. Во-первых, картины — объекты сложные, с большим количеством деталей, а во-вторых — не слишком контрастные, если не сказать, бледные. Чтобы опознать картины, алгоритмы должны быть устойчивы к большому числу разнообразных помех и искажений. Большинство из нас знакомо с понятиями сигнала, шума и фильтрации. Однако пространственные искажения — это не случайный шум, который можно подавить линейным фильтром. А голова какого-нибудь посетителя музея, который заслонил ею часть картины — это своего рода шум бесконечной амплитуды. Его уровень нельзя уменьшить путем линейной фильтрации. Значит, алгоритмы должны уметь распознавать изображение, используя только видимую часть.
Чтобы проверить, насколько устойчив алгоритм к помехам, возникающим в реальных условиях, я проделал два эксперимента. Сперва я попробовал распознать картину, наводя на нее смартфон не прямо, а под углом. Для эксперимента я выбрал картину Пикассо «Старый еврей с мальчиком». С этой проблемой приложение справилось без особого труда, успешно определив произведение даже тогда, когда угол наклона составлял 45 градусов.
Во втором эксперименте я отошел от картины и подождал, пока ее частично заслонит от меня другой посетитель. Площадь, которая оказалась недоступна, составила при этом около трети изображения. Приложение на некоторое время задумалось (или мне так показалось), однако через несколько секунд опознало картину и выдало дополнительную информацию. Конечно, интересно, какими способами разработчикам удалось достичь такой устойчивости распознавания к помехам.
Комментарий разработчика:
Важно понимать, что используется не просто распознавание изображения, а трекинг. В задачи трекинга, помимо распознавания искомого изображения во входном видеопотоке, входит также определение перспективных искажений и последующие преобразования этих искажений в позицию метки в пространстве. Таким образом, справляться с наведением камеры под разными углами — это основная функция алгоритма.
Для успешного распознавания изображения необходимо выделить в эталонном изображении характерные точки, главным образом — в местах с резким перепадом яркости. Так же характерные точки выделяются в кадре видеопотока. Наборы этих точек сравниваются между собой. Естественно, имеет смысл сравнивать не весь набор точек, а небольшие области, на которых перспективные искажения играют меньшую роль. Это позволяет алгоритму быть устойчивым к потере части изображения в видеопотоке или, наоборот, к шуму в виде посторонних объектов в кадре. При совпадении нескольких таких областей можно сравнить расстояние между ними на эталонном изображении и полученным с камеры для последующего вычисления перспективных искажений и позиции метки.
На устройстве есть не только камера, но и другие средства связи с внешним миром: акселерометр, компас и гироскоп. Данные с них помогают не потерять уже обнаруженную метку.
Григорий
аналитик исследовательской компании
В музей я пришел в выходной, и там было много посетителей. Пока я стоял в очереди за билетом, вызвал приложение Artefact, нашел выставку в списке и скачал архив с необходимыми для работы данными (108 мегабайт). В музеях я бываю не часто, но раз уж это случилось, то осмотрел все залы на обоих этажах. Приложение сумело опознать около 80% объектов, на которые я наводил камеру, а я наводил ее на все картины, которые привлекали внимание. Не скрою, меня впечатлило, что задачу распознавания рутинно выполняет смартфон — мобильное устройство, которое обладает не самым мощным процессором и обязано быть энергоэффективным. К тому же приложение в реальном времени обрабатывает видео, захватывает часть кадров и сопоставляет их с какими-то эталонами. Но ведь мобильное устройство должно беречь энергию, да и к тому же обычно заряжено далеко не на все сто процентов. Напрашивается предположение, что одним из желательных свойств приложения Artefact является минимизация объема вычислений, которые выполняются непосредственно смартфоном. А значит, либо используются специализированные алгоритмы, хорошо решающие узкий класс задач распознавания, либо вычисления должны производиться в облаке. Интересно, какие библиотеки используются при разработке — open source или проприетарные?
Комментарий разработчика:
Весь алгоритм распознавания действует на устройстве, так что приложение может работать без подключения к интернету. Архив содержит необходимый набор эталонных изображений и меток для сравнения, а также метрик и метаданных для идентификации меток. Для каждой выставки можно сформировать набор пакетов, которые позволят пользователю заранее загрузить все материалы на устройство. Тогда автономно можно не только распознавать экспонаты, но также читать статьи и слушать аудиогиды. Ранее загруженные данные кешируются, уже просмотренные данные остаются доступны пользователю без подключения к интернету. Пользователь может очистить весь кеш или удалить отдельные пакеты со своего устройства.
В разработке используются открытые библиотеки, в основном это широко используемые библиотеки общего назначения. Их достаточно для таких задач, как работа с сетью, кеширование изображений и UI. В плане проприетарных библиотек наибольшее внимание сейчас привлекают разработки, внедренные за последнее время в сами операционные системы.
Для рендеринга на iOS мы перешли с OpenGL на SceneKit и Metal. Это позволило нам за относительно короткий срок внедрить в приложение отображение трехмерных моделей в нескольких форматах (.usdz, .usdc, .usd, .usda, .scn) и использовать Physically based rendering. К тому же это решило проблему с тем, что Apple закончила поддержку OpenGL и перевела спецификацию в статус deprecated.
Со стороны дополненной реальности важным этапом стало появление ARKit. Фреймворк мы используем для реализации функции «Музей дома». Она оказалась очень популярной у пользователей, и мы планируем развивать ее. Также ARKit поддерживает трекинг изображений, и последние тесты этих функций показывают хорошие результаты. Возможно, скоро полностью перейдем на ARKit.
На Android мы сейчас смотрим в сторону ARCore и Sceneform.
Иван
завкафедрой гуманитарного вуза
В музее мое внимание привлекла картина Луиджи Луара «Дым окружной парижской
железной дороги», написанная в 1885 году. Раньше я не знал про этого художника и не видел его картин, зато мне нравятся работы многих его современников. Дым, занимающий две трети полотна, говорит о том, что дорога была оживленной. Увы, в приложении информация о художнике и о его творчестве, не говоря уж о парижском аналоге МЦК, оказалась скупой. В аудиогиде, который я нашел в том же Artefact, интересных сведений было чуть больше. Позже оказалось, что в интернете полно релевантной информации, и это навеяло мысль о том, что качественное контент-наполнение может представлять широкое поле для деятельности.
Кстати, экскурсоводы в музеях часто рассказывают захватывающие эксклюзивные вещи, которые трудно извлечь из каталогов и альбомов, так что даже возникает подозрение — уж не сами ли они это все сочинили? Однако, такие истории вызывают эмоции и запоминаются зрителями. Смогут ли мобильные приложения добавить в просмотр эту человеческую компоненту? Думаю, что если бы удалось сформировать сообщество энтузиастов, которые могли бы превратить сухую информационную сводку в гипертекст, в окно, ведущее в энциклопедии и специальные труды, это было бы по-настоящему здорово. Возможно, подобную роль могли бы взять на себя гуманитарные вузы.
Комментарий разработчика:
Контент в приложении разрабатывают музеи. Сотрудники музея отбирают экспонаты и решают, какую историю рассказать посетителям. Со своей стороны мы стараемся помочь музею адаптировать и подобрать новый контент под формат дополненной реальности. У нас жесткая система модерации, чтобы поддерживать качество контента на высоком уровне.
В рамках национального проекта «Культура» мы проводим конкурсный отбор заявок от музеев на создание гидов в приложении. При необходимости адаптируем текст, помогаем с его версткой на платформе. Еще переводим контент на иностранные языки, в основном на английский. Профессиональные аудиогиды записываются на русском и английском языках.
Юлия
редактор в IT-издании и скульптор-любитель
В интернете я провожу много времени в поисках вдохновения художественных референсов, которые давали бы идеи для будущих работ или новое видение. Это важная часть вынашивания творческих планов. В моем Pinterest тысячи изображений скульптур, фрагменты живописных работ, древнее искусство, керамика, костюмы, образцы фактур и прочее. Я часто задумываюсь о том, что приложение, которое могло бы распознать работу, определив ее происхождение и выходные данные, стало бы неоценимым помощником в моем творчестве и художественном самообразовании. Ведь творческий процесс — это в некотором роде сталкинг: никогда не знаешь, где попадется тот референс, который определит твою будущую работу.
Я загрузила Artefact и попробовала протестировать его на изображениях в интернете. Оказалось, что приложение умеет распознавать изображения с экрана ноутбука, но информацию дает лишь по тем работам, которые есть на экспозиции в ряде конкретных музеев. Этот инструмент мне показался удобным, потому что можно заранее посмотреть на галерею работ, выхватить о них какие-то факты и после принять решение о том, стоит ли идти смотреть на работу вживую. Мне любопытно узнать, есть ли возможность распознавать через приложение скульптуры?
Комментарий разработчика:
Алгоритм распознавания работает только с двумерными изображениями. Мы используем трюк для распознавания трехмерных объектов: представляем трехмерный объект как набор изображений с нескольких ракурсов. В большинстве случаев это позволяет опознать объект. Проблемы возникают со сложными объектами, например, с моделями оружия, из-за большого количества возможных ракурсов, с которых посетитель рассматривает экспонат.
Ирина
домохозяйка, родитель
В этом году я взяла детям абонемент на серию экскурсий в Третьяковку. Они занимаются в художественной студии, поэтому важно, чтобы просмотр работ сопровождался осмысленным рассказом о произведениях, адаптированным для детского восприятия. Я не большой фанат идеи использовать гаджеты в музеях. Мне кажется, что «контента» там и без того достаточно. Но если есть приложение, которое можно запустить в музее, чтобы обеспечить некий игровой нарратив, помогающий детям усваивать информацию, я бы отнеслась к нему со вниманием.
В приложении Artefact я заметила наличие аудиогидов к экспонатам. Это удобно, ведь аудиогиды — это отдельная платная услуга в стенах музея. Получается, если прийти в музей с приложением, то можно немного сэкономить. Как вариант, прослушать информацию самой, а после переложить ее детям на понятном языке.
Комментарий разработчика:
Ориентируясь на детскую аудиторию, мы внедрили поддержку квестовых механик. Маленькие посетители музея смогут изучать экспозицию музея в игровой форме. Ведь всем нам интересно отгадывать загадки. Сначала распознаем экспонат, отвечаем на вопрос (найти ответы пользователи смогут в самом экспонате). Что нужно сделать дальше? Внимательно рассмотреть дополнительные изображения в AR (например, на рентгенограмме автопортрета Рембрандта можно увидеть, что сначала художник изобразил себя в берете, но по какой то причине потом «снял» его), открыть все точки интереса или найти ответ в аудиогиде или интерактивной статье. В общем, изучить всю доступную информацию об экспонате. Элементы игровой механики позволяют усилить вовлеченность в процесс изучения материалов экскурсии.
Также мы разработали механику поиска экспоната по самому вопросу. Читаем вопрос, ходим по залу и сканируем подходящий под ответ экспонат. Подтверждаем свою уверенность в ответе. Посетители музея смогут соревноваться между собой, проходя викторину в режиме скрытого подсчета очков, сражаться друг с другом, чтобы выяснить в конце посещения, кто набрал больше баллов. Недавно Мурманский областной художественный музей воспользовался именно этой механикой и провел олимпиаду для школьников прямо в нашем приложении.
В прошлом году в рамках Нацпроекта «Культура» мы сделали много гидов для краеведческих музеев. Например, «Природа Зауралья» — постоянная экспозиция Курганского областного краеведческого музея. Она рассказывает о географическом положении края и представляет посетителям его многообразный животный мир. А в приложении можно услышать голоса разных животных. Думаю, что это будет интересно как для детей, так и их родителей.
Василиса
искусствовед
На мой взгляд, в последние годы посещение выставок стало трендом. Периодические выставки проходят при аншлаге, зрительская аудитория разнообразная: от домохозяек до профессиональных искусствоведов. Не все из них готовы следовать за экскурсоводом от начала до конца. Люди постигают новое по-разному, кто-то способен слушать рассказ лектора или гида, а кому-то обязательно нужно посмотреть, пощупать и обнюхать все самостоятельно. А у экскурсовода время строго ограничено, и он или она не может рассказать про каждый экспонат. Каждый выстраивает введение в художественные направления в соответствии с некоторой идеей и показывает лишь те работы, которые являются опорными или знаковыми. Многие могут вспомнить случай, когда внимание привлекла какая-нибудь замечательная картина, но гид уже ведет группу дальше. Что выбрать? Ведь кажется, что проходишь мимо той самой работы, ради которой и стоило прийти в музей. Но если задержаться — потеряешь нить рассказа экскурсовода. Приложение Artefact тут способно помочь. Посетитель мгновенно получает информацию о произведении, которое привлекло его внимание, и не отстает от группы. Проекту хотелось бы пожелать развивать уже намеченные направления, охватывать еще большее количество периодических выставок и музейных пространств. Интересно, какие следующие большие цели и задачи ставят перед собой авторы проекта?
Комментарий разработчика:
Большой целью может стать уход от пакетного распознавания к облачному. Таким образом мы могли бы распознавать все объекты Музейного фонда РФ.
Также мы стараемся придумать новый механизм для распознавания трехмерных объектов, который давал бы более стабильный результат.
Но самая важная задача — сделать Артефакт базовым гидом и инструментом, который был бы полезен как пользователям так и музеям.
Какую функцию вы бы добавили в функционал музейного AR-приложения?

Комментарии 24

    +1
    Так ведь просто используют аркит, чего такого? Ну да, прикольная механика, но честно говоря я не увидел ничего что заставит меня сказать: вау как круто, это будущее AR. Поясню: в арките/коре /любой sdk для AR есть распознавание картинки из коробки, причем из коробки оно работает более чем стабильно. И задача трекинга решается кстати тоже из коробки.
      0
      Естественно мы используем все инструмены, которые нам доступны в том числе и ARKit, который, в свою очередь, очень быстро развивается. К тому же инженеры Apple всегда открыты к диалогу с разработчиками и прислушиваются к их запросам. Но даже при всём удобстве и возможностях ARKit и других инструментов, остаётся огромный пласт работ, который должен быть выполнен.

      Что касается будущего AR, то это не та задача, которая стоит перед нами. Наша задача, это сделать AR доступным для всех музеев, не погружая сотрудников учреждений в технические детали.

      Artefact это в первую очередь платформа для музеев, чтобы они могли без особых навыков и создавать мультимедиа гиды. В том числе и с дополненной реальностью
      0
      Иван, завкафедрой гуманитарного вуза, неожиданно изобрёл Википедию!
        +1
        Вопрос к разработчику. Вы пишете, что «большой целью может стать уход от пакетного распознавания к облачному… распознавать все объекты Музейного фонда РФ». Здесь возникают две трудности.

        Во-первых, музеи запрещают юрлицам использовать изображения своих предметов. Во-вторых, зная, что люди хотят сделать бизнес на музейных изображениях, музеи отправляют в Госкаталог Музейного фонда РФ испорченные, уменьшенные и сжатые изображения.

        Как же избавляться от этих проблем?
          0
          Одной из задач, которую мы решаем: чтобы музеи самостоятельно пришли к нам на платформу и загрузили качественные изображения.

          Проблему с Госкаталогом знаем и понимаем. Но с учетом того какая задача стоит и сколько стоила бы оцифровка всего этого объема, то что сейчас загружаются хоть какие-то изображения, уже большое достижение
            0
            Видимо, я недостаточно ясно спросил. Спрошу яснее.

            Первая проблема Госкаталога в том, что любой бизнесмен может украсть оттуда контент. Музеи терпят огромный убыток из-за того, что бизнесмены крадут контент из Госкаталога и делают бизнес на этом контенте, не покупая права у музеев. Для того, чтобы уменьшить такие убытки, музеи загружают в Госкаталог уменьшенные, сжатые, испорченные тексты и изображения.

            Правильно ли я понял, что вы хотите купить у музеев тексты и изображения в полном качестве?

            Вторая проблема Госкаталога состоит в том, что ни один музей не разрешает использовать тексты и изображения, отправленные в Госкаталог, потому что такое разрешение означает резкое падение доходов.

            Правильно ли я понял, что вы хотите купить у музеев права на использование текстов и изображений?

            Спасибо.
              0
              Первая проблема Госкаталога в том, что любой бизнесмен может украсть оттуда контент. Музеи терпят огромный убыток из-за того, что бизнесмены крадут контент из Госкаталога и делают бизнес на этом контенте, не покупая права у музеев. Для того, чтобы уменьшить такие убытки, музеи загружают в Госкаталог уменьшенные, сжатые, испорченные тексты и изображения.

              Вторая проблема Госкаталога состоит в том, что ни один музей не разрешает использовать тексты и изображения, отправленные в Госкаталог, потому что такое разрешение означает резкое падение доходов.


              Не слышал про огромные убытки, если поделитесь источником или практикой — буду благодарен.

              Действительно, часто изображения загружаются в ГК в невысоком качестве, чтобы не создавать прецендентов. Но в массе такие изображения из-за того других зачастую нет. Тексты которые грузятся это музейное описание предмета в соответствии с 54 ФЗ. Там несколько другие требования чем к художественным описаниям.

              Изображения предметов, охраняются авторским правом, и тут нужно вести себя в соответствии с законодательством. Если есть желание договориться с музеем, то это можно сделать с ним напрямую.

              Правильно ли я понял, что вы хотите купить у музеев права на использование текстов и изображений?


              Мы у музея ничего не покупаем, мы предоставляем им платформу, где они могли бы сделать интересный мультимедиа гид для своих посетителей не тратя денег на разработку. Мы им предоставляем платформу, они загружают туда информаци.

              Плюс с учетом того что формально Artefact — это государственная платформа, государству у государства было бы странно что-то покупать.
                0
                Мои наблюдения показали, что убыток очень велик — доходит до нескольких десятков тысяч рублей.

                Я согласен вашими словами, что «государству у государства было бы странно что-то покупать» — однако государственные музеи требуют от других государственных музеев деньги за использование изображений музейных предметов. Я согласен с тем, что это звучит как абсурд, однако такова практика.

                Второй вопрос теперь стал для меня непонятным, прошу простить. Когда музей загружает к вам свой контент, вы разве не получаете этого контента? Неужели вы не используете его для тиражирования по смартфонам, не используете для получения дохода от вашей деятельности?
                  0
                  Когда музей загружает к вам свой контент, вы разве не получаете этого контента? Неужели вы не используете его для тиражирования по смартфонам, не используете для получения дохода от вашей деятельности?


                  Да, у нас появляется право использовать этот контент в приложении и на сайте. Но это приложение и вся платформа разработана Министерством культуры, поэтому никакого дохода от деятельности тут не предусмотрено
          +3
          Где-то год назад добрались с женой до выставки Репина (в Новой Третьяковке была вроде).
          Её решили сделать прогрессивной и интерактивной. При входе в залы написано, что можно сфотографировать картину через Алису от Яндекса и получить рассказ про картину. Работает хорошо, не считая что у половины картин инет не ловит. Но вот есть один нюанс:

          Как только какая-то смотрительница видела что я фотографирую, то со всех сил бежала в нашу сторону и орёт на весь зал:
          — Мужчина! Уберите телефон! Съемка на выставке запрещена!
          — У вас же написано на входе что можно использовать Алису как гида.
          — Что?! А. Ну да. А у вас точно Алиса?

          И как-то всем пофиг, что и картины в инете можно скачать в высоком качестве. И что Алиса, естественно, всё что фотографирует — сохраняет в галерею. Нет, надо упороться и попробовать подпортить всем настроение.

          И после этого очень любопытно как реальные музеи будут воспринимать ваш подход:)
            0
            Скорее всего, они будут воспринимать этот подход как оптовую продажу через разработчика. Если разработчик предполагает, что его программу скачают и запустят десять тысяч человек, придётся выкупить десять тысяч использований.
              0
              Пока про монетизацию особо никто не думал. Для музеев и пользователей все совершенно бесплатно
              0
              Тут ведется работа с музеями, вебинары, обучение и прочее. Плюс как я писал выше, музеи приходят и в большинстве случаев делают выставки самостоятельно. Так что это уже задача работы с персоналом учреждений внутри самых музеев.

              Это медленный процесс, но он постепенно двигается
              +1
              Пока я стоял в очереди за билетом, вызвал приложение Artefact, нашел выставку в списке и скачал архив с необходимыми для работы данными (108 мегабайт).

              Было бы неплохо добавить возможность скачать облегченную версию выставки с минимальным качеством изображений.
                0
                Будет и такая возможность, сейчас как раз готовится ТЗ на новую версию приложения, которое позволит по другому его использовать и учитывать разные сценарии
                0
                Распознавание на смарте это хорошо, но проводилось ли сравнение с GoogleLens?
                Мне бы хотелось, чтобы подобное приложение распознавало любой арт-объект, если не точно, то по направлениям, и позволяло уточнить запрос. В вашем случае, не проще ли возле каждой картины QR-код повесить и NFC-метку, и их распознавать? В чем смысл распознавать изображение, если и так известно, какая это картина?
                  0
                  Смысл очевиден — возможность распознать картину там, где на неё не повесили QR код.
                    0
                    Как то поздно я до этой статьи добрался, но все же:
                    GoogleLens решает задачу немного с другой стороны, со стороны именно распознавания объектов. В нашем же случае больший упор делается на трекинг и вывод дополнительной информации в AR. Вопрос про распознавание любого объекта в базе прорабатывается. Но пока не дошли до той стадии, когда бы это работало быстро и стабильно.

                    С QR кодами не все так просто, они могут использоваться в качестве дополнительных меток рядом, когда текущие алгоритмы плохо справляются с задачей, но тут необходим трекинг, чтобы дать возможность указать на конкретные места на объектах. Это перекликается с последним вопросом.
                    Мы стараемся работать с музееями так, чтобы не показывать пользователю информацию, которую он и так уже знает. Можно увидеть точки интереса кратко описывающие какие-то интересные детали картины, можно получить доступ к полноценной статье, можно прослушать аудио гид, увидеть некоторые картины до реставрации или их рентгеновские снимки, прямо здесь на стене и всё это просто наведя камеру на картину.
                      0
                      Откуда же вы берёте эти полноценные статьи? Или же сами пишете их?
                        0
                        Как правило их пишут сотрудники музеев или нанятые ими люди. Потом модерация проверяет контент на соответствие и дает рекомендации, что можно или нужно исправить
                    +2
                    Мы сделали доп. реальность для музея Казахстана и потом для Розы-Хутора. Могу сказать точно, что не все разделяют идею чего-то виртуального и искусственного в качестве доп. реальности. Всё-таки пока что идут за чем то реальным, чтобы прикоснуться, так сказать, к истории)
                      0
                      А тут нет подмены реального посещения, основная цель разнообразить опыт, подсказать больше информации.
                      Все в свое время боялись виртуальных музеев. Но и они не замена, а лишь дополнительный канал коммуникаций
                      0
                      По-моему очень интересное и полезное приложение, когда музеи откроются, надо будет попробовать! Успехов в дальнейшей разработке!
                        0
                        Спасибо)

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.