company_banner

Виртуальный зал Эрмитажа — первый шаг к будущему по Пелевину



    Мы застряли с оцифровкой зала Эрмитажа примерно на месяц. Изначально мы думали, что имеющиеся решения для переноса объектов в 3D (типа лазерных сканеров) будут отлично работать и вопрос исключительно технический. На деле оказалось, что эта область не очень-то проработана и подводных камней там море.

    За проект попали на конференцию FMX по иммерсионным технологиям и графике. Российские разработчики попадают на эту конференцию с докладом впервые. Мы выступаем вместе с Пиксаром и ребятами, которые делали «Игру престолов». Не то чтобы мы такие крутые, как Пиксар, просто агрегировали всё лучшее, что было на рынке, лучшие практики по фотограмметрии и опытным путём всё это применяли. Оказалось, так ещё никто не делал.

    Но давайте начнём с того, что может быть сложного в оцифровке зала со статуей. Делов-то на пару дней, правда?

    Задача


    Есть музей Эрмитаж в Санкт-Петербурге.

    У них 3-4 года назад появилась идея сделать цифровые копии объектов. А сами объекты безжалостно выставить в зал. С точки зрения музейного работника, это почти то же самое, что уничтожить. Просто процесс затягивается. На самом деле нет, но понимание, что копировать объекты нужно для сохранения их образов, оно есть.

    Мы сгоняли к ним в первый раз, сняли на фотоаппараты статуи, чтобы протестировать технику фотограмметрии. Это типа как 3D-сканер, только совмещаются фотографии со всех сторон объекта (около 400 фотографий на статую), затем софт ищет похожие узлы, а затем строится облако точек.

    Получилось криво и косо.

    В общем, идею фотографий мы отложили на стадию «вернёмся, когда будет нормальный Data Mining, лет через пять». Прошло два, и Эрмитажу понадобился полностью цифровой зал.

    Зачем Эрмитажу виртуальный зал?


    Чтобы ярко показать себя на мировой арене. Если серьёзно, нам объяснили много умных вещей про роль технологий в современном музее и прочее, но мы поняли только то, что никто эту задачу толком решить нормально не может. А хочется сделать так, чтобы любой учащийся университета где-нибудь на Дальнем Востоке или в Италии смог посмотреть на прекрасное. Для этого ему выдадут очки виртуальной реальности и отправят в Эрмитаж. Виртуально. В первую очередь — в представительствах Эрмитажа. Уже показывали в Омске и Владивостоке.

    Важно, что это интерактив — к статуе Юпитера в реальности не подойдёшь близко, а теперь искусствоведы смогут её разве что не облизать в VR. На дядьку не посмотришь сверху, а теперь можно. И так далее. Ну и, конечно же, те, кто не может сам доехать до Эрмитажа, теперь прибудут в виртуальной реальности.

    Полная задача — оцифровать вообще весь музей. Но начать надо с одного зала. Надо так, чтобы было реально.

    Мы начали применять другие подходы.

    Сначала предложили рендер, как в играх. Художник рисует, деятель искусства плюётся. Моделинг с нуля не подходит, потому что нужно произведение искусства греческого скульптора, а не современного моделлера. Понятно.

    Попробовали лазерный сканер. Геометрию он даёт хорошую, но в цвет не попадает вообще.



    Сняли текстуры на камеру, совместили — вроде нормально.

    Искусствоведам было крайне критично передавать мельчайшие нюансы формы статуи. Мы себе так и записали: нужно очень высокое разрешение либо очень высокая полигональная точность.

    В итоге решили всё же использовать опорные замеры и фотограмметрию. Начали опыты в офисе с разными камерами: пробовали зеркалки и даже арендовали среднеформатную PhaseOne с матрицей 100 мегапикселей. Выяснилось, что проблема была не в камере, а в точности выбора точек. Малейшее колыхание приводило к размытию картинки, и это вызывало дисторсии на моделях. Снимали мы на диафрагме 11, попробовали закрывать больше — дифракция и замыливания. Проблема с шевелёнокой была в том, что мы снимали статую сверху с лестницы высотой 4 метра. А она качалась.





    Сделали почти 17 тысяч фотографий. Начали считать.

    Наши рабочие станции мощные, как бытовой обогреватель, но всё равно на них огромные сроки просчёта. Пришлось разворачивать отдельную инфраструктуру для облака точек и получения модели. Купили сервер GPU, развернули инфраструктуру на нём.

    Получилось облако, которое надо было оптимизировать.









    Зал оптимизировали четыре человека в течение двух месяцев.

    Зачем оптимизировали?


    VR — это штука, которая должна проигрываться не на супермощных девайсах. Есть три категории устройств для этого проекта:

    1. Игровые домашние ПК (максимум разрешения и качества) и музейные VR-установки.
    2. Школьные компьютеры. Под них уже пришлось оптимизировать так, чтобы качество не терялось. Это ручная работа, много времени.
    3. Мобильные устройства. Под них понадобилось сделать самые оптимизированные модели.

    Оптимизация ещё связана с тем, что издалека плоскость видна как изгибы. Нам нужно было добиться оптимального восприятия — «как в реальном мире». За этим следили художественные критики и кураторы: всё в мире искусства оценивается по степени «да» или «нет» от них.

    Что получилось?


    Эрмитаж смог показать свой зал со своей статуей за границей на важных выставках и дать возможность школьникам приобщиться к обнажённой натуре. Кстати, шутки про то, как мы месяц оптимизировали ж… спину Юпитера, сразу отставьте. А на другом месте у него повязка, и это очень спасло нашу психику.

    Зал и статуи нетранспортабельны (точнее, статую возить невероятно нежелательно). Теперь их можно виртуально возить по миру. Эрмитаж уверенно конкурирует теперь с Лувром, потому что музей для всех — и это очень круто.

    Хайпольная модель после оптимизации состоит из 120 тысяч полигонов (у неё 3 степени детализации в зависимости от расстояния до зрителя, минимум 12 тысяч полигонов). Дальше — грубее, ближе — лучше.

    В итоге получилось, что нет других проектов, где бы целый зал был оптимизирован под ВР. Есть с соплями, чисто сканированные без оптимизации, кривые и косые в разных местах. Но цельного работающего нет. В общем, у нас самый качественный в мире на сегодня. Потому что единственный такой полный.





    В реальном мире с трепещущими людьми и качающимися лифтами для камер без миллиардов затрат на это — очень круто. Да, первый зал был очень долгий, 4 месяца с лишним. Но мы наступили на все грабли, отработали методологию и готовы уже делать зал примерно за 1,5–2 месяца.

    А, ну и момент из российской реальности. После того как Эрмитаж начал распространять VR-тур (бесплатный), во Владивостоке кое-кто ушлый начал продавать билеты на посещение зала Эрмитажа в виртуальной реальности.

    По всем вопросам можете писать в комментарии или на почту — infoVR@croc.ru
    КРОК
    IT-компания

    Comments 14

      +4

      Не могли бы вы дать ссылочку, погонять в VR? Есть ли доступная для скачивания модель в каком-нибудь общепринятом формате? Если да, под какой лицензией распространяется?

        0
        Сейчас это пока можно увидеть в Эрмитаже, но мы работаем над тем, чтобы это скоро оказалось более широко доступно для пользователей

        0
        Попробовал погуглить «эрмитаж vr», нашлось много всего, везде «купить билет». Это разные проекты? С Хабенским — не ваше?
          0
          Это разные проекты с разными технологиями в основе. Фильм с Хабенским делали не мы, он строится на основе video 360, а наш проект с залом на технологии фотограмметрии.
          0
          Выяснилось, что проблема была не в камере, а в точности выбора точек. Малейшее колыхание приводило к размытию картинки, и это вызывало дисторсии на моделях.


          Возможно вопрос совсем дилетантский, но нельзя ли было задать «точки склейки» искуственно подсветив лазерной сеткой (типа таких как на стройке используют)?
          То есть пойти по такому пути:
          1) Проецируем лазерную сетку
          2) Фотографируем с разных ракурсов
          3) По узлам сетки собираем 3Д модель (как бы камера не дернулась, узел то все равно виден)
          4) Убираем из результата саму сетку (так как она строго регулярная это не должно быть проблемой).

          То есть основная идея в том, что зная параметры сетки (шаг и с какого угла она спроецирована), можно будет точно корректировать искажения, на фотографиях.
            0
            Дисторсия была не оптическая (в смысле искажение перспективы), а размытие и неправильное распознавание геометрии поверхности.
              0

              Я так понял там было предложение использовать структурный свет. Несколько кадров с спроецированной сеткой — для вычисления геометрии, и один кадр без неё — для вычисления цвета точек.
              И какой вообще софт использовали?

                0
                Спроецированная сетка была бы посчитана как геометрия тоже. Поэтому нет смысла в ней. Плюс сетка перемещалась бы во время съемки, лишние телодвижения. Использовали софт Capture reality.
            +2
            Работа крутая, а я не удержусь чтобы не похвалиться своими результатами, полученными «бытовой» техникой и компьютером.

            Памятник Ломоносову из холла САФУ





            Снимал со штатива на NEX5n + объективом Nikkor 35 f/2, объектив калибровал.

            Софт триалка Agisoft PhotoScan, памятник имел бликующие участки, свет был плохой. Но получилось вполне неплохо для первого опыта, на съемку затратил не больше часа. Если бы довелось работать с подобными объектами снова, то снимал бы с мягким вспышечным освещением и наклеивал метки на однородные поверхности.

            Обрабатывалось около 8 часов.
              0
              А оригиналы моделей без оптимизации выкладывать для общественности планируете?
              0
              На каком движке работает, на своём или на каком-нибудь типа Unreal, Unity?
              0
              Красиво, был там.

              Only users with full accounts can post comments. Log in, please.