МТИ и Microsoft обучили алгоритм находить скрытые параллели между картинами

    image

    Команда из Массачусетского технологического института помогла Microsoft создать систему поиска изображений. Она базируется на работе алгоритма, который ищет соответствия картин разных художников.

    «Даже самые подвинутые искусствоведы не могут ознакомиться с миллионами картин за тысячи лет и найти неожиданные параллели в темах, мотивах и визуальных стилях», — пояснили разработчики. Их вдохновила выставка картин «Рембрандт и Веласкес» в Рейксмузеуме.

    Новая система MosAIc подбирает схожие произведения, используя глубокое обучение. Чтобы найти две одинаковые картины, новый алгоритм поиска отвечает на вопросы, к примеру, «какой музыкальный инструмент ближе всего к этому изображению сине-белого платья», и извлекает изображение сине-белой фарфоровой скрипки.

    «Системы поиска изображений позволяют пользователям находить те, которые семантически похожи на изображение из запроса, и служат основой для поисковых систем с обратным изображением и многих механизмов рекомендаций по продуктам», — отмечают авторы разработки. — «Ограничение системы поиска определенными подмножествами изображений может дать новое понимание отношений в визуальном мире. Мы стремимся стимулировать новый уровень взаимодействия с творческими артефактами».

    MosAIc отличается от инструмента Google X Degrees of Separation, который находит сходства между двумя произведениями искусства тем, что ему требуется только одно изображение. Он раскрывает связи с этим произведением в любой культуре или средствах массовой информации.

    Команда использовала новую структуру данных поиска изображений, которая группирует подобные изображения вместе в древовидную структуру. Чтобы найти близкое соответствие, они начинают со «ствола» дерева и следуют за наиболее многообещающей «ветвью». Структура данных улучшена, и дерево быстро трансформируется в соответствии с новым типом запросов.

    Этот подход также может быть использован для помощи в поиске дипфейков. Он помогает найти области, в которых вероятностные модели на генеративных состязательных сетях не работают. Эти слепые зоны также показывают, как GAN пытаются представить определенные области набора данных.

    «В дальнейшем мы надеемся, что эта работа вдохновит других задуматься о том, как инструменты поиска информации могут помочь другим областям, таким как искусство, гуманитарные науки, социальные науки и медицина. Эта работа может быть расширена с точки зрения новых наборов данных, новых типов запросов и новых способов понимания связей между работами», — отметили исследователи.
    См. также:

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 3

      +1

      Сайт, где предлагают выбрать одну из картин/скульптур и найти к ней параллели: https://microsoft.github.io/art/app/


      На мой взгляд, не особо похоже, хотя искусствовед из меня так себе, конечно.

        0
        В принципе это даст новый подход к рекомендательным алгоритмам в онлайн-магазинах. Тебе будут предлагать также внешне похожие вещи. Или рифмующиеся аксессуары к одежде. Или можно будет прямо задать фотографию себя в одежде и попросить подобрать ботинки, головной убор и пр. Вижу много интересных применений.
          +1
          В принципе это даст новый подход к рекомендательным алгоритмам в онлайн-магазинах. Тебе будут предлагать также внешне похожие вещи.

          Ничего нового, прямо скажем.

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое