FaceRig — анимация персонажа в реальном времени

    FaceRig — программа, позволяющая управлять эмоциями и голосом анимированного персонажа с веб-камеры, за десять дней собрала заявленные 120.000 долларов в краудфандинговой кампании на Indiegogo. Пока программа находится на раннем этапе разработки, но авторам удалось привлечь почти уже более пяти тысяч фандеров за счет довольно детальной проработки анимации и многообещающими возможностями в полной версии приложения.



    Создатели программы заявляют, что их долгосрочная цель — исследование и создание доступной обычным людям системы управления и визуализации для целого персонажа (сейчас это только голова и голос), с использованием разнообразных устройств ввода и двусторонней обратной связью. По их словам, они понимают, что это довольно смелое и революционное заявление, но это — долгосрочная цель, а пока они предлагают небольшое приложение для управления эмоциями персонажа посредством веб-камеры, поскольку таким образом они хотят сделать проект доступным любому.

    Вот что получается на данный момент




    В своей работе программа использует «state of the art» технологию реалтайм трекинга шведской компании Visage Technologies, которая комбинируется с кроссплатформенным движком анимации и визуализации в реальном времени собственной разработки Holotech Studios из Румынии (сайт этой небольшой инди-студии пока не открыт, но с ними можно связаться по другим каналам).

    Полученный в итоге видео-вывод может быть направлен в любые приложения для чата, такие как Skype и подобные, или же можно записать ролик с получившимся результатом. Помимо анимации персонажа программа позволяет изменять голос и фон, но пока и персонажей и бэкграундов всего четыре. Сейчас персонаж управляется веб-камерой, но позже авторы приложения намерены включить в программу поддержку таких интерфейсов, как Neurowear — монитор активности мозга, L.E.A.P. motion — отслеживающий движение рук и пальцев, Kinect 1 и 2 — для обработки движений тела и в качестве датчика удаленности, а ещё Asus Xtion, Carmine PrimeSense, короче говоря, практически все интерфейсы на эту тему. Сами разработчики в ответ на вопрос, собираются ли они сотрудничать с другими компаниями для создания каких-то совместных проектов, говорят следующее:
    Мы очарованы работой программы в её текущем состоянии, и нам нравится то, куда направляется наша разработка. Представьте себе онлайн конференцию League Of Legends, которую ведут её герои; или представьте себе датчики движения, установленные на Oculus Rift, которые позволят управлять эмоциями вашего персонажа с очень высоким качеством проработки, но без каких-то особенных технических проблем. В общем, возможностей очень много, и они восхищают нас и подталкивают к дальнейшей работе.

    Помимо всего прочего, кампания по сбору средств преследует цель привлечь дизайнеров персонажей и сцен, которые будут включатся в платные пакеты обновлений программы, а в скором времени будет создано сообщество по поддержке самостоятельной разработки с использованием этого фреймворка.

    Планируется выпустить несколько версий программы, среди которых будет версия FaceRig Studio, нацеленная на разработчиков игр и моушен-дизайнеров, где будет возможность работы с другими профессиональными приложениями, такими как Maya и 3DSMax, и использовать разнообразные варианты трекинга по технологии motion capture. Также разработчики собираются реализовать мобильную версию под iOS и Android, но сразу заявляют, что десктопная и мобильная версия будут сильно отличаться.

    Нужно заметить, что в комментариях на Indiegogo много слов поддержки от участников Furry Fandom, которым, по понятным причинам, эта разработка пришлась очень по душе :)

    Если вас заинтересовало это приложение, то вот полезные ссылки:
    Официальный сайт FaceRig
    Сбор средств на Indiegogo, сейчас еще осталось 40 дней
    Канал FaceRig на Youtube

    Комментарии 40

      +3
      Очень необычное решение, надеюсь найдутся люди, готовые к поддержке вашего проекта. Удачи Вам ребята! Присоединюсь, хоть и малой суммой вклада.
        +3
        Благодарю, но я к реализации этого проекта не имею никакого отношения :)
        Подумал, что эта новость будет интересна сообществу, здесь, кажется, не было упоминаний FaceRig-а, а тут как раз повод прекрасный — компания собрала средства, и приложение, скорее всего, будет выпущено в середине 2014 года, но еще можно успеть поддержать разработчиков всем, кто заинтересуется.
          +1
          Так вроде Valve же как раз упёрлась при разработке Half-Life 3 в тупик в поиске подобной технологии. Надеюсь обратят внимание на это решение как вариант, а там возможно станут друг другу очень полезны ;-).
          0
          А под Linux будет? На сайте вообще упоминаний об операционных системах нет (ну, кроме Android и iOS).
            0
            What platforms will be supported?
            We are starting on Windows PC, then iOS, Android, Mac and depending on our Technology partners also Linux.

            Из FAQ на Indiegogo
            0
            Кажется Стивенсон в лавине что-то подобное описывал
              +17
              Пригодится скилл шевеления ушами!
              +5
                +3
                FaceRig не революционен, подобные вещи делались до них. Однако у конкурентов то цены космические (этот Mixamo стоит полторы штуки!), то прибиты гвоздями к конкретным персонажам, то ещё что. FaceRig позиционируется как нечто доступное каждому и открытое для сообщества.
                  0
                  Есть подобная разработка и у Sony, помнится еще год назад они показывали уже работающую систему. Планировали использовать в одной из своих онлайновых игр. Искал видео с демонстрацией, не нашел(
                +4
                В быту использовать будет сложновато, большинство людей при разговоре мимику почти не задействуют, губы почти не шевелятся. На гифке видно как девушка очень подробно выговаривает слова.
                  +1
                  Для анимации губ можно попробовать использовать аудиосигнал
                    0
                    Да не в губах дело. Вы присмотритесь как говорят обычные люди, не актёры и ведущие всяких там шоу, а обычные люди. Мимика при разговоре вообще слабо развита у кого, многие мышцы лица не задействуются вовсе.
                    +5
                    И в чем проблема? Уверен, что те кто будет пользоваться этой технологией непроизвольно очень быстро приучат себя к гипертрофированной мимике.

                    Точно так же как люди, использующие распознавание речи, приучаются к четкой артикуляции.
                      0
                      Да проблема лишь в том, что «из коробки» работать не будет, и дело не в софте или железе будет, а в людях. Но людям всё-равно, они же потребители. Они хотят поставить, и чтобы всё работало, а не заработает — под снос. Некоторые будут подстраиваться, но я не думаю, что все.

                      А так да, вообще будет полезной штукой для тренировки речи. Я бы даже порекомендовал такую штуку в помощь логопедам, детишек будет легче тренировать правильному произношению в игровой форме.
                        +2
                        Не «работать не будет», а «будет работать недостаточно хорошо». Даже не так, не «недостаточно хорошо», а «просто полностью выполнять свои функции без чудес». Я думаю что у подобной штуки не такая уж и широкая целевая аудитория, тем же кто хочет «прикольную зверуффку», придется и постараться. А те кто захочет «просто позырить», бросили бы в любом случае.

                        Привыкать и адаптироваться приходится к любой технологии, «само» ничего не работает. Будь то какой-нибудь кинект, будь то мышь или тачпад, будь то программа или устройство.
                          0
                          В посте упоминали про использовании в скайпе, при обычном разговоре. Иначе бы я этот разговор и не заводил.
                            +3
                            Так я про то же и говорю. Кто-то захочет чтобы с собеседником общалась веселая зверушка, ради этого будет корчить морды при разговоре. Кто-то поставит, посмотрит и снесет. Кто-то глянет, скажет: «Баловство!» и даже не задумается ставить такую штуку. Ну а кто-то удовлетворится тем, что зверек будет передавать его скудную мимику.

                            Я лично предполагаю что ставить будет очень узкая категория людей. Лично мне такое не нужно, т.к. мне важно видеть собеседника, но поставить на «позырить» и покорчить морды — это с удовольствием.
                  • НЛО прилетело и опубликовало эту надпись здесь
                      +3
                      Скорей всего, для ушей скриптово записано каждые N секунд проигрывать анимацию.
                        +4
                        Судя по видео — вы правы. В самом начале там дважда повторяется одна и та же секвенция «махнул правым, подергал левым, поднял» или что-то вроде, и в дальнейшем есть похожие паттерны. Правда анимация ушей может быть привязана к каким-то другим источникам трекинга, скулам, глазам, углам рта, или даже сразу ко всему этому треугольнику.

                        Кстати, IDOL1234, это скорее всего не кот, а малая (или красная) панда, и надо сказать, что разработчики знают что делают — это очень забавное для наблюдения животное. Вот вам канал на ютубе с многочисленными съемками зоопарка Maruyama Zoo, вряд ли пожалеете :)
                        0
                        Возможно, анализируют эмоции. Есть такая система кодирования движений мышц лица, FACS называется. В этот формат как раз и распознают изображение с камеры (скорее всего и в этой программе тоже). По напряжению определённых групп мышц можно распознать гнев, радость итд.
                        0
                        Вспоминается фильм «Симона».
                          0
                          Вообще не при чем. В «Симоне» был полностью симулированный персонаж, а не подобный motion capture. Ну или тогда simone должна вспоминаться во всех фильмах с отрендеренными персонажами.
                            0
                            Пересмотрите сцену с интервью в прямом эфире. Там именно motion capture.
                              0
                              Ок, тогда был не прав. Извините за категоричность.
                          +6
                            +5
                            Только это фейк двухлетней давности, анимация создана вручную на основе видео.
                              0
                              Знаю. Хотя на ютубе есть видео работы MMD(проги в которой создана анимация) с плагином для кинекта, который движения довольно неплохо считывает. Но сам проект MMD уже закрыли если не ошибаюсь.
                            0
                            А чей это голос в видео?
                              0
                              Разрабы на тытрубке говорят, что озвучивал некто op71kz from fiverr. Насколько понимаю, озвучку на остальных языках заказывали там же. Экономия типа.
                              +1
                              Нужно заметить, что в комментариях на Indiegogo много слов поддержки от участников Furry Fandom, которым, по понятным причинам, эта разработка пришлась очень по душе :)

                              Нужно заметить, что FaceRig не только фурри облюбовали, но и брони (у которых тоже распространены идентификация с и привязанность к OC). Вон, разрабы пишут в комментариях на IGG:
                              Based on the feedback our next avatars are a cat, a dragon and a pony. :) So yeah, we are going to have a few more species :)
                              We’ll definitely add a pony, maybe even before the campaign is over.

                              Фуррей уже подкупили пандой, теперь пора браться за броней… :-D
                                +2
                                Нравится, что между двумя цитатами из их комментариев, видна работа мысли и ориентированность на клиента :)
                                We’ll definitely add a pony
                                +2
                                Для полного цуберпанка к этой штуке надо ещё прикрутить фильтр Speech-to-text -> text-to-speech, причём что-то класса вокалоида, чтобы всё из себя было милое доброе и пушистое не только внешностью, но и голосом.

                                Вот тогда свершится то, о чём писали отцы-основатели много лет назад: милые крипточатики (где-то в районе i2p), с милыми кавайными аватарками и милыми голосами обсуждающие как правильно прокидывать прокси до виртуалки для работы с bitcoin-mixer'ами.
                                  +3
                                  Зря только гифку выложили без видео. Видео кстати озвучивает один из создателей stanley parable.

                                    0
                                    Дал ссылку на их канал на ютубе в конце статьи, решил видео не прикреплять, а ограничится гифкой. Возможно, вы правы.
                                    0
                                    Очень полезная вещь при создании 3D анимации. Управление мимикой на этапе озвучки мульта. Очень и очень круто.
                                      0
                                      Кстати, а что никто не пишет о новостях проекта?)
                                      Проект был успешно профинансирован на Indiegogo в феврале 2014 и набрал $307,015USD =)
                                      Есть в Гринлайте Стима: steamcommunity.com/sharedfiles/filedetails/?id=204794235
                                      Прошёл его и уже есть в предзаказе там же: store.steampowered.com/app/274920
                                      Впрочем, купить можно уже сейчас.

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                      Самое читаемое