Под катом краткая история анимационного детища Уэйна Лайтла (Wayne Lytle) — проекта Animusic. Это серия роликов, демонстрирующих самобытные и удивительные виртуальные музыкальные инструменты, анимация которых сгенерирована на основе музыкальных MIDI-партий (разумеется, во главе всех усилий стоит создание технологии, ролики — лишь её демонстрация).
Визитная карточка Animusic — Pipe Dreams:
Intel даже воссоздали в реальности музыкальную установку целиком (в качестве рекламы для Intel Atom; согласно описанию видео, используется 7 штук для воспроизведения):
Менее известные поклонники творчества Уэйна тоже рвутся в бой:
На десерт:
Истоки
Идея использовать музыкальные партии в качестве основы для генерации визуального сопровождения пришла к Уэйну Лайтлу в 1982. Тогда он ещё не обладал необходимыми знаниями и навыками для воплощения замысла. Первый настоящий опыт Уэйн получил в 1989, с тех пор он работал над системой, впоследствии ставшей прототипом Animusic.
Спустя год Уэйн представляет плоды своей деятельности на SIGGRAPH 1990 — анимацию для собственной композиции «More Bells and Whistles»:
Даже сквозь грубые модели и манеру «поведения» инструментов легко узнаются будущие действующие «лица» серии.
Ролик получает множество наград на разных мероприятиях, в том числе и от IBM.
В 1995 году Уэйн объединяется с компьютерным художником Дэйвом Крогнейлом (Dave Crognale) для работы над коммерческим заказом — 5-минутной стереоскопической анимацией для компании V-Rex (производитель стереоскопических очков и проекторов):
(прим. переводчика: именно тогда была основана Visual Music, сменившая позже название на Animusic)
В 1998 Уйэн и Дэйв приступают к созданию видеоальбома, который увидел свет в 2001. То был первый Animusic. По просьбам дистрибьюторов, ребята добавили аудио в формате 5.1 и появилось так называемое специальное издание.
Спустя некоторое время они берутся за второй альбом, вышедший в 2005 году. По завершении работ над DVD Дэйв решает сделать перерыв. У Уэйна же полно новых идей и, в добавок ко всему, он осознает необходимость изменений в пайплайне.
Компания перебирается в Итаку (Ithaca, NY). Уэйн полностью с нуля пишет ПО. К нему присоединяется Стив Вэстин (Steve Westin), внесший за 2 года пребывания в команде большой вклад в графический интерфейс, реализацию шейдеров и интеграцию с RenderMan.
Впечатление Уэйна от новой системы:
иногда мы с Дэйвом шутим над ANIMUSIC|studio, сложность и продвинутость которой достигла того уровня, когда добавление кнопки «Создать Animusic 3 DVD» становится вполне логичным следующим нашим шагом — жмешь на неё и, спустя несколько месяцев, забираешь готовый DVD!
Сроки выхода Animusic 3 отодвигались несколько раз из-за различных трудностей и в поддержку DVD ребята даже провели успешную кампанию на Kickstarter.
Статус третьего DVD — по-прежнему «в процессе», дата выхода — «как только, так сразу». Что ж, ждём!
Команда
Основными членами команды являются Уэйн и Дэйв. Оба заняты over9000-fulltime и вкладывают все свои силы в текущий проект (Animusic 3).
Будучи основателем компании и идейным вдохновителем Уэйн контролирует процесс создания контента от и до.
Вотчина Уэйна — разработка ANIMUSIC|studio, которая обеспечивает корректную синхронизацию музыкального сопровождения и анимации инструментов. Именно он создает прототипы для всех анимаций и вдыхает жизнь в инструменты. Уэйн управляет виртуальными камерами, задавая ракурсы для «съемки» (рендеринга), и осуществляет конечный монтаж роликов. Музыкальные композиции, звучащие в Animusic, также написаны Уэйном с использованием программных и аппаратных синтезаторов (Minimoog Voyager, Nord Lead 2, Yamaha DX7, и т.д.), DAW (Nuendo/Cubase SX, Reason/Record, Fruity Loops).
Дэйв же фокусируется на эстетической стороне вопроса — внешнем оформлении инструментов и их окружения, зарисовкам идей и их воплощению в Modo, 3ds Max, или XSI. На его плечах лежит ответственность за моделирование сотен элементов, которые позже легко собираются в единое целое, благодаря ANIMUSIC|studio. Помимо моделирования Дэйв занимается подготовкой шейдеров и материалов, придающих сценам законченный вид (т.е. создает dirt, bump, specular текстуры) при рендеринге, и композитингом.
У Animusic есть собственная рендер-ферма, она работает в режиме 24/7 и находится на попечении Дэйва.
Промо-материалы, печатная продукция — результат совместных стараний (реализацией занимается Дэйв).
ANIMUSIC|studio и Co.
Уэйну часто задают вопросы относительно используемого ПО.
Центральное место в процессе создания контента занимает ANIMUSIC|studio — MIDI-секвенсор и система анимации, основанная на визуальном программировании (прим. переводчика: имеется ввиду нодовое представление данных и зависимостей). Ядро ANIMUSIC|studio — собственная библиотека генерации анимации (уже 5-я её версия) — MIDImotion.
Сейчас написанное Уэйном ПО, недоступно для лицензирования. Во-первых, потому что главный приоритет компании — создание контента (в частности Animusic 3), а не продажа ПО. Во-вторых, автора угнетает сама мысль о написании документации к продукту, в котором он и сам иногда путается. Уэйн не исключает возможности выпуска ANIMUSIC|studio в будущем.
Пайплайн
Уэйн о пайплайне:
На протяжении многих лет мы изменяли детали рабочего процесса, при этом придерживаясь общей схемы: для моделирования, создания материалов и рендеринга используем стороннее коммерческое ПО, в то время как анимация сцен генерируется процедурно при помощи собственных разработок.
Мы перешли на XSI (и отчасти Z-Brush) по части моделирования и вернулись к RenderMan в качестве движка визуализации. Все партии пишутся прямо в ANIMUSIC|studio (прим. переводчика: до этого функцию секвенсора выполнял Steinberg Cubase SX), так что головная боль от постоянного импорта/экспорта MIDI-файлов теперь в прошлом. Вместо этого по окончании работы MIDI отправляется по гигабитному каналу на вторую рабочую станцию, где происходит рендеринга итоговой аудиодорожка в host-приложении с подключенными программными синтезаторами (прим. переводчика: как правило VST).
MIDImotion
Анимирование инструментов классическим keyframing без MIDImotion — затратная по времени операция. Библиотека включает порядка 12 основных алгоритмов (получающих на входе от 10 до 50 параметров) и генерирует анимацию с предельной точностью. Изменилась музыка — процесс генерации запускается заново, без лишних усилий!
Заложенные в MIDImotion принципы отличаются от реактивных технологий визуализации, ставших популярными из-за применения в аудио-плеерах. Генерации предшествует этап анализа и предварительной обработки музыкальных партий. Инструменты не просто исполняют ноты, которые назначены в MIDI-секвенсоре на данный момент времени, но и учитывают предыдущие и последующие переходы для воссоздания более естественного движения.
Аnimusic глазами его создателя
Интервью с Уэйном для midi.org (оригинал):
Интервьюер: С чего все начиналось?
Уэйн Лайтл: В 70-е, ещё до появления MIDI, произошло мое знакомство с синтезаторами вроде MiniMoog, и т.п. С наступлением ранних 80-х я смутно догадывался о существовании чего-то вроде MIDI и лишь делал зарисовки в блокноте, изображая свое видение анимации, управляемой музыкой. Однажды друг поведал мне о штуке, имя которой MIDI, и внезапно два моих мира слились воедино. Пожалуй, то было самое удивительное и прекрасное открытие в моей жизни.
Однако, первые мои опыты начались только с 1989 года. Я пробовал анализировать MIDI-файлы, которыми оперируют секвенсоры, и генерировать анимацию на основе полученных данных.
Интервьюер: Вы клавишник по натуре?
Уэйн Лайтл: Я начинал с фортепьяно и ударных. Несмотря на полученное в колледже музыкальное образование по специальности классическое фортепьяно, в моих навыках игры выдающихся успехов не наблюдалось. Куда больше я увлекался деятельностью в музыкальных группах. Я не очень аккуратный исполнитель, и очень рад существованию MIDI и секвенсеров. Мне достаточно «подумать» о нотах и вуаля, они уже заняли свое место. При этом клавишные могут как использоваться, так и не использоваться. Слава Богу, для этого мне не обязательно быть предельно точным в исполнении.
Интервьюер: Сколько человек работают над проектом?
Уэйн Лайтл: Три человека заняты основной разработкой, пара фрилансеров занимаются второстепенными проектами. Также в команде есть один разработчик, нанятый на полную рабочий смену. Мы с Дэйвом занимаемся генерацией идей, моделированием и написанием музыки. С одной стороны сложно быть маленькой командой, а с другой — не проще быть и большой. Хотя у нас и нет проблем с общением между членами команды, когда людей настолько мало, шансы погореть достаточно велики.
Интервьюер: Как много времени уходит на проект?
Уэйн Лайтл: На выпуск каждого из первых двух DVD ушло порядка трех лет. Мы на пути к сокращению срок до года, в данный момент для этого пишется ПО, которое позволит оптимизировать процесс разработки. Наша задача достигнуть той отметки, когда мы сможеи уделять больше времени игре с инструментами и творчеству, нежели программированию и отладке кода.
Интервьюер: Вы аниматор, который любит музицировать, или музыкант, занимающийся анимацией?
Уэйн Лайтл: Я и сам не раз задавал себе этот сложный вопрос! На самом деле: музыкант ли я, занимающийся программированием, или программист, пытающийся быть музыкантом? Полагаю, я достаточно долго пытался достигнуть успеха хоть на каком-то из поприщ, чувствуя, что стоит остановиться и сосредоточиться на чем-то одном. Однако, этого не произошло и теперь оба увлечения прекрасно дополняют друг друга.
Безусловно, это очень весело. Чудесно заниматься любимым делом, и к тому же иметь собственную компанию. Мы считаем, что нам очень повезло.
Интервьюер: Есть ли какое-то послание, скрывающееся за вашей работой?
Уэйн Лайтл: Отличный вопрос, и я рад, что он прозвучал, поскольку его редко задают. В самом начале проект был полностью личным — он отражал то, чем я хотел заниматься, и то, о чем я думал дни напролет. Определенно, именно мое увлечение и стало отправной точкой. Но после выпуска первого DVD, когда мы увидели реакцию людей, наши мотивы и цели несколько изменились. Похоже результаты наших трудов действительно доставляли людям удовольствие, заставляя их улыбаться и испытывать радость. Дети и пожилые люди особенно прониклись нашим творчеством. Даже нашлись педагоги, которые применяли Animusic в качестве вспомогательного материала при обучении музыкальной ритмике, математике и социальному взаимодействию в обучении физически неполноценных детей.
Вышеперечисленное стало для нас полной неожиданностью и, конечно же, приятным сюрпризом. Теперь мы твердо намерены двигаться дальше и «раздувать пламя». Вообще говоря, на повестке дня у нас стоит не попытка нести просвещение, но желание внести положительный вклад в электронные медиа и индустрию развлечений, на наш взгляд полные низкокачественных продуктов, насилия и попросту отвратительного содержимого. Мы пытаемся показать людям хорошую сторону индустрии — создаем нечто классное, при этом избегая глупости и банальности.
Интервьюер: Что первично — визуальная или музыкальная составляющая?
Уэйн Лайтл: И то, и другое. Мы практикуем оба подхода. Для одних анимаций я предварительно полностью написал и свел музыкальное сопровождение, прежде чем вообще задумываться над визуализацией. В иных случаях все начиналось с оформления инструментов и тестирования анимации, после чего переходили к написанию музыки.
В иделе — и мы придерживаемся подобного подхода при создании Animusic 3 — речь идет о симбиозе обеих составляющих, то есть одновременной работы над созданием инструментов и изучением способов их наилучшего применения. Мы выясняем на что способен инструмент, подходит ли он больше для быстрых пассажей или же медленных партий, для тяжелых риффов или баса. Много ли нот можно воспроизвести, или придется что-то выбросить и получится 8-нотная басс-машина, или инструмент с диапазоном в сорок нот? По мере продвижения меняется и музыкальная палитра, а развитие композиции может сказаться на внешнем виде инструмента. Совершенный вариант, опять же, предполагает даже большей степени интеграции и сведения практически на нет первоочередности любой из составляющих творчества.
Интервьюер: Приходилось ли вам сотрудничать с производителями DAW?
Уэйн Лайтл: Пока не приходилось. Мы пытаемся фокусировать свое внимание только на контенте. Наш продукт — DVD, а не написанное ПО, хотя в будущем положение дел может измениться. На самом деле, мы ушли от использования коммерческих секвенсеров. Отнюдь не из-за того, что они плохи — современные DAW постоянно совершенствуются — просто год или два тому назад я решил написать свой собственный секвенсор (прим. переводчика: MIDIMotion), который можно было бы интегрировать в процесс визуализации музыки настолько органично, что вы смогли бы назвать это сочинением анимаций и анимированием музыки.
Интервьюер: MIDIMotion доступен для приобретения?
Уэйн Лайтл: Это обсуждалось, однако, пока секвенсера нет в открытом доступе. Довольно сложно выпустить недорогое ПО и обеспечивать поддержку на хорошем уровне, поэтому MIDIMotion и по сей день является исключительно внутренним инструментом Animusic.
Так же у нас есть сложное ПО для анимации ANIMUSIC|Studio, в котором MIDIMotion используется в качестве движка, отвечающего за музыкальную составляющую анимации.
Интервьюер: Каковы, на ваш взгляд, сильные стороны современных программных синтезаторов по сравнению с аппаратными?
Уэйн Лайтл: Я, прежде всего, рад текущему положению вещей, и для жалоб у меня практически нет причин. Сейчас ты можешь использовать фантастически звучащие синтезаторы в любом количестве. Раньше было проблематично пойти и купить 6 MiniMoog'ов. Теперь же я могу открыть, скажем, несколько окон в Reason и просто переключаться между ними, в зависимости от того, над какой композицией я работаю на данный момент. И при этом, все уже настроено. Сказать по правде, я не часто замечаю за собой ностальгию по прошлому.
Впрочем, у меня имеются теплые воспоминания о выступлении ELP на Мэдисон Сквер Гарден, где я увидел горы оборудования и ножи Эмерсона, торчавшие в его Хаммонде и других инструментах. Было весело!
Интервьюер: Как MIDI вписывается в современную идиому создания музыки?
Уэйн Лайтл: Тот факт, что MIDI максимально прозрачен, свидетельствует о невероятном успехе. Да, он обладает огромными возможностями, и при этом не обязательно изучать его от и до. В отличие от минувшей эпохи старых модульных синтезаторов, когда ты попросту тонул в вопросах, не понимая куда и что подключать. Сейчас многое скрыто за кулисами. MIDI используется и в компьютерах, даже если поблизости нет никаких кабелей, поскольку MIDI — это не только интерфейс, но и протокол, о чем многие люди не догадываются.
Я не вижу в этом большой проблем, хотя было бы неплохо больше развивать стандарт, поскольку есть вещи, которых не хватает. Не заметно людей, продвигающих MIDI вперед. Одно из моих персональных — возможность контролируемого перехода от одной ноты к другой, как при использовании ленточного контроллера на старых синтезатора, позволяющего плавно вернуться к предыдущей ноте.
Интервьюер: Имеет ли смысл вникать в тонкости MIDI?
Уэйн Лайтл: Возможно, но насколько хорошо вы хотите понимать устройство ваших инструментов? Можно использовать музыкальное оборудование, не изучая досконально принципы его работы. Художнику не обязательно знать все о древесине, из которой сделана его кисть, или где была произведена щетина. Это не помешает ему создавать по-настоящему прекрасные работы. При желании вы может копнуть ещё глубже и узнать что-то новое.
Очевидно, для людей, занимающихся разработкой ПО для создания музыки, понимание MIDI критично, более того оно должно непрерывно расширяться. В конце концов, знания никому ещё не повредили.
Интервьюер: Как много деталей процесса разработки вы готовы раскрыть?
Уэйн Лайтл: Знаете, мы предпочли бы сохранить рецепт нашего соуса в секрете, но, думаю, в определенный момент необходимо будет поделиться происходящее за кулисами. Для нас важно выяснить, как понятно донести детали до людей и избежать реакции типа «ого, как все сложно. А эти ребята мозговитые!», ибо наша цель состоит в другом. При правильном подходе к объяснению все становится проще.
В первую очередь мы хотим показать, какая мощь скрывается в MIDI. Возможно, это произойдет одновременно с открытием доступа к ПО (прим. переводчика: речь идет об Animotion, ныне ANIMUSIC|studio). На данный момент наше внимание, по большей части, сфокусировано на следующем DVD.
Интервьюер: Как думаете, многое ли сможет сделать «средний» человек с вашим ПО?
Уэйн Лайтл: С ПО в том виде, в котором оно находится сейчас, вероятно, не много. Прямо как в те давние времена, когда синтезаторами управляли ребята в лабораторных халатах из университета; втыкали всякие провода в… Сейчас с помощью ноутбука можно сделать все, что душе угодно. Я считаю, что так и должно развиваться ПО; и это касается музыки с анимацией — у людей должна быть возможность drag-n-drop'ом создавать новые инструменты и назначать им музыкальные партии. Пользователь не обязан заморачиваться по поводу технологий, используемых в нашем продукте. Наша цель — обеспечить простой и приятный процесс творчества, без сбоев и падений каждые несколько минут, позволяя людям создавать крутые вещи!
При создании публикации использовались материалы следующих ресурсов: