Аниме, часто отвергаемое как всего лишь мультики, — это разнообразные и сказочные сюжеты, живой стиль и изящная графика. Это форма искусства, которая за последние пятьдесят лет развивалась и росла в популярности, многообразии и сложности. Началось оно, вероятно, с расписных ламп в начале XX века, затем в 1970-х приобрело в Японии широкую популярность. Сегодня у зрителей есть выбор из сотен сериалов и полнометражных фильмов в стиле аниме со всего мира.
Наша команда Creative Technologies захотела повысить техническое качество картинки аниме, узнать, какие новые творческие возможности это может дать людям, и что потребуется для увеличения разрешения аниме с HD до 4К и ввода в инструментарий художников более широкой цветовой палитры в HDR (высоком динамическом диапазоне). Когда заходила речь о 4К, большая часть японских аниматоров просили одного и того же: бумагу большего размера! Однако художники студии Production I.G. считают, что будущее за цифровыми технологиями. Так родилась крупная и красочная коллаборация – и получившийся в результате работы короткометражный фильм Sol Levante доступен для просмотра на Netflix в 4K Dolby Vision и Atmos!
Команда Creative Technologies из Netflix пытается понять, как улучшить создание контента с заделом на будущее, и работает с различными партнёрами в области исследований и разработок, чтобы сделать эти улучшения доступными для художников в реальных рабочих процессах. Наши центральные задачи — это как совмещение высокого качества и долговечности с достоверностью представления, так и создание пространства для творчества. Учитывая быстрое распространение потребительских устройств с возможностями отображения 4K HDR, легко представить, что через пять лет это качество станет стандартом.
За последние несколько лет мы с большим успехом провели ремастеринг таких произведений, как Knights of Sidonia, Flavours of Youth и Godzilla, подняв качество от SDR до HDR. Но что, если сразу увеличить рабочее разрешение и создавать аниме изначально с прицелом на HDR? Как это повлияет на творческие решения? Какие появятся проблемы, творческого и технического характера? Как изменятся бюджет и сроки? Какие новые творческие возможности это может дать?
Токийская студия Production I.G., зарекомендовавшая себя проектами уровня Ghost In the Shell и анимацией в Kill Bill, собрала опытную команду, которая освоила работу полностью «в цифре» и тоже хотела ответить на эти вопросы. Наше общее любопытство породило создание экспериментального короткометражного аниме в качестве 4K HDR Immersive Audio под названием Sol Levante. А чтобы помочь индустрии разобраться с технологиями 4K HDR и immersive audio в аниме, мы выпустили все материалы в свободный доступ, для скачивания и экспериментов.
Директор Акира Сайто работает в After Effects
Акира и Харука вместе работают
Текущее состояние аниме: бизнес
И хотя невероятные истории современного аниме никогда не устареют, сам рабочий процесс, родившийся в Японии, не менялся уже много лет. Чтобы понять необходимость нашего эксперимента, важно понять, как на самом деле создают аниме в Японии.
С начала века индустрия аниме отошла от традиционной системы, когда студия аниме владеет большей частью интеллектуальной собственности, и пришла к современной бизнес-модели «производственного комитета». И хотя благодаря финансовой поддержке студиям стало легче создавать контент, увеличение количества участников усложняет процесс.
Частично или полностью производство отдают на субподряд нескольким компаниям или фрилансерам, причём это может происходить на нескольких уровнях. При наличии такого большого количества субподрядчиков довольно сложно познакомить всех с изменениями в технологии и новыми творческими возможностями. В разных проектах количество фрилансеров разное, однако, большинство из них работает дома, и их оборудование уступает по качеству тому, что может себе позволить студия.
Текущее состояние аниме: производство
Кроме сложностей студийной системы, дополнительные трудности возникают при попытке внести инновации в рабочий процесс создания аниме. И хотя 3D CG набирает популярность – такие шоу, как Saint Seiya и Ultraman, полностью сгенерированы на компьютере художниками в 3D – большую часть аниме до сих пор рисуют вручную. Некоторым художникам больше нравится ощущение бумаги, или у них нет времени и денег для того, чтобы вложиться в оборудование, которое позволит им попробовать себя в цифровом искусстве. Рабочий процесс после изготовления рисунка уже цифровой, однако для поддержки более крупного разрешения оборудование требуется серьёзно обновить. Также существует дефицит преподавателей, имеющих опыт и инструменты, которые позволили бы им воспитать новое поколение цифровых аниматоров. Отсюда – недостаток персонала, способного и желающего работать с цифрой уже на стадии рисования.
Для выхода в эфир аниме обычно делают в разрешении 1280x720, или «Half HD». Только самые значимые шоу показывают в 1080 HD. Для перехода на 4К переход на цифру становится необходимым, поскольку рисунки нужно сканировать. Но если бумажный лист обычного размера просто отсканировать, увеличив DPI, то вылезут ненужные детали в карандашных штрихах. Поэтому для нарисованного от руки аниме требуется бумага большего размера.
Также в процессе отрисовки аниме редко используется управление цветами – процесс, помогающий получать предсказуемый и последовательный цвет рисунков на каждом шаге производства и постпроизводства. За некоторыми исключениями, всё создаётся в цветовом пространстве sRGB – самом популярном спектре, используемом в компьютерной графике. В художественных фильмах аниматоры обычно рисуют в sRGB, а на постпроизводстве добавляют 3D LUT, чтобы превратить его в P3, что сохраняет внешний вид sRGB в цветовом пространстве P3.
Также вас может удивить тот факт, что японские вещательные корпорации устанавливают цветовую температуру в 9300 К, значительно более синюю, чем температура 6500 К, доминирующая во всём остальном мире. Многие из аниме, лицензированных для Netflix, преобразовали в D65 BT.1886 в самом конце постпроизводства, чтобы они соответствовали нашим спецификациям и правильно смотрелись на нашем потоковом сервисе – так, как это было задумано их создателями.
Понимая все трудности, связанные с переносом аниме с бумажных листов на полностью цифровой рабочий процесс, Creative Technologies работала в тесном контакте с Production I.G., чтобы попытаться предугадать некоторые из проблем. Однако только когда команда начала реально использовать цифровые стилусы и планшеты, эти открытия начали обретать чёткую форму.
Sol Levante: открытия во время постпроизводства
В текущем процессе изготовления аниме обычно проходит от полутора до двух лет от написания сценария до завершения работы над 12-серийным сезоном сериала. В случае с нашей трёхминутной короткометражкой Sol Levante директор Акира Сайто две недели занималась раскадровкой. Она пыталась включить в фильм много различных вариантов освещения, меняющихся от сцены к сцене. История начинается на рассвете, развивается в течение сумрачного дня, затем продолжается ночью и заканчивается с восходом солнца. Акира сказала, что работать ей было очень интересно, и что она с восторгом занималась анимацией, не подозревая о том, какие проблемы появятся при её производстве.
Один из примеров раскадровки
Когда Акира думала над переходом на 4К и увеличением разрешения, она добивалась хорошего баланса между кадрами с простыми рисунками и кадрами со множеством деталей. Во многих кадрах она создала мир, плотность которого достаточно велика для того, чтобы поразить зрителей, и при этом в нём есть мелкие детали, которые можно рассмотреть после увеличения картинки.
Во время фазы проработки персонажей аниматор Хисаси Эдзура из-за расширения динамического диапазона много времени провёл над точной подстройкой толщины линий. Контуры персонажей – явление, присущее исключительно аниме, однако если использовать привычную толщину линий, то они будут выглядеть слишком резко в SDR и слишком ненатурально в HDR. Он настроил стилус на более «мягкое» нажатие на холст, чтобы изменить вид линий.
Тест для выбора толщины контуров
В фазу проработки цвета команда изначально посчитала, что яркости в 300 нит будет достаточно для предпроизводства. Однако увидев, какое впечатление производят 1000 нит на мониторе Eizo CG3145, они почувствовали, что разрыв получается слишком большим, и 300 нит не дадут дизайнеру возможности использовать всю палитру целиком. Поскольку в аниме цветовые решения принимаются на этапе предпроизводства, для дизайнера по цвету Production I.G. Михо Танака было очень важно видеть, как ведёт себя яркость в 1000 нит на мониторе для мастеринга.
Также было довольно сложно подобрать оттенок кожи. Особой и тщательной подстройки требует цвет тени, поскольку он может очень сильно повлиять на общее восприятие лица и на персонаж в целом. Михо очень много времени тратила на то, чтобы персонажи выглядели красиво в любое время суток. HDR облегчило выбор цветов для тёмных сцен, поскольку в этом режиме картинка не начинает выглядеть «грязной», а линии сохраняют свою чёткость. Без достойного динамического диапазона сложно сохранить чёткость таких тонких линий, как, например, ресницы. HDR позволяет чётко отделять цвета друг от друга, так, чтобы они не смешивались нежелательным образом.
Во время проработки внешнего вида появились и другие проблемы, а заодно и возможности. Благодаря HDR типичный визуальный эффект блеска глаз можно заменить иным методом использования цветов. Если добавить ярких линий на губы, они выглядят блестящими. В итоге директор обработала всю обратную связь и соответствующим образом подправила свой дизайн и цвета.
Слева – тестовый вариант, справа – окончательный
Одной из самых сложных проблем с HDR во время предпроизводства оказались ограничения, связанные с инструментами проектирования и рисования. Интерфейс графических программ был слишком ярким для того, чтобы постоянно смотреть на него при яркости в 1000 нит, а фон пришлось поменять на серый цвет (180) с белого (255) во время предварительного просмотра на HDR-мониторе. Многие графические инструменты до сих пор не поддерживают полноценный 16-битный выход, критически необходимый для HDR. А инструмент для выбора цвета выглядит на SDR-мониторах и HDR-мониторах по-разному, из-за чего становится тяжело точно выбирать цвета.
Также на этом этапе обнаружились проблемы с разрешением 4К. При прорисовке линий художникам постоянно проходилось увеличивать рисунок и проверять результат своей работы из-за ограничений разрешения их экрана или планшета. При просмотре всей картинки целиком линии становились слишком тонкими для того, чтобы рассматривать все детали изображения.
Sol Levante: открытия на этапе производства
На этапе предпроизводства в нашей совместной работе со студией Production I.G. Настоящие трудности начали появляться на фазе производства.
Для начала команде пришлось провести множество экспериментов, чтобы правильно настроить систему передачи информации и выбрать подходящие цветовые профили, а также правильно показывать цвета на каждом мониторе, причём в зависимости от конкретной программы. Каждому из команды художников требовалось несколько мониторов, чтобы смотреть на картинку в режимах SDR и HDR, и продолжать поддержку тех проектов, над которыми они уже работали, в режиме SDR. Проблема управления цветами в анимации затрагивает множество этапов производства. Этот проект был особенно сложным, однако Дзюнитиро Аки и Кацуси Эда совместно со специалистом по управлению цветом Масакадзу Моринака создали рабочую систему.
Для Sol Levante абсолютно всё было сделано в цифре. Кроме использования приложения Procreate для iPad в процессе предпроизводства и генерации идей, Production I.G. также использовала ClipStudio для построения промежуточных изображений, Vue для отрисовки фона и избранных элементов, Retas Stylus для работы с цветом, Photoshop и After Effects. Аниматоры экспериментировали с Toon Boom Harmony, поддерживающей чрезвычайно популярную за пределами Японии технологию «анимации вырезок».
Диаграмма рабочего процесса Sol Levante
Команда сразу же поняла, что некоторые техники аниме, на которые они полагались годами, не сработают при увеличении яркости и расширении спектра. К примеру, типичным эффектом в аниме является плавный переход в 100% белый цвет, использующийся как один из методов повествования. Однако белый в HDR оказался слишком ярким, поэтому художники решили вместо этого наложить сверху слой белого цвета. И каждый раз, когда что-то не работало так, как ожидалось, они находили новый способ достичь того же результата.
Самое большое влияние на рабочий процесс разрешение 4К оказало при генерации окончательных кадров с композициями, состоявшими из изображений гораздо большего, чем 4К, размера – они были необходимы для панорамирования. И это оказалось таким серьёзным препятствием, что весь проект затормозился на несколько месяцев. Некоторые из проблем, его породивших, появились из-за того, что оборудование необходимо было настроить для работы с 4К; другие крылись в том, как работает ПО и как оно пользуется ресурсами системы. У производителей ПО основной проблемой остаётся необходимость улучшить работу с ресурсами.
При создании рисунков в цифре удаётся сохранить тонкие линии, потому что для оцифровки не требуется сканировать бумагу. По сравнению с рисованием на бумаге, аниматор уже не так беспокоился по поводу размера холста. Также он создал «таблицу настроек», ограничивающую уровень детализации персонажей и их аксессуаров при определённых условиях. Количество деталей зависит от размера персонажа на экране. Здесь нужно решать – какие детали добавлять для разрешения в 4К, а на какие не стоит тратить время потому, что их не будет видно.
Таблица настроек Production I.G.
Продолжая работать над Sol Levante, команда Production I.G. решила отдать на аутсорс часть промежуточных отрисовок (создание промежуточных кадров между двумя основными изображениями). Аутсорс подобных работ в другие компании – это распространённая практика при производстве аниме. Это было довольно сложно сделать, поскольку обычно субподрядчики отвергают такие новые идеи, как цифровой технологический процесс – для того, чтобы приспособиться к этим новым инструментам, нужны вложения в оборудование и переобучение персонала. Кроме того, в Production I.G. решили, что для правильного выбора цветов, отрисовки линий и построения композиций абсолютно необходимо было постоянно работать на HDR-мониторе с яркостью в 1000 нит. Но на рынке постпроизводства существует постоянная нехватка HDR-мониторов, особенно по доступным ценам, что с самого начала сильно влияет на принятие решения о работе с такими мониторами.
В итоге Production I.G. всё же удалось найти достаточное количество субподрядчиков с полностью цифровым технологическим процессом, за одним исключением: разбивка кадров по времени, или таймшит, использующийся для расстановки рисунков на временной шкале и отметки мест для промежуточной отрисовки, движений камеры и другой технической информации. Таймшит стал единственным бумажным документом во всём технологическом процессе изготовления Sol Levante.
Обычно в аниме на последних стадиях производства не используют цветовую градуировку, но во время работы над Sol Levante аниматоры работали с контейнером изображения (PQ) яркостью 10 000 нит, а выводился он на монитор с 1000 нит, поэтому необходимо было сделать общий проход по выравниванию видимого спектра цветов и общего вида картины. Во время градуировки художник-колорист с директором обнаружили несколько возможностей улучшить финальную картинку – для этого нужно было поменять некоторые из изначально выбранных цветов, и позволить определённым частям изображения выделяться на фоне. К примеру, колорист подправил цвет молнии на одном из кадров, так, чтобы она сильнее выделялась, и добавил зернистости во время извержения вулкана, чтобы выделить текстуру изображения.
Поскольку в производстве использовался весь спектр PQ, у колориста было больше творческой свободы и возможностей по подстройке цветов во время градуировки, а кроме того, готовый проект будет проще ремастерить в будущем. Обычно принято опираться на оригинальный цвет, однако данный опыт показал команде Production I.G., что в цифровом техническом процессе можно принимать больше творческих решений.
Из всего производства одним из наиболее ценных уроков для директора стало то, что руководящей процессом студии надо реально управлять всем происходящим, и вместо бесконечного разнообразия возможностей принуждать субподрядчиков к использованию конкретного технического процесса и определённых инструментов. Однако мало что может измениться, пока крупные студии не объединятся с производителями оборудования, и не проведут масштабный переход на цифру.
Звук аниме: иммерсивный звук
Звуковой ландшафт аниме отличается от всех других видов медиа. Музыка и звук – критически важные аспекты изложения истории, и Sol Levante стал идеальной возможностью продемонстрировать совместную работу иммерсивного звука и экспериментальной картинки в 4К и HDR. Наша команда считает, что иммерсивный звук – это естественный следующий шаг в эволюции аудио, поскольку он увеличивает как качество, так и творческие возможности изложения истории. Объединение 4К, HDR и иммерсивного звука позволило вдохнуть жизнь в мир Акиры. И всё это возможно при помощи тех же самых инструментов, которые микшеры уже привыкли использовать.
Микшер Уилл Файлс и дизайнер звука Мэтт Йокум совместно с Акирой озвучивали её мир в стандарте Dolby Atmos. Харука включился в этот процесс на раннем этапе, когда ещё проходила отрисовка, и помог перенести идеи Акиры с японского на английский, сохранив при этом творческие нюансы и смысл.
В одном случае Мэтт добавил карканье ворона в сцене, где сотни птиц взлетают вверх, и в результате Акира попросила его найти звук птицы, которая водилась бы в Японии. Мэтт создал совершенно новый звук на основе крика местной птицы, и таким образом получился эффект, которого без всеобщей совместной работы не было бы.
С использованием Atmos inside Pro Tools Уилл достиг контрастной звуковой картины и сумел вплести в неё оркестровую запись музыки композитора Эмили Райс, записанную на микрофон Schoeps ORTF 3D во время озвучки. Во время просмотра видео звук движется по комнате, взлетает к потолку, опускается на пол, и снова взлетает, и таким образом рассказывает драматическую историю Sol Levante без диалогов.
Микширование иммерсивного звука – концепция для многих микшеров новая, включая и Японию, где пока ещё не так много кинотеатров, поддерживающих воспроизведение такого звука. Однако микширование в Dolby Atmos позволяет творческой команде создать единый микс, который затем можно использовать для получения всех остальных вариантов, от 7.1 и 5.1 до стерео. Такой формат идеально подходит для архива, и способен привнести в аниме новое измерение.
Супервайзер по звуку и микшер перезаписи Уил Файлс работает с Dolby Atmos
Будущее производства аниме: что дальше?
Восхитительный мир Sol Levante стал кульминацией искусства, технологии и любопытства. Учитывая всё, что мы узнали за эти два года совместной работы с Production I.G., мы хотим предложить аниматорам и творческим командам развитие технологий, скооперироваться с производителями оборудования, чтобы они лучше поддерживали индустрию аниме, и работать со студиями аниме для применения полученного нами опыта к их продуктам. Чтобы помочь индустрии лучше разобраться с 4K HDR и иммерсивным звуком в аниме, мы выложили все рабочие материалы, использовавшиеся в Sol Levante, чтобы вы могли их скачать и экспериментировать с ними. Подписчики уже сегодня могут посмотреть Sol Levante на Netflix. Лучше всего фильм будет восприниматься на устройстве, настроенном на HDR с премиальной подпиской.
Слева направо: Кацуси Эда, Михо Танака, Акира Сайто, Хисаси Эдзура, Масакадзу Моринака.
Директор Акира Сайто сказал нам, что «4K HDR будто бы дал нам крылья и мотор, чтобы мы смогли увидеть новые горизонты и наступление новой эпохи. Мы продолжаем ставить перед собой трудные задачи и заниматься инновациями во имя будущего». В этом проекте мы столкнулись со многими трудностями, но Акира считает, что для студии 4K HDR – это единственный способ оставаться на переднем крае создания контента.
Однако текущая ситуация такова, что технические трудности при переходе с HD на 4К никуда не деваются. Мы призываем творческих людей выходить за границы разрешения, рассказывая свою историю. Мы хотим создавать контент в таком формате, в котором его будут потреблять наши зрители, и хотим, чтобы он как можно дольше сохранял отличный внешний вид. Однако мы не можем игнорировать то, что в случае с аниме инструменты и оборудование до сих пор не предназначены для того, чтобы без проблем организовывать технический процесс создания изображений в 4К. Многое ещё предстоит сделать и изучить, и команда Creative Technologies плотно работает с производителями ПО и оборудования, чтобы поделиться своими знаниями и попытаться ускорить улучшения в индустрии.
Подстройка под HDR проходит гораздо проще, поскольку тут проблемы оказываются менее сложными. Уже есть производители ПО, вносящие изменения в свои программы вследствие проблем, с которыми мы столкнулись при производстве Sol Levante – такими, как разное отображение инструмента для выбора цвета на разных мониторах, и слепящий интерфейс. Самым большим препятствием для всей индустрии остаётся отсутствие доступных HDR-мониторов. В конце концов, даже с правильно работающим инструментом для выбора цвета в HDR потребуется монитор, на котором можно будет увидеть, что за цвет вы выбираете. Как только их станет больше, то повсеместное использование HDR в аниме станет лишь вопросом времени.
«Кто не хотел бы жить в доме побольше?» – так сказал нам аниматор Хисаси Эдзура по поводу работы с HDR, и эта аналогия рассмешила Харуку, поскольку всем известно, в каких небольших квартирках ютятся японцы, постоянно мечтающие о доме большего размера. Но эта мечта остаётся мечтой. А его мечта стала реальностью. И теперь, когда HDR дал ему доступ ко всем этим новым возможностям, он уже никогда не вернётся назад.
По-итальянски Sol Levante означает «солнце, встающее на востоке», что метафорически означает Японию. Акира выбрала такое название, потому что для неё весь проект был посвящён началу – началу чего-то нового для японских аниматоров. И последним кадром фильма служит рассвет, поскольку сам фильм служит рассветом новой технологической эпохи для аниме!
