Мы уже писали о том, что звуковое сопровождение — важная составляющая любого медийного контента, в том числе и видеоигр. Благодаря правильно подобранным звукам и саундтреку игры создают атмосферу и передают настроение, влияют на чувства игрока и заставляют его сопереживать герою, вовлекают в происходящее на экране.
Сегодня мы пойдем немного дальше и расскажем об эффекте, благодаря которому звук оказывается важнее всех остальных составляющих игры вместе взятых.
Фото Ecole polytechnique Université Paris-Saclay / CC-BY
Очень часто у игр есть главные «крючки» — где-то особенно хорошо удалась графика, где-то встречается революционная механика, иногда мы играем ради сюжета, иногда — ради персонажей. Но редко, очень редко во что-то стоит сыграть только ради звука.
Бывают игры с хорошим саундтреком — например, всю музыку, звучащую в Life is Strange и её сиквеле Before the Storm хочется если не унести в плейлист, то по крайней мере дослушать до конца. В одной из первых сцен Life is Strange — героине некомфортно в школе, она надевает наушники и идет по коридору. Играет центральная тема игры, она поглощает (почти полностью, но всё же не до конца) гул школьной перемены — как и героине, нам не хочется выходить из этого музыкального транса, возвращаться к реальности (хотя для нас это, конечно, не реальность).
Тем не менее, главная «фишка» Life Is Strange — геймплей и его тесная связь с участием игрока в сюжете. Музыка — важная, но всё же второстепенная деталь.
Есть, однако, игры, которые могут не выделяться геймплеем или графикой, но запоминаться исключительно благодаря происходящему в наушниках.
Один из недавних и самых показательных примеров подобного рода — Hellblade: Senua's Sacrifice. Главная особенность Hellblade — бинауральный звук. Что это такое?
Бинауральный звук в играх это, по сути, использование особенностей человеческого слуха для создания эффекта объемного звука. Это не столько технологическое решение, как стереозвук, сколько физиологическое — наше восприятие бинаурального звука объясняется нейрофизиологией.
Мы слышим двумя ушами одновременно. Бинауральный эффект возникает, когда правое ухо оказывается ближе к источнику звука при повороте головы влево от источника или наоборот. Звук достигает одного уха раньше, чем другого — фазы звуковых колебаний сдвигаются относительно друг друга. Именно этот сдвиг фаз позволяет мозгу (человека и многих млекопитающих) определить положение источника звука в пространстве: расстояние до него и горизонтальное направление на источник.
Бинауральное аудио записывается с помощью специальных микрофонов. В манекен-реплику головы человека (в идеале, конечно, эта реплика должна полностью соответствовать голове будущего слушателя, включая идентичные ушные раковины и расстояние между ушами) вставляются два звукозаписывающих устройства — по одному в каждое «ухо». Такая запись звука создает не только иллюзию объемного звучания, но и копирует способы восприятия звука — те самые особенности понимания расстояния, направления и отражения.
В бинауральном аудио важно расстояние между ушами и эффект отражения звука от ушных раковин. Поэтому такой звук лучше всего воспринимается в наушниках. Конечно, с помощью колонок его тоже можно услышать, но эффект будет слабее: источник звука находится дальше от уха, на разном расстоянии от ушных раковин и может быть направлен в разные стороны. В наушниках звук из левого и правого аудиоканалов будет непосредственно поступать в левое и правое ухо — это самое важное для полноценного восприятия этой аудиоиллюзии.
Главная героиня Hellblade — кельтская воительница Сенуа, которая отправляется в загробный мир, чтобы спасти душу своего погибшего возлюбленного. Она страдает от ряда психических расстройств. Голоса в голове она, в силу своего мифического сознания, воспринимает как реальных или почти реальных людей, богов и противников.
Она разговаривает с мертвыми людьми или теми, кого нет рядом с ней. Эти голоса, которые преследуют её постоянно — десятки осколков её личности. Некоторые поддерживают её, некоторые осуждают; одни сплетничают, другие подзуживают; кто-то обманывает, кто-то предупреждает об опасности. Всё это они делают одновременно: перекрикивают друг друга и переговариваются между собой.
Итак, в голове Сенуа постоянно роятся десятки голосов. Все они были записаны на бинауральный микрофон, поэтому игрок может слышать расстояние и направление каждого из них. Это погружает игрока в психоз главной героини глубже, чем когда-либо было возможно в видеоиграх (и не только), и вызывает постоянное ощущение тревоги и страха. Но это не всё.
В Hellblade бинауральное аудио становится частью геймплея. Например, в бою голоса предупреждают, с какой стороны враг неожиданно нанесет удар. Мы слышим вопль «Осторожно!» — наш мозг понимает, с какой стороны и с какого расстояния он прозвучал, и мы реагируем соответственно, успеваем увернуться или отразить атаку. А из-за эффекта погружения приходится иногда напоминать себе, что опасность грозит только лишь Сенуа.
В реальном мире слуховые галлюцинации проявляются в похожей форме — слышащий понимают направление и расстояние до голосов, они то шепчут вдалеке, то орут над самым ухом. Бинауральный эффект не только погружает в игровой опыт, но и дает уникальную возможность почувствовать состояние человека с галлюцинаторным расстройством. И это стало возможным только благодаря работе со звуком.
Игрок не просто слышит звуки, которые происходят в игре — он как будто погружен в игровое пространство, у него есть иллюзия того, что он как-то соотносится с предметами и людьми, которые это пространство наполняют. Например, если враг оказывается за спиной Сенуа, игроку кажется, что кто-то подкрадывается к нему сзади.
Бинауральное аудио оказывает настолько мощный эффект на слушателя, что визуальная картинка оказывается второстепенной. Следующий шаг — избавиться от картинки, положившись только на звук. Так делали, например, в рекламе (один из роликов сборной Новой Зеландии по регби All Blacks).
По похожему принципу сделана игра Papa Sangre для iOS. Игровой мир скрыт в темноте, и игроку приходится ориентироваться на голос рассказчика, идти на звук и в буквальном смысле «видеть ушами».
Эффект активно используется для медитации и расслабления — в соответствующих видеороликах, аудиодорожках и приложениях.
В 2013 году в Австралии вышел фильм The Blind Passanger. Для него на бинауральный микрофон специально записывали выступление оркестра «Метрополитен-оперы».
Несмотря на все плюсы, бинауральное аудио используется относительно редко. Почему?
Основная сложность — технологическая. Чтобы записать бинауральное аудио, нужна специальная аппаратура. Это долгий, сложный и дорогостоящий процесс.
При этом эффект очень легко можно потерять, если игрок, например, проигнорирует призыв надеть наушники в начале игры. Или, более того, вообще не привык играть в наушниках. Повсеместное использование наушников во время игры лишь недавно перестало быть преимущественно субкультурным явлением.
То же самое и в рекламе, только порог входа ещё ниже — вряд ли кто-то будет специально надевать наушники, чтобы послушать минутную рекламу. В телевизионной рекламе этот прием не сработает вообще.
Иными словами, бинауральному аудио суждено было остаться интересной, красивой, но всё же диковиной в игровой индустрии, а не распространенным приемом. Но тут появились VR-технологии. Которые тоже индивидуалистичны, сложны в производстве и потреблении, но предлагают невозможный ранее эффект погружения. Вероятнее всего, в ближайшее время мы будем чаще слышать о связке VR и бинаурального аудио. Например, в прототипе Oculus Crescent Bay уже используется бинауральная технология.
Но сейчас важная особенность бинаурального аудио — оно отлично работает в самых простых наушниках. Чтобы полноценно испытать погружение в звуковую иллюзию, не нужно покупать самое мощное и дорогое оборудование, ведь основное требование — это разделение каналов.
Сегодня мы пойдем немного дальше и расскажем об эффекте, благодаря которому звук оказывается важнее всех остальных составляющих игры вместе взятых.
Фото Ecole polytechnique Université Paris-Saclay / CC-BY
Слышать лучше, чем видеть
Очень часто у игр есть главные «крючки» — где-то особенно хорошо удалась графика, где-то встречается революционная механика, иногда мы играем ради сюжета, иногда — ради персонажей. Но редко, очень редко во что-то стоит сыграть только ради звука.
Бывают игры с хорошим саундтреком — например, всю музыку, звучащую в Life is Strange и её сиквеле Before the Storm хочется если не унести в плейлист, то по крайней мере дослушать до конца. В одной из первых сцен Life is Strange — героине некомфортно в школе, она надевает наушники и идет по коридору. Играет центральная тема игры, она поглощает (почти полностью, но всё же не до конца) гул школьной перемены — как и героине, нам не хочется выходить из этого музыкального транса, возвращаться к реальности (хотя для нас это, конечно, не реальность).
Тем не менее, главная «фишка» Life Is Strange — геймплей и его тесная связь с участием игрока в сюжете. Музыка — важная, но всё же второстепенная деталь.
Есть, однако, игры, которые могут не выделяться геймплеем или графикой, но запоминаться исключительно благодаря происходящему в наушниках.
Один из недавних и самых показательных примеров подобного рода — Hellblade: Senua's Sacrifice. Главная особенность Hellblade — бинауральный звук. Что это такое?
Бинауральный эффект
Бинауральный звук в играх это, по сути, использование особенностей человеческого слуха для создания эффекта объемного звука. Это не столько технологическое решение, как стереозвук, сколько физиологическое — наше восприятие бинаурального звука объясняется нейрофизиологией.
Мы слышим двумя ушами одновременно. Бинауральный эффект возникает, когда правое ухо оказывается ближе к источнику звука при повороте головы влево от источника или наоборот. Звук достигает одного уха раньше, чем другого — фазы звуковых колебаний сдвигаются относительно друг друга. Именно этот сдвиг фаз позволяет мозгу (человека и многих млекопитающих) определить положение источника звука в пространстве: расстояние до него и горизонтальное направление на источник.
Бинауральное аудио записывается с помощью специальных микрофонов. В манекен-реплику головы человека (в идеале, конечно, эта реплика должна полностью соответствовать голове будущего слушателя, включая идентичные ушные раковины и расстояние между ушами) вставляются два звукозаписывающих устройства — по одному в каждое «ухо». Такая запись звука создает не только иллюзию объемного звучания, но и копирует способы восприятия звука — те самые особенности понимания расстояния, направления и отражения.
В бинауральном аудио важно расстояние между ушами и эффект отражения звука от ушных раковин. Поэтому такой звук лучше всего воспринимается в наушниках. Конечно, с помощью колонок его тоже можно услышать, но эффект будет слабее: источник звука находится дальше от уха, на разном расстоянии от ушных раковин и может быть направлен в разные стороны. В наушниках звук из левого и правого аудиоканалов будет непосредственно поступать в левое и правое ухо — это самое важное для полноценного восприятия этой аудиоиллюзии.
Голоса в голове
Главная героиня Hellblade — кельтская воительница Сенуа, которая отправляется в загробный мир, чтобы спасти душу своего погибшего возлюбленного. Она страдает от ряда психических расстройств. Голоса в голове она, в силу своего мифического сознания, воспринимает как реальных или почти реальных людей, богов и противников.
Она разговаривает с мертвыми людьми или теми, кого нет рядом с ней. Эти голоса, которые преследуют её постоянно — десятки осколков её личности. Некоторые поддерживают её, некоторые осуждают; одни сплетничают, другие подзуживают; кто-то обманывает, кто-то предупреждает об опасности. Всё это они делают одновременно: перекрикивают друг друга и переговариваются между собой.
Итак, в голове Сенуа постоянно роятся десятки голосов. Все они были записаны на бинауральный микрофон, поэтому игрок может слышать расстояние и направление каждого из них. Это погружает игрока в психоз главной героини глубже, чем когда-либо было возможно в видеоиграх (и не только), и вызывает постоянное ощущение тревоги и страха. Но это не всё.
В Hellblade бинауральное аудио становится частью геймплея. Например, в бою голоса предупреждают, с какой стороны враг неожиданно нанесет удар. Мы слышим вопль «Осторожно!» — наш мозг понимает, с какой стороны и с какого расстояния он прозвучал, и мы реагируем соответственно, успеваем увернуться или отразить атаку. А из-за эффекта погружения приходится иногда напоминать себе, что опасность грозит только лишь Сенуа.
В реальном мире слуховые галлюцинации проявляются в похожей форме — слышащий понимают направление и расстояние до голосов, они то шепчут вдалеке, то орут над самым ухом. Бинауральный эффект не только погружает в игровой опыт, но и дает уникальную возможность почувствовать состояние человека с галлюцинаторным расстройством. И это стало возможным только благодаря работе со звуком.
Игрок не просто слышит звуки, которые происходят в игре — он как будто погружен в игровое пространство, у него есть иллюзия того, что он как-то соотносится с предметами и людьми, которые это пространство наполняют. Например, если враг оказывается за спиной Сенуа, игроку кажется, что кто-то подкрадывается к нему сзади.
Разработчики Hellblade вели подробный дневник (забавно, что монтажер видеоблога компании в итоге стала главной героиней игры). Это рассказ о тестах бинаурального аудио — чтобы проникнуться, нужно, конечно, надеть наушники.
Реклама и кино
Бинауральное аудио оказывает настолько мощный эффект на слушателя, что визуальная картинка оказывается второстепенной. Следующий шаг — избавиться от картинки, положившись только на звук. Так делали, например, в рекламе (один из роликов сборной Новой Зеландии по регби All Blacks).
По похожему принципу сделана игра Papa Sangre для iOS. Игровой мир скрыт в темноте, и игроку приходится ориентироваться на голос рассказчика, идти на звук и в буквальном смысле «видеть ушами».
Эффект активно используется для медитации и расслабления — в соответствующих видеороликах, аудиодорожках и приложениях.
В 2013 году в Австралии вышел фильм The Blind Passanger. Для него на бинауральный микрофон специально записывали выступление оркестра «Метрополитен-оперы».
Почему так мало?
Несмотря на все плюсы, бинауральное аудио используется относительно редко. Почему?
Основная сложность — технологическая. Чтобы записать бинауральное аудио, нужна специальная аппаратура. Это долгий, сложный и дорогостоящий процесс.
При этом эффект очень легко можно потерять, если игрок, например, проигнорирует призыв надеть наушники в начале игры. Или, более того, вообще не привык играть в наушниках. Повсеместное использование наушников во время игры лишь недавно перестало быть преимущественно субкультурным явлением.
То же самое и в рекламе, только порог входа ещё ниже — вряд ли кто-то будет специально надевать наушники, чтобы послушать минутную рекламу. В телевизионной рекламе этот прием не сработает вообще.
Иными словами, бинауральному аудио суждено было остаться интересной, красивой, но всё же диковиной в игровой индустрии, а не распространенным приемом. Но тут появились VR-технологии. Которые тоже индивидуалистичны, сложны в производстве и потреблении, но предлагают невозможный ранее эффект погружения. Вероятнее всего, в ближайшее время мы будем чаще слышать о связке VR и бинаурального аудио. Например, в прототипе Oculus Crescent Bay уже используется бинауральная технология.
Но сейчас важная особенность бинаурального аудио — оно отлично работает в самых простых наушниках. Чтобы полноценно испытать погружение в звуковую иллюзию, не нужно покупать самое мощное и дорогое оборудование, ведь основное требование — это разделение каналов.
