Звук

Недавно на хабре мы видели несколько интересных подходов к автоматическому написанию музыки. Позвольте представить ещё один. Сразу оговорюсь: я не буду здесь пользоваться никакими правилами гармонии. Сложной математики тоже не будет. Решим задачу наиболее простым способом. Если вам не очень интересно, как это всё делалось, можете пролистать вниз, там есть несколько примеров, можно сразу оценить, как звучит результат.

Итак, мы хотим написать нечто достаточно музыкальное.

Всем доброго времени суток! Как и обещал, в продолжение статьи “Работа со звуком в Adobe Premiere Pro CS6” делаю полный разбор звуковых эффектов Premiere Pro CS6.
Всего “родных” эффектов не так много, а конкретнее — 31.И мы начнём разбор в алфавитном порядке. Для вашего удобства я принял решение разбить описание на три части. (Для тех извращенцев, кто использует программу на русском языке, буду указывать ВОЗМОЖНОЕ название на русском)

На самом деле до недавних пор наследником того самого, легендарного Cowon D2+, считали модель С2. Но в марте 2013 года южнокорейская компания анонсировала новый плеер, внешне очень схожий с D2+ и позиционируемый как его наследник. Подробней о новинке я расскажу под катом.

Как сочинить музыку? Где ее готовую взять чтобы, например, озвучить видео на ютубе (и чтобы там не появилась метка о нарушении авторских прав)? Как написать эту самую музыку самому когда никаких мотивов не лезет в голову? Откуда взять идеи о новой мелодии, хотя бы об ее отрывках?

Я поклоняюсь великому непредвзятому рандому. Он то никогда не будет сочинять мелодии на основе уже услышанных на прошлой неделе, не будет, исходя из своих вкусов, выделять одни стили музыки и давить другие, у него нет эмоций и настроения. Он просто берет и делает музыку всех стилей, всех направлений, всех размеров (в пределах возможностей, заложенных в алгоритм).



И мой рассказ будет посвящен алгоритму, работающему на основе такого рандома, и соответствующему фрагменту софта, проигрывающему свежесочиненные мелодии прямо в колонки или сохраняющему в MID-файлы.

Всем привет.
По роду своей профессиональной деятельности я занимаюсь внедрением проектов на основе речевых технологий. Это синтез и распознавание речи, голосовая биометрия и анализ речи.
Мало кто задумывается, насколько эти технологии уже присутствуют в нашей жизни, хоть и далеко не всегда – явно.
Постараюсь популярно объяснить вам, как это работает и зачем это вообще нужно.
Подробно начну с распознавания речи, т.к. это более близкая к повседневной жизни штука, с которой многие из нас встречались, а некоторые уже постоянно пользуются.

В статье кратко описано несколько подобных программ, а также рассказано об опыте разработки собственного ПО в этой области, т.к. доступные программы не обладали всеми необходимыми возможностями одновременно.

Предисловие

В начале 2012 года, на новогодних каникулах, я наткнулся на любопытный ролик:


В ролике видно, что в живую поют люди, как написано в комментариях, расположенные в разных студиях. Стало интересно что же это за технология. Единственной зацепкой стало слово NETDUETTO.

Системы наблюдения ассоциируются у нас прежде всего с видеокамерами, причём, как правило, без микрофона. Акустическое наблюдение — это экзотика, что-то из мира подводных лодок и шпионских боевиков. Неудивительно, ведь зрение — основной канал восприятия информации человеком, и звуковая информация мало что могла добавить к визуальной, пока ключевым элементом любой системы наблюдения был оператор, сидящий перед монитором.

В конце 20-х годов XX века начинает неспешным монофоническим шагом идти по планете звуковое кино. Кинематографисты «старой школы» говорят о потере выразительности и о том, что только в немом кино игра актеров имеет наибольший смысл.

Помимо кинематографистов, принявших изобретение звукового кино и начавших развиваться в рамках новых условий, были и те, кто опередил своё время и за неимением продвинутых технологий попытался создать вещи, в рамках научно-технического прогресса реализованные намного позже.

«Рисованный звук». Технология, разработанная группой энтузиастов в 30-х годах XX века, задолго до изобретения секвенсоров и синтезаторов. Она позволяла методом искусственного создания графики звуковых дорожек на кинопленке синтезировать любые звуки, эффекты, записывать сложные полифонические произведения.

Поиск по каталогу музыки — это задача, которую можно решать разными путями, как с точки зрения пользователя, так и технологически. Яндекс уже довольно давно научился искать и по названиям композиций, и по текстам песен. На сказанные голосом запросы про музыку мы тоже умеем отвечать в Яндекс.Поиске под iOS и Android, сегодня же речь пойдёт о поиске по аудиосигналу, а если конкретно — по записанному с микрофона фрагменту музыкального произведения. Именно такая функция встроена в мобильное приложение Яндекс.Музыки:



В мире есть всего несколько специализированных компаний, которые профессионально занимаются распознаванием музыкальных треков. Насколько нам известно, из поисковых компаний Яндекс стал первым, кто стал помогать российскому пользователю в решении этой задачи. Несмотря на то, что нам предстоит ещё немало сделать, качество распознавания уже сопоставимо с лидерами в этой области. К тому же поиск музыки по аудиофрагменту не самая тривиальная и освещённая в Рунете тема; надеемся, что многим будет любопытно узнать подробности.

Канадский астронавт Крис Хэдфилд, который на днях благополучно вернулся с Международной космической станции, за время своего пребывания на борту успел стать одним из самых популярных и узнаваемых астронавтов — его видеоролики о подробностях космического быта набирали миллионы просмотров, число подписчиков его аккаунта в Твиттере тоже дошло почти до миллиона. Кроме всего прочего, он неплохо поёт и играет на гитаре. За несколько дней до возвращения на Землю он опубликовал первый в истории видеоклип, целиком снятый в космосе. К делу он подошёл ответственно — клип на песню Дэвида Боуи «Space oddity» снят, смонтирован и озвучен вполне профессионально.

Не так давно я уже публиковал новость о записи лекции Альберта Эйнштейна, где прекрасно слышно голос ученого. На этот раз публикую новость о записи голоса всем нам известного Александра Белла. Специалисты Смитсоновского института смогли оцифровать наиболее раннюю запись голоса Белла. Сделал запись сам изобретатель.

Неделю назад я рассказывал вам о наушниках производства компании SoundMAGIC, которые относятся к ценовому диапазону до $20. Повышаем планку до $40 и рассмотрим, по меркам компании, наушники среднего ценового диапазона, а именно модели E10 и PL30.

*IEM — In-ear monitors (внутриканальные наушники)

Несколько лет назад в «Разрушителях мифов» Адам и Джемми сооружали «Трубу Рубенса». Это было так зрелищно и прикольно, что я очень им позавидовал. Ну а теперь, когда подвернулась возможность построить нечто подобное, удержаться от соблазна было невозможно.

Отпечаток грампластинки в немецком журнале (февраль 1890 г.) и увеличенный фрагмент отсканированного изображения

Изобретение граммофона датируется 1887 годом, первые пластинки появились в продаже в Европе летом 1890 года. В музеях мира хранится несколько экспериментальных граммофонных записей 1887-1888 годов, которые считаются самыми старыми пластинками в мире. К сожалению, считать звук с них практически нереально. Хуже того, почти все старые пластинки сохранились только в виде фотографий. Именно поэтому в современных цифровых архивах самая старая аудиозапись датируется только 1893 годом. Но специалисты из университета Индианы нашли способ, как восстановить звук с грампластинки по одной фотографии.

Не так давно наткнулся на несколько разработок в области помощи слабовидящим. Все их объединяло одно — они основаны на ультразвуке и обратной связи, тактильной или аудио. Это были трости и перчатки. Что меня в таких сообщениях обычно расстраивает, что показали прототип, начали патентование, а до производства не доходит.
Изучив вопрос, я понял, что пока что белую тросточку для слабовидящих ничто заменить не может. А вот вспомогательные средства им не помешают. Уже есть ультразвуковой фонарик, перчатка, трость. Что-то из этого можно даже купить в магазинах. Моей задачей было сделать устройство, которое поможет слабовидящим ориентироваться в незнакомых помещениях и которое применяется совместно с тростью. А кроме того, устройство должно быть не сложным в сборке, чтобы любой радиолюбитель мог помочь в его создании. Получилась вот такая бейсболка:

Учёные из университета Беркли создали наушники на основе графена.
Благодаря выдающимся физическим и электрическим свойствам этого материала, даже опытный образец без каких-либо оптимизаций выдал частотные характеристики, сопоставимые с характеристиками современных коммерческих продуктов.

От переводчика:
Многие знают, что ffmpeg — это сила, но не все знают, какая именно. Он многогранен и безграничен, а его man объёмен и местами малопонятен, лишь немногие постигли дао профессиональной работы с ним. И тем не менее, этот инструмент может быть полезен почти всем, кто хоть иногда работает с видео и звуком, даже на бытовом уровне. О некоторых полезных консольных командах ffmpeg и пойдёт речь в статье. В некоторых местах я взял на себя смелость вставить ссылки на поясняющие статьи.

ffmpeg — это кроссплатформенная open-source библиотека для обработки видео- и аудиофайлов. Я собрал 19 полезных и удивительных команд, покрывающих почти все нужды: конвертация видео, извлечение звуковой дорожки, конвертирование для iPod или PSP, и многое другое.

1. Получение информации о видеофайле

ffmpeg -i video.avi

2. Превратить набор картинок в видео

ffmpeg -f image2 -i image%d.jpg video.mpg

Эта команда преобразует все картинки из текущей директории (названные image1.jpg, image2.jpg и т.д.) в видеофайл video.mpg

(примечание переводчика: мне больше нравится такой формат:

ffmpeg -r 12 -y -i "image_%010d.png" output.mpg

здесь задаётся frame rate (12) для видео, формат «image_%010d.png» означает, что картинки будут искаться в виде image_0000000001.png, image_0000000002.png и тд, то есть, в формате printf)

Зоны озвучивания, фрагмент схемы

Храмы, синагоги, церкви, костёлы, мечети и прочие крайне специфические с точки зрения акустики объекты озвучиваются весьма нетривиально.

Большое время реверберации, отсутствие возможности изменить архитектурную акустику (и иногда даже установить микрофоны), необходимость учесть культурные и исторические особенности, а еще обучение использованию этой системы персонала без технического образования – неполный перечень причин сложностей такого проекта.

Задача озвучивания собора была для нас не совсем обычной – раньше мы не занимались такого рода проектами. Драматизма ситуации придавал тот факт, что освящение собора должно было состояться через несколько месяцев.

Когда мы пришли на место в первый раз, как раз шла утренняя служба. С амвона служитель читал молитвы. В радиусе 4-5 метров мы разбирали слова, но как только отходили дальше от священника, все звуки сливались в ровный гул из-за нескончаемого переходного процесса. Понятно было, что при большом скоплении людей речь будет совсем не различимой.

В последних билдах Google Chrome Canary появились анимированные индикаторы воспроизведения и записи звука на вкладках. Индикаторы накладываются поверх фавиконов. Если вам приходилось открывать сразу много вкладок подряд, или перезапускать браузер со множеством открытых вкладок, и какая-то из них внезапно начинала издавать звуки — вы наверняка оцените это нововведение. Больше не придётся судорожно уменьшать громкость системным ползунком, а потом перебирать все вкладки одну за другой в поисках источника шума. Вот видео, демонстрирующее работу индикатора:

FiiO E17, тот самый медиакомбайн рассмотренный мною в одном из предыдущих обзоров полностью удовлетворял мои потребности в качественном звуке, более того некоторые его характеристики были даже излишни для меня, например аккумуляторная батарея. Исходя из того обзора, в портативном сегменте, я решил отдать предпочтение отдельному плееру (который до сих пор выбираю) взамен связке телефон + FiiO E17. Последний был продан, а на его место пришёл стационарный ЦАП и усилитель для наушников FiiO E10 OLYMPUS о котором я и расскажу в данном обзоре.