Звук

На днях приснилось(!) — «а что если сделать тестовый файл с Dolby Atmos, в котором динамически включалась\отключалась бы мета об объектах». Готовых роликов нет. Хотелось понять Atmos это все таки маркетинг или реальная технология улучшающая звуковое восприятие сцены. Подумалось, сделалось.

Основная фишка при воспроизведения дорожки с Атмосом это рендеринг звука в реальном времени в зависимости от оборудования пользователя, а в идеале и с учетом местоположения слушателя(!), будь то наушники (получится бинауральный звук), полноценная 7.1.4 аудио система или саундбар 7.1.4 (оборудование конечно же должно поддерживать Atmos, иначе, по обратной совместимости, будет получен классический многоканальный звук). То есть оборудование с поддержкой Atmos «знает» и о количестве доступных каналов, и об их расположении в пространстве, и о положении слушателя (для этого есть отдельная процедура калибровки с помощью микрофонов). Итого при классическом многоканале звук может воспроизводится спереди, слева где-то впереди, справа где-то впереди, где-то сзади слева, где-то сзади справа, а в случае Атмос, переходы звука из одного канала в другой будут плавнее (чем больше физ. каналов, тем точнее будет позиционироваться звук), звук может «подниматься» вверх и «приближаться» к пользователю.

Идея состояла в следующем: взять тестовый файл со звуком в Dolby Digital Plus with Atmos, выкинуть из него мету, сделать другой тестовый видео файл с дорожкой Dolby Digital Plus (без Atmos). Нарезать первый и второй файлы на равные отрезки и склеить их в третий, новый файл с чередованием кусков из первого и второго.

Получившиеся файлы можно скачать тут. Для удобства я вшил в видео текст с отображением Atmos. Бонусом записал вторую дорожку — стерео с верхних Top каналов в конфигурации 7.1.2

Наверняка такое "жесткое переключение" не предусмотрено стандартом Dolby, но это работает, в одном видео можно прослушать звук с Атмосом и без.

Мира!

Добрый вечер, уважаемые хабровчане!

Тандем Модемов выпустил вторую часть кибер-панк частушек, которой я спешу поделиться с вами.

В этот раз аудио было сгенерено в Suno, после того, как Udio показал себя совершенно ужасно. Видимо, они что-то поломали в своей сетке, потому что раньше он был лучше, чем конкурент. Теперь же - просто не сравнить, небо и земля.

Suno же сходу выдал так любимые мной ирландские мотивы в сочетании с нашими, исконными частушечными, этот проигрыш заставил меня сразу позабыть про эксперименты в Udio и перейти на Suno окончательно)

Графика - в основном Flux (запущенный локально) со вкраплениями Midjourney (Dall-e эту гонку проиграл).

Хорошего вам пятничного вечера и приятного просмотра!

Озадачился вопросом, а может ли AI помочь в написании гитарных табулатур. Я могу снять на слух партию ударных, но остальное выше моих сил. ChatGPT и Gemini ответили уклончиво и галлюцинативно. Поиск вывел на платный сервис klang.io - но на данный момент ему не по зубам даже изолированная басовая дорожка. Выдает полный бред.

И тут выяснилось, что на популярнейшем сервисе songsterr эта фича живет, что называется без всякой славы, как минимум с весны 2024! Бесплатно! И оно работает! Закинул несколько песен жанров metal, postrock, psychedelic rock и что могу сказать:

• Ударные снимает почти идеально, требуется минимальная доводка.

• Электрогитары снимает похуже. В хитрых соло захлебывается. Иногда выдумывает. Иногда мажет мимо ритма.

• Бас может сильно упростить. Если партия плотная и бас нечеткий, то просто кладет восьмые тоникой. Иначе может прописать бас даже лучше гитар.

• Аппликатуры выдает вполне человеческие, но иногда странно выбирает позицию. Для себя я бы переделал.

• Пока что любую песню приводит к инструментовке 2 гитары, бас, ударные. Темп понимает, но строй инструментов приводит к E standart.

В целом отличная заготовка для доработки напильником. Писать таб с чистого листа у меня никогда не было энтузиазма, но другое дело, когда уже есть каркас. Больше возможностей играть любимые песни. Естественно, как и со всяким AI, есть риск волны кривых табов, которые постятся без ревью и коррекции.

Добрый день, уважаемые хабровчане!

Наш небольшой творческий коллектив "Тандем Модемов" выпустил новую песню и музыкальное видео к ней.

Аудио было по-прежнему сгенерировано при помощи Udio. Что интересно, исполнение получилось ну очень похоже на нейронного Бориса Борисовича Гребенщикова, несмотря на то, что сеть никто об этом отдельно не просил - так на нее действует сочетание стиля Irish Folk с текстом на русском языке. И, на мой взгляд, это исполнение отлично подошло к новой песне.

Кадры были сгенерированы при помощи опенсорсной сети Flux, и я просто поражен качеством генерации - как мне кажется, Flux обгоняет не только опенсорсную Stable Diffusion, но и платные решения вроде Dall-E и Midjourney, при этом его легко можно развернуть на своей машине. Всем, кто до сих пор с ним не знаком - очень рекомендую.

Видео из кадров сгенерировано при помощи Luma.

А вот тут можно почитать (и послушать) про наш прошлый релиз: Новый Век или Парадокс Моравека

Приятного просмотра!

Композитор и экспериментатор под ником HAINBACH открыл для себя технику «Moon Bouncing», используя Луну в качестве эха, когда исследовал творчество композитора Полин Оливерос. Её опыт с «Echoes from the moon» звучал захватывающе. Как и со всеми экспериментальными музыкальными техниками прошлого, HAINBACH захотел попробовать этот процесс сам. Это положило начало его двухлетнему путешествию.

При поддержке Мартин-Николь Рохины (которая также помогала делать записи на месте) HAINBACH связался с командой радиотелескопа в Двингелоо, огромной тарелкой, предназначенной для исследования космоса. Астрономы помогли HAINBACH послать сигналы на Луну: сопрано (Джоханна Варгас), контрабасист (Пол Кэннон), а также звуки от команды поддержки HAINBACH.

Этот увлекательный опыт дал обширный набор сэмплов, которые HAINBACH проанализировал и использовал для создания бесплатного плагина «Moon Echo». Таким образом, все пользователи могут сами ощутить магию лунного прыжка.

«Яндекс» научил «Алису» включать на умных колонках песни для домашних животных.

Российские музыканты записали альбом под названием «Песни для любимых пёсиков», в котором собраны музыкальные композиции для питомцев, которые можно включать в отсутствии хозяев. Любовь к собакам музыканты выразили по-разному, и альбом получился многожанровым: в нём есть и эмбиент, и мягкий инструментал,
и неоклассика, и абстрактная электроника.

«Чтобы питомцы не скучали дома без людей, теперь виртуальный ассистент Алиса может включать музыку, созданную на основе рекомендаций кинологов и зоопсихологов», – пояснили в «Яндексе».

В компании добавили, что более позитивные эмоции у собак вызывают мелодии с «протяжными нотами и небольшим числом одновременно звучащих инструментов».

Чтобы запустить альбом на «Яндекс Станции» или «Яндекс ТВ Станции», перед выходом из дома достаточно сказать: «Алиса, включи пёсни для любимых пёсиков». В сборнике есть долгоиграющий микс «Пёсни целый день», который звучит почти 8 часов. Вместе с другими треками этого должно хватить до возвращения хозяев после рабочего дня. «Пёсни» можно воспроизводить и по отдельности, с перерывами, — для этого нужно настроить их запуск по расписанию в приложении «Умный дом с Алисой».

Сайт проекта доступен по ссылке. Скачать видео проекта можно здесь.

«Яндекс Музыка» обучила систему персональных рекомендаций сотням редких жанров, чтобы пользователи могли открывать для себя новые музыкальные направления и артистов, сообщили Хабру в компании «Яндекс».

Также сервис представил интерактивную digital-карту, где можно подробнее изучить новые жанры, включая мумбатон, скиффл и кранк, и больше узнать про экспертов, которые над ними работали.

Музыкальные направления определила редакция сервиса, а к отбору треков редких жанров были привлечены эксперты индустрии. Среди них были автор подкаста и книги «Планетроника. Популярная история электронной музыки» Ник Завриев, автор лекций и книг о классической музыке, лауреат премии «Просветитель» Ляля Кандаурова, музыкальный журналист Антон Вагин, композитор и преподаватель Berklee College of Music Николай Мищенко и другие профильные музыкальные специалисты.

На основе рекомендаций экспертов для каждого жанра была создана ML‑разметка, по которой команда технологий «Яндекс Музыки» обучила специальную нейронную сеть. Теперь «Моя волна» может подбирать музыку из всего каталога сервиса по сотням музыкальных жанров. При этом умная система рекомендаций остаётся персональной — например, из всего жанра «готический метал» она выберет те треки, которые с наибольшей вероятностью понравятся слушателю. Поэтому «Моя волна» по каждому отдельному жанру будет отличаться у разных пользователей.

Состоялся выпуск открытого музыкального проигрывателя Fooyin 0.5. Проект нацелен на предоставление широких возможностей по настройке и адаптации программы под свои предпочтения.

В Fooyin на выбор пользователя предложен набор виджетов с реализацией различных режимов для управления музыкальной коллекцией и воспроизведения музыки. Дополнительные возможности могут подключаться в форме плагинов.

Для настройки интерфейса в Fooyin предлагается специальный режим редактирования раскладки элементов на экране.

Исходный код проекта написан на языке С++ с использованием библиотеки Qt и распространяется под лицензией GPLv3.

Готовые пакеты Fooyin сформированы для Fedora, Debian и Ubuntu.

Проект поддерживает воспроизведение файлов в формате FLAC, MP3, MP4, Vorbis, Opus, WavPack, WAV, AIFF, Musepack и Monkey's Audio, извлечение сведений о порядке и длительности звуковых треков из CUE-файлов, воспроизведение без пауз (gapless), импорт и экспорт списков воспроизведения в форматах M3U/M3U8.

В интерфейсе Fooyin предусмотрена фильтрация содержимого музыкальной библиотеки по любым полям, есть опции: древовидное представление коллекции, редактирование тегов, создание и управление списками воспроизведения, визуализация при помощи спектрограмм, навигация на уровне каталогов в файловой системе с возможностью прямого воспроизведения выбранных файлов.

Источник: OpenNET.

«Яндекс Музыка» рассказала Хабру о выпуске технологии «Нитро» для начинающих исполнителей, чтобы помочь им найти первых слушателей и попасть в рекомендации сервиса.

Тесты технологии показали, что за неделю «Нитро» позволяет артистам увеличить количество прослушиваний в десятки раз. Проект доступен на сервисе исполнителям с аудиторией до 5 тыс. слушателей в месяц.

«Нитро» помогает исполнителям, которые ещё не нашли своих слушателей. Новая технология позволяет составлять рекомендации в «Яндекс Музыке» не только по реакции пользователей на треки, но и по схожести композиций. «Нитро» использует нейросетевую технологию, которая анализирует звучание композиции и создаёт её аудиовектор — визуальное изображение звука. Затем алгоритмы подбирают для трека слушателей, которым нравится музыка с похожим аудиовектором. В итоге сервис рекомендует новые композицию этим пользователям.

«„Яндекс Музыка“ решает одну из самых острых индустриальных проблем артистов — так называемую проблему „холодного старта“, когда первые треки уже есть, а первых слушателей ещё нет. Каждую неделю мы получаем в среднем 55 тыс. новых релизов, и 80% из них поступают от артистов, у которых до 5 тыс. слушателей в месяц. „Нитро“ поможет им найти свою аудиторию и вдохновиться на создание новых хитов», — пояснила руководитель «Яндекс Музыки» Александра Сагалович.

«Яндекс Музыка» начала тестировать «Нитро» прошлой осенью. За это время технология помогла найти аудиторию более чем 600 начинающим артистам.

Японский бренд Radius выпустит беспроводные наушники, кейс которых выполнен в виде спящего котика. При подключении девайс будет мяукать, а уровень зарядки показывается в рыбовых.

ElevenLabs представила Voice Isolator — ИИ-инструмент, который хирургически вырезает весь ненужный фон и звуковые помехи, оставляя только кристально чистый голос, будто записанный в студии.

Проект справляется даже с громким потомком воздуха, направленным на исполнителя.

Universal Music Group, Sony Music Entertainment и Warner Records подали в суд на две компании в области генерации музыки с использованием ИИ. Их обвинили в нарушении авторских прав.

Иск адресован Suno и Udio, которые используют текстовые подсказки для создания песен. Suno работает в Microsoft Copilot, а инструмент Udio использовался для создания вирусного ролика «BBL Drizzy».

Американская ассоциация звукозаписывающей индустрии (RIAA) требует возмещения ущерба в размере до $150 000 за произведение, а также других сборов.

«Это прямые случаи нарушения авторских прав, связанные с нелицензионным копированием звукозаписей в массовом порядке. Suno и Udio пытаются скрыть весь масштаб своих нарушений вместо того, чтобы поставить свои услуги на прочную и законную основу», — заявил главный юрист RIAA Кен Дорошоу.

Истцы утверждают, что компании отказались предоставить им данные обучения, заявив, что это «конфиденциальная деловая информация». 

Гендиректор Suno Майки Шульман говорит, что Suno не разрешает пользователям предлагать подсказки от конкретных исполнителей.

Однако RIAA включила в иск несколько примеров, которые звучат как песни, принадлежащие лейблам. Одна из них под названием «Deep down in Louisiana close to New Orle» повторяет текст и стиль песни «Johnny B. Goode» Чака Берри. Другая —«Prancing Queen» — содержит слова песни «Dancing Queen» ABBA.

«Яндекс Маркет» сообщил Хабру о запуске в продажу под своим брендом Commo полноразмерных беспроводных наушников Immersive с 40-миллиметровыми динамиками, системой активного шумоподавления (ANC) и поддержкой объёмного звука.

В «Яндекс Маркете» пояснили, что Commo Immersive могут автономно работать до 65 часов (ёмкость аккумулятора составляет 650 мА·ч). У наушников есть звуковая и световая индикация, кнопки управления и встроенный микрофон. Чашки этой модели оснащены поворотным механизмом. В комплекте имеется AUX-кабель, с помощью которого наушники можно подключить, например, к ноутбуку и использовать даже разряженными — как проводные.

Характеристики Commo Immersive: диапазон частот 20 Гц-20000 Гц, беспроводной интерфейс Bluetooth 5.3, поддерживаемые кодеки AAC, SBC. Профили Bluetooth: A2DP, AVRCP, HFP, HSP, дальность действия: в пределах 10 метров (без препятствий), диаметр динамика: 40 мм, время полного заряда наушников: до 2 часов, напряжение: 3,7 В, импеданс: 32 Ом ± 15% на 1 кГц, чувствительность: 127 ± 3 дБ на 1 кГц.

Модель Immersive поддерживает три режима работы: активное шумоподавление (максимальный диапазон шумоподавления: -30 дБ), режим прозрачности и стандартный режим. Гаджет сам ставит музыку на паузу, если наушники снять с головы.

Ранее «Яндекс Маркет» представил представил полноразмерные наушники Commo One.

Разработчики мультимедийного пакета FFMpeg объявили о создании собственной реализации декодировщика для формата кодирования звука xHE-AAC (Extended High-Efficiency AAC), определённого в стандарте ISO/IEC 23003-3.

Декодировщик xHE-AAC принят в основную кодовую базу FFMpeg и войдёт в состав следующего выпуска проекта. Реализация может использоваться для большинства стерео-потоков xHE-AAC. Потоки SBR, USAC и MPEG-H с объёмным звуком, а также кодирование речи пока не поддерживается. Поддержку USAC и SBR обещают добавить в ближайшее время.

Проект xHE-AAC используется в потоковом вещании Netflix и задействован в технологиях цифрового радиовещания Digital Radio Mondiale. Кодек примечателен поддержкой широкого диапазона битрейта (от 12 до 300 kbit/s), высокой степенью сжатия, средствами воспроизведения с постоянной громкостью, обеспечением высокой чёткости при любых уровнях громкости, дополнительными профилями управления динамическим диапазоном при прослушивании в шумных местах и добавлением метаданных, позволяющих восстанавливать потери на принимающей стороне.

20 декабря 2020 года проекту FFmpeg исполнилось 20 лет. Многие IT-компании, включая Google и YouTube, используют FFmpeg в бэкенде своих проектов и сервисов.

5 апреля 2024 года состоялся релиз открытого мультимедиа-пакета FFmpeg 7.0 под кодовым названием Dijkstra для Linux, Windows и macOS.

Источник: OpenNET.

Suno анонсировала новую версию нейросети для генерации музыки. Теперь модель машинного обучения может работать с готовыми звуковыми дорожками. К примеру, можно загрузить мелодию, сыгранную на фортепиано, и попросить переделать в звук в гитару или аккордеон. Кроме того, показали, как пользователь настучал бит, а нейросеть создала для него аккомпанемент и вокал.

Проект ChatTTS опубликовал модель и связанный с ней инструментарий машинного обучения для синтеза эмоциональной речи. Решение оптимизировано для использования в диалоговых системах, таких как интерактивные помощники, и нацелено на воспроизведение свойств естественного эмоционального общения. Поддерживается взаимодействие с несколькими говорящими людьми и построение интерактивного диалога. Корректно отслеживаются и воспроизводятся при синтезе просодические элементы, такие как смех, паузы и междометия.

При тренировке модели использовано около 40 тыс. часов речевых записей. По заявлению разработчиков, по своим возможностям формирования интонаций модель превосходит все ранее доступные открытые модели синтеза речи.

Для управления эмоциями при синтезе пока поддерживается только подстановка токенов, например, "[laugh]" для смеха. Для генерации полуминутной записи требуется GPU с 4 ГБ памяти. На GPU NVIDIA GeForce RTX 4090D скорость генерации составляет приблизительно 7 семантических токенов в секунду. Поддерживается синтез женским и мужским голосом на английском и китайском языках (для русского языка можно рекомендовать фреймворк TTS и модель XTTS-v2, которые кроме синтеза поддерживают клонирование голоса по короткой записи речи, в том числе для синтеза на другом языке).

Модель ChatTTS опубликована под лицензией CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0) и имеет защиту от совершения мошеннических и криминальных действий.

Источник: OpenNET.

10 апреля состоялось официальное открытие музыкальной студии VK Records.

Студийный комплекс располагается в офисе VK, занимает площадь 330 квадратных метров и включает четыре студии — главную, две контрольные и аранжировочную. К студии примыкает зал со сценой, где будут проходить музыкальные презентации и выступления артистов. Тем, кто работает с лейблом и VK, доступны услуги звукозаписи и музыкального продакшена.

На выбор артистам предоставлен парк вокальных микрофонов Neumann, Golden Age, Sony, Simple Way, звуковые интерфейсы Universal Audio, Antelope Audio, оборудование для мастеринга Dangerous System, Bettermaker и Rupert Neve Designs и многое другое. Для работы на студии собрана команда из опытных звукоинженеров и саунд-продюсеров.

В сентября 2022 года VK объявила, что компания займётся развитием музыкальных лейблов в рамках нового бизнес-направления VK Records. VK активно работает над музыкальным направлением. Тогда в VK Records уже вошли два лейбла: VK Music Records и VK Beats Records. Первый занимается развитием поп-музыки, а второй работает с рэп-артистами.

В 2021 году компания запустила приложение «VK Музыка», которое было создано на базе музыкального сервиса BOOM.

«Яндекс Музыка» доработала дизайн «Моей волны», который теперь подстраивается под музыкальные предпочтения пользователей.

Ключевой рекомендательный продукт «Яндекс Музыки» под названием «Моя волна» теперь для каждого пользователя выглядит персонально. Её новый дизайн формируется с помощью генеративных технологий на основе музыкальных предпочтений каждого слушателя.

Разработчики пояснили, что это обновление стало следующим шагом в персонализации сервиса вслед за переходом на новую модель рекомендаций с использованием глубоких нейронных сетей в «Моей волне».

Новый дизайн «Моей волны визуально отражает музыкальные предпочтения слушателя и динамично меняется вместе с ними, создавая индивидуальный аудиовизуальный опыт.

Благодаря обновлению пользователи смогут полноценно погрузиться в свой персональный музыкальный мир и наблюдать, как меняются их вкусы.

Разному настроению треков соответствуют разные оттенки специально разработанной палитры. Алгоритмы анализируют настроение треков и присваивают им соответствующий оттенок. В новом дизайне «Моей волны» объединяются цвет пользователя, который генерируется на основе анализа треков его «Коллекции», и цвет прослушиваемого трека.

Новый образ Моей волны динамичен. Анимация подстраивается под ритм треков и реагирует на лайки. После нажатия на сердечко появляется импульс, который символизирует воодушевление пользователя от чутко подобранной для него музыки.

Обновление дизайна «Моей волны» — ещё один шаг в сторону большей персонализации сервиса.

Новые фитнес-наушники Sennheiser Momentum Sport за $330 научили точно отслеживать пульс. Показатели можно просматривать в реальном времени без потери качества звука. Погрешность не превышает 5 ударов в минуту.

В Momentum Sport встроили оптический датчик сердечного ритма и температуры. Наушники работают с приложением Polar Flow, где доступна аналитика и планы тренировок. Они также совместимы с другими фитнес-приложениями и умными часами, поддерживающими аксессуары Bluetooth.

Модель обеспечивает более точное считывание показателей за счёт плотного прилегания к уху. 

Дополнительно Momentum Sport оснастили прозрачным режимом, пропускающим внешние звуки, но не ветер.

Наушники защищены по стандарту IP55, что позволяет использовать их в любых условиях. кроме самых экстремальных вроде сильной грозы.

Momentum Sport обеспечивают до шести часов воспроизведения музыки, а их кейс обеспечивает ещё три цикла заряда.

MIT License - Jazz Version от нейросети Suno. ИИ-баллада с исполнением голосом девушки.