Звук

Вчера мне в личку несколько десятков раз прислали это видео с просьбой прокомментировать. Чтобы повторно не отвечать всем в чатиках, запилил эту статью. Это видео дальше пошло в спортлото на Пикабу и DTF. На обеих площадках есть интересные комментарии, причем на DTF как мне кажется люди были ближе к истине.

Сначала кратенько адресуем целенаправленно эмоциональную подачу материала. Как правило, это один из стандартных приёмов, когда некая "заряженная" информация подается в максимально популистском информационном ключе "в пользу бедных" (или его вариация, "подумайте о детях"), а на самом деле реальные причины / логика / принципы работы ML-моделей игнорируются. Как правило такие процессы возникают не на пустом месте, а во время неких тектонических сдвигов в технологии и индустрии.

Видео длинное, я выделил из него ключевые тезисы. На каждый тезис я дам свой комментарий, а потом приведу свою гипотезу о реальных первопричинах появления этого видео.

В этом тексте я написал инструкцию того как настроить логический анализатор Saleae производить автоматический синтаксический разбор трафика на шине I2S.

Обзор аудиокодека MAX9860.

MAX9860 это 24 пиновый ASIC американской компании Maxim Integrated у которого внутри один 16ти битный sigma delta ЦАП, и два AЦП с управлением по I2C. Данные загружаются и выгребаются по I2S.

В тексте я написал свои впечатления от работы с этим чипом. Перечислил достоинства и недостатки микросхемы MAX9860.

Музыка, неотъемлемая часть человеческой культуры, всегда отражала дух времени. Однако с наступлением цифровой эры и быстрого развития технологий, музыкальная индустрия столкнулась с революцией, которая изменила не только способы создания и распространения музыки, но и сам способ, которым мы взаимодействуем с ней. Сегодня музыкальные платформы и сервисы предоставляют нам огромный выбор композиций, а важную роль в этом процессе играют технологии аудиоаналитики.

Что делает песню хитом? Какие элементы музыки заставляют нас нажимать "пропустить" или добавлять трек в свой плейлист? Ответы на эти вопросы лежат в понимании музыкальных предпочтений слушателей. Анализ этих предпочтений — это не только путь к более точным рекомендациям, но и ключ к пониманию наших эмоциональных реакций на музыку. Именно здесь на сцену выходит аудиоаналитика.

В этой статье я хочу поделиться ещё одним небольшим ноу-хау, которое по моему мнению, может оказаться весьма полезным для улучшения качества звука при производстве охватывающих наушников.

В 1980-х годах компьютер был способен производить только простые звуковые сигналы. Однако вскоре все начало меняться, когда компания Creative Labs решила внести звук в мир компьютеров. Настоящим прорывом стал выпуск первой звуковой карты Sound Blaster 1.0 в 1989 году. Она стала мировым стандартом звука для ПК и положила начало настоящей революции в области звука для компьютеров. Геймеры того времени, чей средний возраст сейчас превышает 40 лет, были в восторге от каждого нового поколения Sound Blaster.

Sound Blaster Pro, выпущенная в 1991 году, позволила слушать звук в формате стерео. Это был настоящий прорыв, так как ранее компьютеры могли воспроизводить звук только в моноформате. Sound Blaster 16, выпущенная в 1992 году, привнесла звук CD-качества в компьютерные игры. Это было невероятно впечатляюще для геймеров того времени. А с выпуском Sound Blaster Live! в 1998 году, многоканальное аудио стало реальностью.

Чем бы вы ни занимались, звуковое сопровождение играет довольно важную роль. Для учёбы или вдумчивой работы люди часто выбирают одноимённые плейлисты, состоящие по большей части из спокойной музыки, эмбиента или классики. Для бега тоже есть своя музыка, которая обычно куда динамичнее — многим нравится подбирать её в зависимости от скорости и интенсивности бега. 

Но большинство треков, как правило, содержат слова, которые могут отвлекать от таких занятий, где хочется подумать или сконцентрироваться. И поэтому приходится тратить много времени на поиски подходящей подборки, но и там может попасться отвлекающее. Поэтому здорово, когда есть возможность подстроить звуковое окружение под себя.

В этом посте я расскажу о том, как задумывалась и создавалась Нейромузыка: как мы обучили модель писать музыкальные лупы, сочетать их между собой и подстраивать музыкальный поток под каждого пользователя.

Источник карты — Проект «Языки России» Институт языкознания РАН, 2021 год

Давненько мы не выпускали новых статей про наш синтез речи! В прошлый раз мы добавили синтез на 9 языках народов Индии, существенно улучшили автоматическую простановку ударений, добавили 1 русский голос и "наследовали" SSML для всех моделей.

В этот раз мы сделали следующее:

• Ускорили все v4 модели в 3-4 раза;
• Существенно повысили качество синтеза в 8 kHz;
• Обновили и пересобрали нашу модель для русского языка;
• Обновили модель для 9 языков народов Индии с 17 голосами;
• Добавили единую модель для 22 языков с кириллическим алфавитом с 31 голосом;
• Прекратили поддержку моделей романо-германских языков (старые модели будут доступны для скачивания без изменений);
• Обновили модели для языков народов СНГ: узбекского и украинского (татарский и калмыцкий были "поглощены" единой моделью);

Бывает такое: смотришь кино, слышишь OST или просто какую-то хорошую песню, которую решили вставить в фильм, и думаешь — а неплохо бы её добавить к себе в плейлист. Способов сделать это было несколько. Можно было пойти и поискать или сам OST к фильму, или неофициальные саундтреки к нему. Можно было посмотреть, что по названию фильма выдаётся в поиске через музыкальные стриминговые сервисы, вдруг какая-то площадка уже позаботилась о вас и собрала тематический плейлист. Отдельные граждане прямо во время фильма включали на смартфоне Shazam и распознавали трек. В общем, кто во что горазд.

Мы решили сделать для Кинопоиска функцию, которая будет (если вам это нужно) прямо во время фильма показывать, какой трек играет прямо сейчас.

Меня зовут Алексей Царёв, я занимаюсь развитием технологий в развлекательных сервисах Яндекс. И моя задача в том, чтобы из какой-то отдельно взятой технологии создавать рабочие продукты для конечного пользователя. Именно об этом, на примере распознавания музыки в фильмах, и будет этот пост.

В этой статье я хочу рассказать об инновационной модели тактических наушников, выводящей позиционирование звука на качественно новый уровень.

Это моя статья, а не переводная статья.

В этой статье Вы найдёте полное описание того, как сделать Wi-Fi интернет-радиоприёмник из роутера, который бы мог проигрывать mp3 потоки интернет-радиостанций. Также предусмотрена возможность переключения между двумя интернет-радиостанциями. Мы будем использовать прошивку OpenWRT установленную на роутер для создания Wi-Fi интернет-радиоприёмника. Можно обойтись без паяльника, а можно поместить все элементы внутрь роутера и сделать завершённое устройство — Wi-Fi интернет-радиоприёмник.

• Любой роутер с usb портом, на котрый можно установить OpenWRT — ОС Linux ориентированная на встраиваемые системы. Узнать можно ли на Ваш роутер установить OpenWRT можно на странице https://openwrt.org/toh/start.
• USB Звуковая карта стоимостью $1-$2.
• Любые пассивные (или активные) звуковые колонки.
• Два патч-корда — витая пара обжатая разъёмами 8P8C (в народе RJ-45).
• Персональный компьютер.
• Выход в сеть Интернет по технологии Ethernet и Wi-Fi (опционально).

Музыка — это универсальный язык, для которого нет границ. Стремительный прогресс больших языковых моделей (Large Language Model, LLM) привёл к тому, что нейроучёные продемонстрировали острый интерес к исследованию представления музыки в человеческом мозгу.

Команда учёных из Google, Осакского университета, NICT и Araya Inc., движимая этим интересом, провела исследование, результаты которого изложены в публикации «Brain2Music: Reconstructing Music from Human Brain Activity». В исследовании используется конвейер обработки данных, названный Brain2Music, в состав которого входит модель MusicLM, реконструирующая музыку, которую слышит человек, на основе его мозговой активности. Система генерирует композиции, которые напоминают исходные музыкальные раздражители. Этот новый метод даёт ценные сведения о взаимоотношениях мозговой активности с когнитивным и чувственным опытом людей.

Учёные сделали следующие основные выводы:

Про мой сетап Hi-Fi звука

Тут большая, длинная история про то, как я себе собирал сетап с hi-fi звуком.

Это просто описание личного опыта, который, может быть, кому-то будет полезен. Не претендую на какое-то технарское новшество.

В посте реально много задротства, и разбираться в нём стоит только если вы хотите себе что-то подобное.

Если нет, просто почитайте о том, как страдают эти ваши аудиофилы.

Всё началось с того, что снял квартиру с хорошим звуком - лендлорд оставил мне свой усилок, напольные колонки и CD проигрыватель.

Проигрыватель был сразу убран, потому что ну какие диски, камон.

Но вот на базе усилка и колонок хотелось собрать что-то такое, на чём я смогу слушать Hi-Fi звук, и желательно диджитально, то есть управляя через приложение стриминговой музыкой.

Сам по себе усилок довольно старый, в нём нет никакх мозгов, которые могли бы ходить в сервисы Hi-Fi стриминга (я использую Tidal).

Но, раз нет в нём, значит нужно подключить к нему что-то такое, что могло бы ходить, брать бы оттуда звук, и передавать на усилок. И, повторюсь, этим хочется управлять через приложение с любого устройства.

А ещё, у Tidal есть свой контейнер для Hi-Fi музыки, который называется MQA - это такой FLAC на стероидах, к которыму прицеплены дополнительные метаданные, которые позволяют файлам "ЛУЧШЕ ЗВУЧАТЬ"))

А это значит, что мой девайс должен мочь прожевывать MQA.

Сначала мой выбор пал на технологию Tidal Connect. Это как раз протокол, по которому тот самый Tidal может трансилровать свою музыку на конечные устройства (обычно это ЦАПы).

Голосовые ассистенты активируются «по имени» — это всем привычно. Но как быть, если нужно несколько раз повторять команду из одного слова? Например, чтобы настроить музыку, говорить каждый раз «Алиса, громче» и «Алиса, дальше» утомляет. Кроме того, в некоторых сценариях важна скорость выполнения действия: например, когда нужно включить свет в комнате. 

Для таких случаев мы научили Алису распознавать быстрые команды — то есть те, для которых её не нужно звать по имени. Достаточно просто сказать «громче», «дальше» или «включи свет». И в этой статье я расскажу, что из себя представляет новая функция, как мы её разрабатывали, с какими сложностями столкнулись. А ещё немного поговорим про распознавание и свёрточные модели.

Статья рассматривает историю распространения музыки, переход на легальные цифровые сервисы и трансформационное влияние стриминга на музыкальную индустрию. Мы расскажем, как платформы вроде Spotify, Apple Music и YouTube изменили способ потребления и открытия музыки людьми. Рассмотрим и проблемы, с которыми сталкиваются артисты, музыкальные лейблы и профессионалы отрасли при адаптации музыки в эпоху стриминга.