Звук

В ести есть огромное количество руководств, которые касаются работы в студии. Как записывать барабаны, как сделать пружинистый бас, как крутить ручки на эквалайзере и что такое атака у компрессора. (Что такое релиз у компрессора не знает в этой вселенной вообще никто, поэтому на эту тему руководств нет.)

Работа композитора же вниманием обойдена. Нет, что‑то есть, но тоже, в основном, по частным тематикам. Гармония, бас, ритм… Никто не делится секретом — как написать музыку.

Программа MusPlay предназначена для создания и проигрывания музыкальных композиций, используя их нотную запись и заранее записанные в аудио файлы звучание отдельных нот, извлекаемые разными музыкальными инструментами.

Несколько лет назад мы представили Мою волну — систему персональных рекомендаций в Яндекс Музыке, которая подстраивается под предпочтения пользователей. В её основе — рекомендательные нейросети-трансформеры, размер которых может достигать сотен миллиардов параметров, и поэтому без мощных дата-центров их работа просто невозможна.

Сегодня мы впервые представляем нашу новую рекомендательную технологию TinyML, которая работает локально, на обычном смартфоне. Теперь при потере доступа в интернет Моя волна не просто бесшовно продолжит воспроизведение музыки, но и будет подстраиваться под действия пользователя и формировать рекомендации, исходя из его предпочтений в текущий момент.

Как это работает и что нам пришлось для этого создать — расскажем под катом.

Привет, Хабр! Знакомый электрогитарный энтузиаст попросил помочь доработать его инструмент с оригинальным авторским оформлением. Сейчас мы увидим и услышим, что из этого получилось.

Листая на досуге интернет-сервис для размещения объявлений («Авито», не для рекламы) обнаружил, что продаётся много бывших в употреблении устройств с названием типа: «Ультразвуковой доплер – Fetal Doppler» по ценам совсем недорого: 300-500 рублей. Новое, с его ценой, меня бы врятли заинтересовало бы. А тут совпало, что устройство продавалось в шаговой доступности, и цена вопроса лишь подогревало любопытство.

Глядя на свои места работы и как организуются в них конференц-залы, понимаешь: сделаны они довольно топорно. Нет, я собрал не один зал, но это были богатые и не очень варианты. Многие фирмы не придают им значения из соображений экономии: обращаться к системному интегратору дорого, поэтому пусть будет как есть: телевизор и ноутбук. Интеграторы, действительно, мало не возьмут, за маленький проект не возьмутся, а сидеть у телевизора компанией из 20 человек и «ловить» микрофон – такое себе занятие.

И эта статья адресована в первую очередь сисадминам и техническим директорам небольших компаний, филиалов, где необходимо проводить брифинги, круглые столы, обучение сотрудников, но при этом денег на серьёзное оборудование выделять не охота. К сожалению, даже богатые компании не готовы на такие траты. И, если ваш зал не вмещает больше 30 человек, размером 6х12 м максимум, то вы подчерпнёте много интересных моментов.

Многие мои советы могут показаться абсурдными, но они пришли от опыта, который, как известно, сын ошибок трудных. И я сразу прошу любителей поспорить на тему «У меня всё нормально работает и без этого» придержать свои кейсы. Часто это «парадокс выжившего».

Если кратенько, то принципиальная схема зала будет выглядеть примерно так:

Радиосигнал Bluetooth принимается только на близком расстоянии. Однако он не такой безопасный, как принято считать. На самом деле многие Bluetooth-устройства делают человека уязвимым для слежки. Недавно открытые уязвимости позволяют злоумышленнику выполнить скрытное сопряжение, а затем отслеживать местоположение устройства через интернет, а также использовать его как удалённый микрофон для дистанционного прослушивания.

Более того, даже обычное пассивное сканирование окружающей среды — сбор «цифровых крошек» на протяжении недель — раскрывает массу приватных деталей о соседях.

Привет, Хабр! Этот нарядный китайский суперстрат марки Kuruisi достался мне в полностью разобранном виде после взаимовыгодного обмена на хороший комбоусилитель.

Предыдущий владелец посчитал, что доработка данного инструмента не оправдает затрат времени, труда и комплектующих. Так это или нет, мы сейчас узнаем.

Интернет-радио никуда не исчезло, оно просто ушло в сеть. В этом руководстве показываем, как за 15 минут поднять собственную радиостанцию на VPS с AzuraCast: загрузить музыку, настроить эфир, подключить домен и получить API для интеграций.

2 года назад переводил я локальными моделями WoW на русский язык (https://habr.com/ru/articles/818513/) и тут недавно возобновил канал свой на YouTube-ах этих ваших, но выкладывая нарезки со стримов про прогу (https://www.youtube.com/@the_homeless_god). И в тестовом режиме переозвучил видео от Fireship про OpenClaw. Да и на тех же стримах возник концепт про цифровые замещения и аватары.

И вот сижу я и думаю, что, например, владея английским языком смотреть могу видео в оригинале, но, тот же Veritasium смотрел в оригинале всего несколько раз, так как мне ближе адаптационная озвучка от Vert Dider. А я чем хуже? Правильно, мне лень этим заниматься на стабильной основе. Что я могу сделать? Автоматизировать за несколько часов часть процесса, который по-хорошему должен занимать 15 минут, зачем тогда десятый год я программирую?

В общем, статья написана как всегда в стиле (б|в)лога, потому заваривайте чай, мы начинаем писать cli и десктоп для переозвучки с помощью локальных моделей ollama!

Приветствую читателей. Один из моих лучших друзей в детстве заболел отитом, и впоследствии у него сильно снизился слух. Недавно я расспросил, какие устройства он использует, какой уровень комфорта и так далее. Ответы более чем шокирующие.

Для начала предлагаю посмотреть на проблематику: 2 основных кейса, когда слуховые аппараты могут помочь - кондуктивная тугоухость - это когда весь спектр частот снижен по громкости, и нейросенсорная тугоухость - когда человек одни частоты слышит лучше, другие хуже, некоторые не слышит вовсе. То есть в первом случае проблема может быть решена почти полностью, во втором случае все зависит от конкретной ситуации: слуховые аппараты могут помочь лишь частично.

Итого, слуховые аппараты могут помогать следующим образом:

Распознавание речи в реальных условиях представляет собой одну из наиболее сложных задач в области обработки сигналов. Особенно актуальна эта проблема для роботов, которые должны функционировать в разнообразных зашумленных условиях: в толпе людей, на открытом воздухе при сильном ветре, в помещениях с высоким уровнем фонового шума. Традиционные алгоритмы шумоподавления, разработанные для стационарных условий, оказываются неэффективными в таких сценариях.

В данной статье описывается исследовательский проект по разработке и оптимизации алгоритмов цифровой обработки сигналов для обеспечения надежного распознавания речи в экстремальных акустических условиях. В качестве тестовой платформы использована система автоматического распознавания птиц на базе BirdNET-Go, что позволило проводить длительные полевые испытания в естественных условиях с разнообразными типами шумов.

Ключевой задачей проекта был подбор оптимальных алгоритмов фильтрации и их параметров для работы с нестационарным шумом. В процессе исследования были реализованы и протестированы различные подходы к шумоподавлению, включая спектральное вычитание, адаптивные фильтры и алгоритмы на основе минимальной среднеквадратичной ошибки. Особое внимание уделено алгоритму Log-MMSE (Minimum Mean-Square Error Log-Spectral Amplitude Estimator), который показал наилучшие результаты в условиях нестационарного шума.

Выбор птиц в качестве тестового объекта был неслучаен: вокализация врановых (ворон, сойка, сорока, галка, грач) по своим частотным характеристикам близка к человеческой речи, что делает их идеальной моделью для отработки алгоритмов, предназначенных для роботов. Длительные полевые записи в различных погодных условиях позволили собрать обширную базу данных для анализа эффективности различных подходов к шумоподавлению.

Привет, Хабр! До совсем недавнего времени безголовые электрогитары были дорогими и не казались мне чем-то особенно привлекательным. Однако на днях знакомый гитарист купил это чудо на Озоне вместе с чехлом и кучей приятных мелочей по цене чуть дешевле двенадцати тысяч рублей.

Гитара чертовски фонила, хамбакер звучал совсем не так, как хотелось, но главное — музыканту категорически не понравился способ настройки струн имбусовым ключом с задней стороны деки. На сцене это выглядит совсем не по рок-н-ролльному.

У меня всегда припасено много интересностей на обмен, так что этот инструмент теперь мой. После небольшой доработки компактная лёгкая электрогитара Leego LEG-S стала одной из лучших, которые когда-либо ко мне попадали. И я с ней, наверное, уже не расстанусь.

Несколько лет назад мне стало интересно, смогу ли я сделать на обычном 3D-принтере что-то по-настоящему полезное, а не очередную декоративную деталь.

В возможностях самой 3D-печати я не сомневался — вопрос был скорее в том, справлюсь ли я с задачей.

По основной работе я занимаюсь автомобильной акустикой и системами активного шумоподавления. Бинауральная запись и модели головы — область смежная. В лаборатории стоят несколько манекенов, но в реальных проектах они почти не используются. Сделать собственную версию выглядело естественным продолжением интереса к теме.

Профессиональные бинауральные системы стоят сотни тысяч рублей. Формально это корпус, ушные раковины и два микрофона, размещённые в слуховых каналах.

Возник простой вопрос: можно ли собрать работоспособный вариант своими силами и понять, где проходит граница DIY-подхода?

Так появился проект «Голова Бинго».

Всем привет! Меня зовут Александр Григоренко, я фронтенд-разработчик и создатель Web Audio Studio — браузерного инструмента для визуализации и исследования аудиографов на Web Audio API. В этой статье я хочу поделиться историей разработки этого проекта, техническими деталями и особо интересными инженерными вызовами, с которыми я столкнулся в процессе его создания. Кроме того, я выскажу свои мысли о Web Audio API, о том, почему этот стандарт недооценен у веб-разработчиков и что с этим можно сделать (спойлер: во многом ему не хватает хорошего инструментария для разработки и отладки).

Сегодня я выбрал довольно нетрадиционную для публикации на Хабре форму: обзор музыкального альбома с песнями на русском языке. С информационными технологиями его связывают две вещи: это песни про компьютерные игры, а создан он с применением генеративного искусственного интеллекта. Ведь куда же мы теперь без него.

Сейчас в обществе активно разворачивается дискурс о пользе или вреде ИИ как творческого инструмента, и о ценности контента, создаваемого с помощью нейросетей. Мнения полярные и во многом негативные. Родился термин «ИИ-слоп», обозначающий низкокачественный генерируемый в больших количествах контент, и именно ему сейчас посвящено большинство публикаций, а на созданном с применением ИИ творчестве лежит стигма: оно по определению считается недостойным внимания. Думаю, для демонстрации тезиса о том, что нейросеть лишь инструмент в руках человека, и применять его можно по-разному, особенно важно уделять внимание удачным работам.

Альбом, о котором идёт речь, вышел ровно год назад, набрав скромные две тысячи просмотров на YouTube, и можно сказать, прошёл незамеченным. Но лично для меня эта работа стала поворотной точкой в восприятии полезности ИИ как инструмента творческого самовыражения, по крайней мере, в области музыки. Мне кажется важным поделиться с тем, что же такого я в этом нашёл. Попутно расскажу и о таком проявлении современной культуры, как песни про игры, и немного поковыряю палочкой дальний спор о том, являются ли компьютерные игры искусством.

Привет, Хабр! Несколько дней назад мне принесли на доработку очередную электрогитару из Поднебесной, и теперь мы сможем рассмотреть, а также услышать её во всех подробностях.

Кто-то приобретает такие подделки в надежде перепродать, выдав за оригинал, и это нередко получается, судя по сообщениям на многочисленных форумах. Другие стремятся пощеголять «фирменным» инструментом на сцене, на видео либо перед не разбирающимся в вопросе друзьями, родственниками, коллегами или просто окружающими. Третьим просто хочется повесить на стену украшение в виде электрогитары.

Как бы то ни было, инструмент вполне играбелен и неплохо звучит, а также может похвастаться небольшой массой. Ни в коем случае не одобряю подделок, однако констатирую факт, что играть на этом контрафактном изделии можно.

Почти вся современная музыка написана с использованием равномерно-темперированного строя, использование натурального лада (который используется в традиционной (или) неевропейской музыке) или микротонов является очень нишевым, а правила современной гармонии часто не работают (попробуйте найти вменяемые материалы про гармонию в микротональной музыки). Это плохо, так как композиторам приходится опираться, в первую очередь, а своё ухо, а не на какую-то математическую модель. Особенно плохо то, что система записи музыки оторвана от физической модели звука.

ASR-системы в проде - это тяжёлые, специализированные решения под конкретные сценарии. Но что делать, если нужен универсальный инструмент, который умеет распознать длинное аудио, диаризовать спикеров, обработать пачку файлов и при этом не требует целого GPU кластера?

В этой серии статей я разбираю, как собрать «швейцарский ножик» для распознавания речи на базе Whisper: выбрать модель, победить галлюцинации, стабилизировать обработку длинных аудио и выжать максимум из обычной видеокарты.

Первая часть - про выбор ASR, оптимизацию инференса и практические грабли, с которыми сталкиваешься, когда пытаешься превратить open-source модель в рабочий инструмент.

Всем привет! Знаете это чувство, когда ты ищешь решение какой-то конкретной проблемы, а находишь целое новое хобби? Вот у меня примерно так и вышло.

Как значит было дело. Сидел я, как обычно, никого не трогал, починял примус... а если конкретнее - делал небольшую игру-платформер. Задумка была в том, чтобы она была процедурно-генерируемой, причем я хотел чтобы все уровни генерировались через большую...