Звук

Обычно, когда говорят про чиптюн, вспоминают звуковой чип SID на Commodore 64, или же Амигу и её MOD-файлы. Если речь про ПК, это будет тот же MOD и его наследники в лице форматов XM и IT. Но в истории программ для MS-DOS был один краткий музыкальный период совершенно другого рода. Он одновременно родственен и самому ПК, и чиптюну на 8-битках, и компьютерам практически с другой планеты, многочисленным японским ПК — небольшая, малоизвестная, замкнутая на саму себя и параллельная всему и вся вселенная.

Речь пойдёт про AdLib-совместимые звуковые карты, их историю и наследие, устройство местного звукового синтезатора, разные подходы к созданию музыки с его помощью, и про программы-трекеры для создания таковой музыки.

Для комфортной и безопасной жизни в современном обществе требуется автоматизация. Это самая автоматизация нужна, чтобы выполнять рутинную монотонную работу, исключить человеческий фактор, обезопасить другое оборудование и сделать комфортные условия для людей, животных, растений или техники.

Когда собирают систему автоматизации думают о том, как измерить, как управлять и как регулировать какой-то параметр. Для индикации значения параметров часто используют индикаторные лампочки, дисплеи и сообщения на телефон. На все эти индикаторы нужно обратить внимание, посмотреть на индикатор или дисплей. Но если это аварийный параметр или нужно сообщить сразу нескольким людям, тогда нужен другой более оперативный способ индикации. Один из способов, это как в фильмах ужасов, выключить основной свет и включить красные фонари, ещё и мигающие. На этот световой эффект точно все обратят внимание. Но есть способ лучше и менее тревожный – это звуковое оповещение. Чем бы не занимался персонал и как часто не смотрел на дисплеи, звуковое оповещение точно донесет оперативную информацию. Если аудио оповещение сделано правильно, то не услышать его может только глухой. Когда собирают систему автоматизации не всегда задумываются об функции аудио оповещения. Сообщать можно не только об аварийных ситуациях, но и об текущих процессах, например, переключение режима работы технологического процесса.

Какие устройства оповещения можно применить для этих задач? Один из элементов автоматизации, позволяющий озвучить необходимые процессы — это модуль аудио оповещения DAO2ERA.

Мы продолжаем рассказывать про краткую историю биометрии. И нам осталось рассказать о распознавании голоса человека. 

Историю биометрии голоса обычно начинают с мейнфрейма AUDREY (Automatic Digit Recognizer), созданного в 1952 году в Bell Labs). Голоса разных людей он еще не распознавал, но уже их слышал, что по тем временам казалось чудом. Это устройство для «слышания» номеров, как писали в СМИ и рассказывали о ТВ, может избавить от необходимости набирать номер, но оно работает только при четком произношении цифр номера одну за другой. 

В далёком 2001 году я впервые увидел Linux и понял, что это моё. Шли годы, менялись дистрибутивы и мои требования к ним, но вот недавно я решил закрыть гештальт и научиться играть на электрогитаре.

Покопавшись в интернете, наткнулся на кучу обзоров гитарных процессоров, комбиков и программ-эмуляций. Как это часто бывает, крутые коммерческие продукты есть под Windows и Mac, а вот про Linux как-то снова забыли.

В принципе, это нормально — иметь две системы под разные нужды. Но иногда очень не хочется перезагружаться, и я решил попробовать настроить свой Manjaro под работу со звуком. Мои первые эксперименты с JACK во времена 4 рубля за мегабайт закончились неудачей, а вот сейчас и знаний, и терпения хватило.

Моя система: Manjaro Linux, KDE, Wayland. Аудиоинтерфейс Motu M2.

Привет, Хабр! Я Стас, инженер-программист в Контуре. И это большая статья про экстрим-вокал. 😎🎸 Разбираю, что это такое, какие бывают техники, каким был мой путь туда, что за горе-преподаватели существуют и как увлечение экстрим-вокалом влияет на мою работу в IT (и наоборот: как айти помогает мне в моём увлечении).

CosyVoice3 — одна из лучших open source TTS моделей, но LLM-часть на PyTorch работает медленно. Я добавил llama-cpp-python бэкенд с GGUF квантизацией — RTF упал с 1.17 до 0.45, ускорение 2.6x на T4. Установка одной командой, никакого Docker.

Привет, Хабр! Мне принесли на доработку очередной инструмент из Поднебесной, оформленный в узнаваемом стиле Ibanez JEM — подписной электрогитары Стива Вая. Не одобряю воровство дизайнов, просто констатирую очевидный факт.

Изделие оказалось весьма красивым и достаточно качественным, но для достижения приемлемой играбельности потребовался некоторый объём работ, что неудивительно для недорогих инструментов.

На самом деле, в стоимость продукции более престижных конкурентов, кроме всего прочего, включена предпродажная подготовка у дилера, которую может потребоваться повторить, и не раз, учитывая реакцию древесины на климатические условия и их изменения.

Первая часть цикла описывала историю появления в компьютерных играх человеческой речи, различные технологии её реализации: синтез, запись и воспроизведение. Во второй части я рассказал о том, как простые голосовые вставки эволюционировали в примитивные вокальные партии в игровой музыке, совмещающие фрагменты человеческого голоса и синтетическое музыкальное сопровождение.

С приходом эпохи мультимедиа всё стало значительно проще: появилась возможность воспроизводить любой звук высочайшего качества с компакт-диска с большой продолжительностью, в том числе и песни. Это время тоже представляет интерес, если не технологический, то художественный и ностальгический. Об этом и пойдёт речь в третьей, завершающей части цикла: вспомним лучшие оригинальные песни в играх 1990-х годов и немного заглянем в 2000-е.

Всем привет! Музыку я люблю всю жизнь. Сам всегда хотел научиться играть на каком‑нибудь инструменте — пробовал гитару, клавиши, даже барабаны — освоил в итоге только варган. Зато с генерацией музыки нейросетями дело у меня пошло сразу. Написал в своё время один из первых на русском гайдов по Udio, недавно собрал платформу для лайвкодинга музыки с ИИ‑агентом. За опенсорсом в этой теме тоже слежу — щупаю каждый раз как что‑то новое появляется. Но после Suno слушать их обычно невозможно. Уровень «ну ок, оно звуки издаёт, и это тоже достижение».

В конце марта, когда на одном из моих стримов мы смотрели обзоры на свежую тогда ACE‑Step 1.5 — опенсорсную модель от команды StepFun. Посмотрели примеры, послушали что люди нагенерировали — и я решил что это хрень не достойная внимания. Вокал мычит, куплет примерно похож на куплет, по качеству — где‑то уровень Suno v3.5, то есть позапрошлогодний Suno. Даже скачивать не стал. Подумал: ну опенсорс и опенсорс, подождём когда научится.

И оно научилось! Уже через пару недель ACE‑Step выкатили версию XL.

Если вы хоть раз гуглили бинауральную запись, то натыкались на странную вещь:
искусственная голова с микрофонами стоит — от нескольких тысяч до миллионов рублей.

И это довольно быстро вызывает диссонанс.

С одной стороны — идея выглядит почти тривиально:
два микрофона, размещённые в «ушах».

С другой — ценник, как у сложного лабораторного оборудования.

Интуитивно ожидаешь уровень «два хороших микрофона».
На практике — подержанная машина.

Рынок HATS — один из немногих в аудиоиндустрии, где цены растут быстрее, чем меняются технологии.

Отсюда возникает простой вопрос:

что это вообще за рынок и за что там платят?

Я как раз разбирался в этом, пока делал свою «Голову Бинго»,
и заодно разложил по полочкам:

— из чего складывается цена
— почему разброс такой большой
— и почему между «игрушкой» и «лабораторией» почти ничего нет

Введение: Звучащие кувалды

Представьте, что вы часто ходите мимо кузницы. Кузнецы бьют молотами по наковальне, и вдруг вы замечаете странную вещь: одни молоты звучат вместе красиво, слитно, а другие — противно, вразнобой. Так, согласно легенде, Пифагор пришёл к открытию, которое положило начало теории музыки . Он принёс молоты в лабораторию и взвесил их. Оказалось, что веса молотов, дающих красивое сочетание (консонанс), соотносятся как простые числа 2:1, 3:2 и 4:3 . Так родилась главная идея западной музыки: «Красивое звучание — это простое математическое отношение».

Связь музыки и математики оказалась на удивление прочной. На протяжении всей истории она вдохновляла не только теоретиков, но и практиков. Чешский математик Эразм Горицкий применял геометрию для деления музыкальных интервалов. Иоганн Себастьян Бах своей музыкой и самим названием сборника «Хорошо темперированный клавир» закрепил победу нового строя. А в XX веке композитор и архитектор Янис Ксенакис переносил в музыку теорию множеств и случайных процессов. Даже великий оперный певец Джером Хайнс публиковал математические работы.

Исследования в этой области продолжаются и сегодня, в том числе в России. Например, современные российские исследователи разрабатывают комплексные математические модели музыки, используя теорию множеств, теорию вероятностей и теорию групп для анализа и моделирования музыкального творчества.

Проследим эту историю шаг за шагом и посмотрим, как математика постепенно формировала то, что мы сегодня называем музыкальной гармонией.

Привет, Хабр! Знакомый энтузиаст приобрёл гору китайских комплектующих для электрогитары и попросил у меня помощи с её сборкой, так как детали имели некоторые особенности и не совсем подходили друг к другу.

Увлекательный процесс работы и получившийся музыкальный инструмент теперь можно рассмотреть, послушать и оценить.

Инженер-программист и робототехник Скотт Лоусон рассказал о своём проекте светодиодных лент, которые реагируют на музыку, учитывая паттерны человеческого зрительного восприятия.

Сегодня (12 апреля) в проект llama.cpp залили PR, который добавляет новый функционал - работа с audio.

Речь идёт о поддержке моделей Gemma4, которые умеют распознавать речь:

https://huggingface.co/google/gemma-4-E4B-it

Вопрос генерации со своим голосом занимал меня с v3.5. Другая интересная тема — аранжировка. Если не в обычном виде (на входе стиль и аккорды, на выходе “минус”), то способом обновления, “раскраски” черновика (mp3 из GM MIDI, Audio Upload, режим Cover). За пару лет я сделал много тестов, результаты представлял на Хабре, своём сайте, в Телеграм-канале. Последнее обновление Suno — повод снова вернуться к этим вопросам.

Свой голос

Как только версия 5.5 стала доступна, приступил к тестам опции “Your Voice” ¹⁾, опираясь на опыт с Suno v3.5 и RVC. Собрал 11 DS (голосовых наборов) на своём материале. Задача — проверить, как реагирует система на разный исходный материал, стили и параметры генерации.

¹⁾ Ссылка на процедуру “Your Voice” (PDF на русском) из раздела Help на сайте Suno.

Уже не раз касался понятий тембр и манера с психоакустической точки зрения. Нынче повод вернуться к теме: можно говорить похоже или нет, но чтобы контролировать, надо понимать механику.

Для синтеза вокала Suno (или другому ИИ) нужно обеспечить 3 компонента:

Тембр, или «окраска» звука, зависит от “геометрии” голосового аппарата: трахея, гортань, связки, резонаторы.(Певцы, артисты могут в определённой степени его менять. У родственников голоса часто похожи — физиология).

Интонация — изменения высоты (мелодия) + нюансы: вибрато, опевания, “подъезды” (Pitch curve).

Артикуляция — работа языка, нёба, челюсти, губ, обеспечивающая произнесение/ пропевание слов.

Именно разделение на 3 компонента придаёт гибкость системе: берём модель тембра, добавляем интонирование в нужной манере и соответствующую языку артикуляцию. Хотите на хинди? Пожалуйста!

Многие наверняка сталкивались с проблемой: смотришь по ТВ спокойный фильм, который прерывается резкой и громкой рекламой; или, например, при общении по ВКС всех собеседников слышно нормально, но у кого-нибудь одного микрофон будет шуметь так, будто он в данный момент находится рядом с двигателем самолета, готовящегося взлетать. Конечно, всегда можно подрегулировать громкость динамиков, но всегда ли это удобно и возможно?

Suno генерирует музыку по текстовому описанию, но без правильной разметки результат — каша. Разобрал систему промптов: метатеги [Verse], [Chorus], [Drop], музыкальные термины для поля Style, рабочие комбинации жанров и то, чего Suno не умеет и не стоит ждать. Готовые шаблоны для копипасты внутри.

Привет, Хабр! В мире электрогитар существует великое множество разнообразных педалей перегруза, но далеко не каждой из них посчастливилось войти в золотой фонд классики жанра.

У Fulltone OCD это получилось. Несмотря на относительную молодость данной модели эффекта, она весьма широко востребована. Аутентичные оригиналы обладают большой коллекционной ценностью, а переиздания, клоны и вариации на тему просто заполонили рынок гитарного оборудования.

Это первая статья из серии, про программы для Game Boy (DMG/CGB), эксплуатирующие идеи модульного синтеза и секвенсинга.

Я рассказываю в ней про попытку написать реализацию Rungler Circuit для Nintendo Game Boy.

Спойлер: Никаких банальных ИИ-оберток, где текст конвертируется в звук через API. Только хардкорная хирургия нейросетей, кросс-модальные мосты и перехват мыслей LLM в реальном времени.

За последний год Hugging Face превратился в конвейер одинаковых проектов: берем Llama/Gemma, прикручиваем к ней интерфейс на Gradio, называем это стартапом. Мы для нашего виртуального музыкального артиста Livadies решили пойти другим путем. Мы задались вопросом: как звучит чистая мысль нейросети, если не переводить ее в текст? И как звучит математическая геометрия доисторического камня или кожи рептилии?

Чтобы это выяснить, нам пришлось вскрывать архитектуры SOTA-моделей и сшивать их напрямую на уровне тензоров. Вот два наших главных инженерных эксперимента.