Всех приветствую! Я тут человек новый, но про Хабр наслышан давно — частенько находил здесь полезную информацию на самые разные темы. Компы, видеоигры и технику люблю с детства. Есть в ковырянии с железом и софтом что-то успокаивающее (хоть и не всегда, особенно когда в процессе что-то упорно не получается).
В тему ИИ я залетел совершенно случайно. Я никакой не кодер, и кроме пары строк в OpenWrt по SSH особо ничего никогда не писал. Максимум — в свое время разбирался, как прошить PSP или накатить Cydia на iPhone, чтобы поставить какой-нибудь колхозный мод, где зажимаешь иконки на экране, а потом трясешь телефон, и они сыплются как кубики.
Последние пару лет выдались для меня максимально тяжелыми. Я потерял почти всё материальное, за что держался годами, и оказался в режиме простого выживания. Привычные цели перестали цеплять, а свободного времени и тишины вокруг стало слишком много. И в один из дней меня зацепила тема ИИ — я решил начать с простого: с обсуждений в бесплатном чате GPT обо всем и ни о чем.
От ностальгии по Winamp до 30-минутного прототипа
За много лет я скопил большую музыкальную библиотеку, преимущественно офлайн. Она шла со мной через годы: от мелких mp3-плееров до первых переносов в iTunes с долгим поиском обложек, текстов и прочего. Скорее, во всей этой истории мне нравился сам процесс и тот уютный результат, когда ты включаешь трек, а на экране красуется правильная обложечка и текст.
И вот однажды появилась простая мысль: а почему бы не сделать плеер для себя? Как я уже сказал, в коде я полный ноль, но под рукой есть нейросети — решил попробовать. Поставил Codex, оформил подписку, и началось мое 80-дневное путешествие в мир чего-то непонятного, крайне интересного и местами по-настоящему удивляющего.
Я вспомнил легендарный Winamp: как приходил к однокласснику после уроков и залипал на эту бесконечную простыню треков и кислотные темы, которые можно было менять под настроение. А потом в какой-то момент я засмотрелся на заставку Aerial на своем ТВ-боксе — и в голове что-то перемкнуло. Я сам не заметил, как начал двигаться именно в эту сторону: захотелось объединить удобный локальный плеер и живой, атмосферный фон.
Первые прототипы я накидал достаточно быстро, наверное, минут за 30. Они умели только воспроизводить видеофайл и всё. Я пообщался в чате с агентом и решил для начала сделать простой нейтральный фон, куда можно удобно закидывать файлы через drag-and-drop и просто пользоваться плеером.

Так выглядит Aureon сейчас. Внизу — панель воспроизведения, основную часть окна занимает живая сцена.
Как рождались визуальные сцены и «механика атаки»
Самая первая сцена — Orbital Dawn — была вдохновлена интро из Mass Effect 2 и реализована на QPainter. На тот момент она выглядела впечатляюще, но вскоре захотелось больше глубины, объёма и выразительного света. Следующим шагом стала Orbital Sun.
Промпт был совершенно простым: сделать горизонт планеты и солнце, которое бликует из-за него. Формально это была переработанная первая тема. Чтобы получить красивые блики, нейросеть (модель-ассистент Astra) предложила пустить солнце по орбите. В первой ревизии оно просто поднималось вверх и заливало светом всю сферу. И вот тут родилась первая настоящая механика — механика атаки. Мы решили искусственно ограничить диапазон движения солнца, чтобы от басов и общего темпа трека оно подсвечивало только определенную часть горизонта и задавало живую пульсацию. В дальнейшем я еще не раз вдохновлялся играми, обложками музыкальных альбомов и просто случайными артами из сети.

Orbital Sun. Горизонт планеты, солнце и блик, вокруг которых развивалась музыкальная реакция.
А вот флагманская сцена Aureon Satellite появилась вообще спонтанно. Эта лавообразная планета изначально была обычной сферой в теме Stellar Horizon. Именно на сцене со спутником я проводил основную калибровку музыкальной реакции.

Aureon Satellite. На панелях спутника видны спектральные визуализаторы.
Самый ранний прототип звукового отклика был совсем простым: всего 8 частотных полос и довольно скромный набор параметров для управления сценой. В актуальной версии анализатор декодирует звук через FFmpeg и рассчитывает уже 64-полосный спектр, из которого в контроллер сцены уходит 32 значения (и 8 укрупненных зон для базовых реакций). Для понимания масштаба: за три минуты трека через анализатор проходит около 23 МБ декодированного PCM-звука, а основные рассчитанные признаки за это время занимают около 2,5 МБ до сжатия, плюс события атак. В связке с развитием рендерера и формата AURS это дало мощный толчок для реализации сложных шейдерных эффектов, работы с геометрией и нестандартных решений.
Архитектура «папа-мама», формат .aurs и тупик с RTX 3070
По мере создания новых тем я подумал, что неплохо было бы иметь свою унифицированную архитектуру. Это как стандартный разъем «папа-мама» в машине: ты можешь не знать всех деталей его устройства, но точно знаешь, как он выглядит и как защелкивается. И по логике эта простота должна работать безотказно.
Так появился формат .aurs (и позже .aurp для отдельных проекций) — по сути, обычный ZIP-архив, внутри которого лежат JSON-конфиг, PNG-текстуры, превью, геометрия и шейдеры. Первая реализация AURS была заточена под полноэкранный фрагментный шейдер OpenGL. Для некоторых сцен этого хватало, но на Neon Rain (простом эквалайзере в ночном парке среди домов, с дождем и лужами) я столкнулся с пределами такого подхода в своей реализации: сцена буквально клала на лопатки и роняла FPS даже на моей RTX 3070 в 2K.

Neon Rain. Анимированное превью сцены из каталога. Это иллюстрация её внешнего вида, записанная отдельно от описанного раннего теста производительности.
Пришлось копать глубже. В процессе поиска референсов я наткнулся на библиотеку PyQtGraph, и она натолкнула меня на идею: а что, если сделать гибрид и выстраивать объекты сцены по нормальной геометрической сетке, а не рисовать всё «в лоб» тяжелым полноэкранным шейдером? В итоге саму библиотеку в продакшн-стек тащить не стали — геометрический рендерер реализовали напрямую через Qt и OpenGL, но именно эта идея дала правильный вектор. Формат .aurs начал активно расти. К тому моменту с Astra я уже пересел на Sol, а лимиты подписки за $20 сгорали с бешеной скоростью.
При этом визуал далеко не с первого раза попадал в цель. Приходилось постоянно допиливать мерцающие текстуры, записывать видео с экрана, делать раскадровки — и даже на кадрах нейросеть не всегда видела артефакты. Это отнимало кучу времени, сжигало лимиты, и очередная итерация снова вела в тупик: меня даже статичная картинка еще не устраивала, а мы ведь даже не приступали к музыкальной реакции.
Именно тогда я понял, что нужны жесткие рамки: собственные инструкции (спецификации/Skill) и базовая библиотека. Первичную библиотеку и правила для нейросети я накидал довольно быстро — и после этого разработка вышла на совершенно другой уровень.

Пример более поздней Hybrid-сцены — Desert World. Геометрия формирует ландшафт, фоновый шейдер рисует небо. На кадрах показан один мир в разное время суток.
Тест на «картофельном» железе и 79 медиаобразцов
Собрав первую сборку, я решил ее потестить. Попросил младшего братишку: он во времена больших вычислительных мощностей играет в Deadlock в 20 FPS и рад, что у него вообще есть старенькая GTX 1050 на 2 ГБ. Первый запуск прошел просто никак — ни одна из тем не заработала, плюсом отвалился и сам формат .aurs. Я собрал логи, и начались правки. Много правок.
После этого запуска стало очевидно, что нужно дать пользователю возможность настраивать графику прямо внутри приложения, чтобы плеером можно было пользоваться даже в «картофельном» варианте (и добавить автокалибровку). Всё-таки визуальные сцены — история опциональная. Где вы еще видели аудиоплеер с настройками графики? 😁

Настройки графики внутри плеера. Можно выбрать профиль качества, изменить параметры вручную и запустить автокалибровку.
Дальше началось очень много дней рутинной работы:
прогон на 79 медиаобразцах (55 видео и 24 аудио — от FLAC 192 kHz до 10-bit AV1 и ProRes), проверка субтитров и восстановления сессии;
обкатка API, спецификаций Skill и гайдов для создания кастомных сцен;
перенос на кроссплатформу (Windows, Linux и macOS) через установку виртуальных машин и тесты на реальном железе (включая старые ноутбуки и MacBook на M4 Pro).
Итоги
В итоге после долгих дней за компом и более чем 400 сборок получился Aureon — плеер, который стабильно работает (по крайней мере, на всех конфигурациях, до которых я смог дотянуться) и которым я сам пользуюсь регулярно.
Что конкретно поражает в наше время: имея просто желание, свободное время и более-менее нормальное железо, можно без профильного опыта делать вполне рабочие и прикольные вещи. В процессе час за часом, день за днем летели незаметно. И когда ты наконец приходишь к результату, который работает так, как ты задумал, — на душе становится как-то по-настоящему приятно.
Буду рад, если кому-то плеер тоже зайдет или пригодится. Если захотите погонять его на своем железе (особенно на Linux или macOS) и напишете о найденных багах — буду только благодарен.

