Я слышу, как модель думает

[vasnov]

Мониторить по писку можно разве что один домашний ПК

[VsBirdEye]

Кластер из 4 мак студио слышимо пищит-свистит на инференсе, подтверждаю. И характер звука у префилла и декода существенно отличаются.

[alan008]

RTX 3090 ещё как пищит

[alan008]

Кстати давно во времена Win98 была ещё такая тема, что в динамике, подключённом в звуковой выход материнской платы, слышались фоновые шумы во время передвижения мыши (акустическое эхо работы электроники)

[dky]

В моих случаях это лечилось отключением неиспользуемых аудиовходов.

[V1tol]

Геймеры знают про писк дросселей если не с первого дня появления 3D-ускорителей, то точно с момента появления мощных видеокарт. Когда запускаешь игруху, разработчики которой не ограничивали FPS на загрузочном экране, получаешь over9000 кадров в секунду и визжащую как стадо комаров видеокарту. Потом как-то это проблема ушла, когда разработчики научились ставить лимитер по-умолчанию, но снова объявилась с появлением возможности гонять нейросети локально.

[ToxaBes]

RTX A5000 и RTX A6000, обе под водяным охлаждением, 0 писка.

[Moog_Prodigy]

У меня ничего не пищит, но и кулеры всех компов изрядно шумят.

А может сделать проектик - берем показания загрузки, те самые которые получает gpu-z, и на их основе строить некие звуки? Да хоть щебетания птичек. В реалтайме там очень быстро все меняется, и нужно быстро опрашивать, но как то модулировать звуки или музыку этим уже можно. А то и сделать некий синтезатор на этом принципе. Тогда получится не только с видеокарты такое снимать, но и с cpu-inference. И загрузка vram и ram, загрузка дисков...

Ну в общем это будет звуковой аналог gpu-z, по сути. Трещит щебечет в колонках, басы добавились - о, диск нагружается, много высоких - значит скоро кончит генерацию, часть экспертов отработала и стоят.

[Solmik]

В городе Муром есть музей компьютерной техники, там стоит музыкальный инструмент собранный из флоппи-дисководов 3,5 дюйма

[al_bozo]

Главная тема не раскрыта - пищала ли модель дросселями, когда генерировала эту статью.

[WordEngineer]

Забавное наблюдение с acoustic side-channel, и аналогия с RSA по звуку CPU тут совершенно уместна - это тот же класс атак, просто с гораздо более безобидной полезной нагрузкой. По поводу мониторинга по писку - согласен, что это тупиковая идея для продакшена, но не столько из-за цены, сколько из-за грубости сигнала: частота коил-вайна зависит от load transient в VRM, а не от типа операции, так что отличить матричное умножение от любой другой рваной нагрузки GPU по одному пику в спектрограмме не выйдет, максимум - бинарный индикатор "считает / не считает". Зато как дешевый sanity-check на своей машине идея рабочая: если пищит подозрительно долго и без пауз, скорее всего где-то залип процесс или крутится бесконечный цикл, и это быстрее, чем каждый раз открывать htop. Пункт про presbycusis и снижение слышимости после сорока лет тоже подтверждается - разброс между людьми там правда большой, так что "никто не слышит" действительно ничего не доказывает.