Comments 15
Мониторить по писку можно разве что один домашний ПК
Кластер из 4 мак студио слышимо пищит-свистит на инференсе, подтверждаю. И характер звука у префилла и декода существенно отличаются.
RTX 3090 ещё как пищит
Кстати давно во времена Win98 была ещё такая тема, что в динамике, подключённом в звуковой выход материнской платы, слышались фоновые шумы во время передвижения мыши (акустическое эхо работы электроники)
Геймеры знают про писк дросселей если не с первого дня появления 3D-ускорителей, то точно с момента появления мощных видеокарт. Когда запускаешь игруху, разработчики которой не ограничивали FPS на загрузочном экране, получаешь over9000 кадров в секунду и визжащую как стадо комаров видеокарту. Потом как-то это проблема ушла, когда разработчики научились ставить лимитер по-умолчанию, но снова объявилась с появлением возможности гонять нейросети локально.
RTX A5000 и RTX A6000, обе под водяным охлаждением, 0 писка.
У меня ничего не пищит, но и кулеры всех компов изрядно шумят.
А может сделать проектик - берем показания загрузки, те самые которые получает gpu-z, и на их основе строить некие звуки? Да хоть щебетания птичек. В реалтайме там очень быстро все меняется, и нужно быстро опрашивать, но как то модулировать звуки или музыку этим уже можно. А то и сделать некий синтезатор на этом принципе. Тогда получится не только с видеокарты такое снимать, но и с cpu-inference. И загрузка vram и ram, загрузка дисков...
Ну в общем это будет звуковой аналог gpu-z, по сути. Трещит щебечет в колонках, басы добавились - о, диск нагружается, много высоких - значит скоро кончит генерацию, часть экспертов отработала и стоят.
Главная тема не раскрыта - пищала ли модель дросселями, когда генерировала эту статью.
Забавное наблюдение с acoustic side-channel, и аналогия с RSA по звуку CPU тут совершенно уместна - это тот же класс атак, просто с гораздо более безобидной полезной нагрузкой. По поводу мониторинга по писку - согласен, что это тупиковая идея для продакшена, но не столько из-за цены, сколько из-за грубости сигнала: частота коил-вайна зависит от load transient в VRM, а не от типа операции, так что отличить матричное умножение от любой другой рваной нагрузки GPU по одному пику в спектрограмме не выйдет, максимум - бинарный индикатор "считает / не считает". Зато как дешевый sanity-check на своей машине идея рабочая: если пищит подозрительно долго и без пауз, скорее всего где-то залип процесс или крутится бесконечный цикл, и это быстрее, чем каждый раз открывать htop. Пункт про presbycusis и снижение слышимости после сорока лет тоже подтверждается - разброс между людьми там правда большой, так что "никто не слышит" действительно ничего не доказывает.
Моя RTX 5070Ti не то, чтобы пищит - скорее еле слышно гремит в моменты рендеринга веб-страниц в браузере.
Хех, когда ещё до эпохи нейросетей, на обычном PC AT, делал персептрон - памяти не хватало почему-то. Идея - использовать память видеокарты (поле адресов было общим, если кто помнит).
Так вот, если не отключить видеосигнал, на экране можно было визуально наблюдать процесс обучения. Тормозило при этом нещадно, но очень уж любопытно было наблюдать. Народ толпами собирался посмотреть - ну, как на костёр или волны.
Я слышу, как модель думает