Я слышу, как модель думает

[vasnov]

Мониторить по писку можно разве что один домашний ПК

[VsBirdEye]

Кластер из 4 мак студио слышимо пищит-свистит на инференсе, подтверждаю. И характер звука у префилла и декода существенно отличаются.

[alan008]

RTX 3090 ещё как пищит

[alan008]

Кстати давно во времена Win98 была ещё такая тема, что в динамике, подключённом в звуковой выход материнской платы, слышались фоновые шумы во время передвижения мыши (акустическое эхо работы электроники)

[dky]

В моих случаях это лечилось отключением неиспользуемых аудиовходов.

[V1tol]

Геймеры знают про писк дросселей если не с первого дня появления 3D-ускорителей, то точно с момента появления мощных видеокарт. Когда запускаешь игруху, разработчики которой не ограничивали FPS на загрузочном экране, получаешь over9000 кадров в секунду и визжащую как стадо комаров видеокарту. Потом как-то это проблема ушла, когда разработчики научились ставить лимитер по-умолчанию, но снова объявилась с появлением возможности гонять нейросети локально.

[ToxaBes]

RTX A5000 и RTX A6000, обе под водяным охлаждением, 0 писка.

[Moog_Prodigy]

У меня ничего не пищит, но и кулеры всех компов изрядно шумят.

А может сделать проектик - берем показания загрузки, те самые которые получает gpu-z, и на их основе строить некие звуки? Да хоть щебетания птичек. В реалтайме там очень быстро все меняется, и нужно быстро опрашивать, но как то модулировать звуки или музыку этим уже можно. А то и сделать некий синтезатор на этом принципе. Тогда получится не только с видеокарты такое снимать, но и с cpu-inference. И загрузка vram и ram, загрузка дисков...

Ну в общем это будет звуковой аналог gpu-z, по сути. Трещит щебечет в колонках, басы добавились - о, диск нагружается, много высоких - значит скоро кончит генерацию, часть экспертов отработала и стоят.

[Solmik]

В городе Муром есть музей компьютерной техники, там стоит музыкальный инструмент собранный из флоппи-дисководов 3,5 дюйма

[Moog_Prodigy]

Ну с дисководами я и сам игрался. Тут дело не в том, как воспроизводить звуки, а как озвучить процесс "думания" LLM.

[al_bozo]

Главная тема не раскрыта - пищала ли модель дросселями, когда генерировала эту статью.

[jtprogru]

ДА! Во время ембеддинга правок точно пищала

[Aliandwa]

Моя RTX 5070Ti не то, чтобы пищит - скорее еле слышно гремит в моменты рендеринга веб-страниц в браузере.

[Bedal]

Хех, когда ещё до эпохи нейросетей, на обычном PC AT, делал персептрон - памяти не хватало почему-то. Идея - использовать память видеокарты (поле адресов было общим, если кто помнит).

Так вот, если не отключить видеосигнал, на экране можно было визуально наблюдать процесс обучения. Тормозило при этом нещадно, но очень уж любопытно было наблюдать. Народ толпами собирался посмотреть - ну, как на костёр или волны.