Сборка дешевого домашнего вычислительного кластера на двух процессорах и 6 «почти» RTX3080

[tr0llcr4ck]

https://disk.yandex.ru/d/6KddNGv5h-GA4w Результаты бенчмарков

[tr0llcr4ck]

https://disk.yandex.ru/d/6KddNGv5h-GA4w Результаты бенчмарков

[denis_iii]

Проблема у всех аналогичных систем, что "жрут" в простое не мало ЭЭ. Видеодрайвер в режиме вычислений не дает уводить систему в сон хотя бы на ночь. В итоге КПД использования остается невысоким (при активной работе в пару часов). А летом – еще плюс и кондиционер, если лето жаркое. В общем, сон системе очень бы не помешал, и этот вопрос часто остается за кадром.

[tr0llcr4ck]

в смысле за кадром? вы внимательно читали? я прямо описал как уводить систему в P8 путем снижения mem clock. потребление 10-15 ватт на карту и 15 ватт оба процессора.

[tr0llcr4ck]

плюсом, никто не мешает сделать shutdown и wake-on-lan, если уж хочется устойчивые 0 Вт иметь и экономить 1000 рублей в месяц.

[sav13]

Карты вроде как "майнинговые"
Реально какие то модели LLM загружали?
Какую максимальную модель можно загрузить в такой "объединенный кластер" с приемлемым временем отклика?
Если система должна работать в умном доме, какой смысл в ручном переводе ее в пониженный режим или вообще держать выключенной? ведь в умном доме система должна быть всегда готова к выполнению команды?

[tr0llcr4ck]

любая модель которая запускается в Ollama и vLLM нормально распределяется по картам. отклик модели qwen3.5:35b мгновенный.

Выключение и перевод P-state можно на любое действие закрепить скриптом, вплоть до восстановления автоматического ухода в P8 вне сильной активности. умному дому не надо быть всегда в режиме сверх рассуждения, да и вообще он на проце может крутиться. а модель с тобой общаться когда ты дома и когда распознавалка, например, речи скомандует перейти на усиленный режим.

LLM, нужна только для размышлений. слушать обращение от пользователя может другой сервис, который много не жрет. он и будет триггерить переход в P0. Мультимодальный Vosk например вообще на ноутбуке старом у меня жил.

это все теория. вряд ли я на практике буду связывать свой локальный УД с этим. разве что ради опытов

[dsprts]

Купил смр50 поиграть в какие нибудь игры. Играл последний раз лет 15 назад. Никак руки не дойдут кондеры допаять