Комментарии 8
а вот что вижу я:
1) несмотря на то что разъём для кластеризации выглядит как *SFP* он проприетарный вендорлокнутый
2) зная невидию софтварная часть для этой штуки вполне возможно будет прибита гвоздями к одной конкретной версии ядра в одном конкретном дистрибутиве и не будет распространяться свободно как уже было с некоторыми ускорителями от них же
ну и дальше всё в том же духе
я конечно искренне надеюсь что ошибаюсь, но сомневаюсь в этом..
Практических бы результатов... типа "запустили на этой вундервафле / кластере из двух вундервафель полный недистилированный Дипсик, получили столько-то ток./с" или "попытались, но не взлетело потому-то". Я так понимаю, пока оно в массовую продажу не поступило, так что ждём-с.
Более интересна DGX Station, особенно цена, понятно что дешево не будет, но интересно насколько оно "недешево".
И конечно как написали выше хотелось бы понять предел этой штуки, получится ли запустить полную версию DeepSeek R1(а ведь скоро R2 выйдет). Как работает кластер из двух таких штук, насколько часто будет обновляться ОС. Можно ли поставить чистую убунту и драйвера отдельно.
Сама по себе железка выглядит круто и достаточно дешево. Фактически это цена топового ноутбука или стартовой комплектации мак-студио. А по характеристикам просто монстр(хотя опять же вопрос, может мак-студио и быстрее будет, сравнивать бумажные цифры у меня получается плохо)
Интересно, что 1000 TOPS примерно 500 TFLOPS - за 175 Вт = 0,35 Вт / TFLOPS
Новейшая 5090 выдает 100 TFLOPS за 500 Вт = 5 Вт / TFLOPS
То есть эта штуковина имеет энергопотребление в 5 / 35 = 14 (!) раз меньше на 1 TFLOPS, чем топовая видеокарта!
И по цене дешевле 5090 в примерно 4-5 раз...
[Революция???]
Нет, это проходная штука, у неё низкая пропускная способность RAM, порядка 250 ГБ/с. У 5090 в 7 раз выше. Для инференса нейронок самое выгодное это mac studio, где до 512 ГБ памяти и 900 ГБ/с Или тот же AMD Strix 395+, он раза в два дешевле будет поделия от невидии при той же памяти.
Можно ещё на двуслотовой серверной материнке собрать на эпиках, там можно получить 500 ГБ/с на памяти при чуть большой стоимости невидии. Но так будет реальная мощь, если ещё GPU добавить, а не это нелепое поделие рожденное маркетологами.
Так, у 3090 для сравнения, 936 ГБ/с и 10,5 тыс ядер. Сколько здесь ядер в видеопамяти, не понятно.
Получается, гигантские 1000 OPS - то единовременно, мгновенная скорость при разовой гпзрузке одной порции данных в ядра GPU? А подгрузка следующей займёт намного больше времени?
А AMD Strix 395+ поддерживает CUDA ? А то я пробовал на видеокартах AMD нейронки запускать - очень много неочевидного геммороя с этим ROCm.
NVIDIA DGX Spark: карманный суперкомпьютер для ИИ, который переворачивает рынок