Comments 12
а вот что вижу я:
1) несмотря на то что разъём для кластеризации выглядит как *SFP* он проприетарный вендорлокнутый
2) зная невидию софтварная часть для этой штуки вполне возможно будет прибита гвоздями к одной конкретной версии ядра в одном конкретном дистрибутиве и не будет распространяться свободно как уже было с некоторыми ускорителями от них же
ну и дальше всё в том же духе
я конечно искренне надеюсь что ошибаюсь, но сомневаюсь в этом..
Думаю, Вы абсолютно правы. Просто к этой девайсине надо относится как к закрытому решению без излишних иллюзий и надежд на расширение. Такой себе чёрный ящик - числодробилка. Но, если по результатам тестирования будет достигнута хорошая производительность, может быть интересно.
Это же вроде обычные QSFP порты?
у меня на столе тоже есть один девайс с обычным usb портом, правда втыкать в него usb безполезно так как на уровне логики там совсем не usb.
история знает кучу примеров когда один формфактор использовался совсем для других целей, к примеру коммутаторы и маршрутизаторы часто используют один из разъёмов rj-45 не для сети а для последовательного порта, а d-link в одной линейке устройств в качестве разъёма для межголовного взаимодействия использовал HDMI разъём (видео конечно эти коммутаторы показыавть не могли, и подозреваю что воткнув этот порт в телевизор можно было лишиться или комутатора, или телевизора или их обоих). я уже встречал устройства в которых разъёмы формфактора sfp и qsfp использовались не для сети.
Практических бы результатов... типа "запустили на этой вундервафле / кластере из двух вундервафель полный недистилированный Дипсик, получили столько-то ток./с" или "попытались, но не взлетело потому-то". Я так понимаю, пока оно в массовую продажу не поступило, так что ждём-с.
Более интересна DGX Station, особенно цена, понятно что дешево не будет, но интересно насколько оно "недешево".
И конечно как написали выше хотелось бы понять предел этой штуки, получится ли запустить полную версию DeepSeek R1(а ведь скоро R2 выйдет). Как работает кластер из двух таких штук, насколько часто будет обновляться ОС. Можно ли поставить чистую убунту и драйвера отдельно.
Сама по себе железка выглядит круто и достаточно дешево. Фактически это цена топового ноутбука или стартовой комплектации мак-студио. А по характеристикам просто монстр(хотя опять же вопрос, может мак-студио и быстрее будет, сравнивать бумажные цифры у меня получается плохо)
Интересно, что 1000 TOPS примерно 500 TFLOPS - за 175 Вт = 0,35 Вт / TFLOPS
Новейшая 5090 выдает 100 TFLOPS за 500 Вт = 5 Вт / TFLOPS
То есть эта штуковина имеет энергопотребление в 5 / 35 = 14 (!) раз меньше на 1 TFLOPS, чем топовая видеокарта!
И по цене дешевле 5090 в примерно 4-5 раз...
[Революция???]
Нет, это проходная штука, у неё низкая пропускная способность RAM, порядка 250 ГБ/с. У 5090 в 7 раз выше. Для инференса нейронок самое выгодное это mac studio, где до 512 ГБ памяти и 900 ГБ/с Или тот же AMD Strix 395+, он раза в два дешевле будет поделия от невидии при той же памяти.
Можно ещё на двуслотовой серверной материнке собрать на эпиках, там можно получить 500 ГБ/с на памяти при чуть большой стоимости невидии. Но так будет реальная мощь, если ещё GPU добавить, а не это нелепое поделие рожденное маркетологами.
Так, у 3090 для сравнения, 936 ГБ/с и 10,5 тыс ядер. Сколько здесь ядер в видеопамяти, не понятно.
Получается, гигантские 1000 OPS - то единовременно, мгновенная скорость при разовой гпзрузке одной порции данных в ядра GPU? А подгрузка следующей займёт намного больше времени?
А AMD Strix 395+ поддерживает CUDA ? А то я пробовал на видеокартах AMD нейронки запускать - очень много неочевидного геммороя с этим ROCm.
NVIDIA DGX Spark: карманный суперкомпьютер для ИИ, который переворачивает рынок