befayer3 окт в 11:05

NVIDIA представила AI-компьютер за $4999

2 мин

16K

Искусственный интеллектМашинное обучение * Текстовые редакторы и IDE * Программирование *

Комментарии 47

pese 3 окт в 12:30

Ram стало в два раза меньше, а стоимость осталась та жа:)

naky 3 окт в 15:06

И как тут не вспомнить угорающего испанца…

suns 3 окт в 22:20

Стоимость выросла больше чем в полтора раза

0hrenet 4 окт в 04:44

И ведь такими трюками в показатель инфляции не запишут.

riky 4 окт в 07:51

В начале продаж за первую версию просили 4000

wmlab 3 окт в 12:36

Возвращаются on-prem сервера, стойки, свичи, патч-панели! А вы боялись, что сисадмины на мороз пойдут...

josef_polak 3 окт в 13:52

При таком диком строительстве дата-центров мороз тоже становится ценным ресурсом. Так что туда пора не то что идти, а бежать. Желательно – в благословенную Гренландию, но когда она кончится, в ход пойдет и родная мерзлота 🙃

achekalin 3 окт в 15:42

Думаете, зря изобретатель термина SuperIntelegence порывался её отжать?

Void-Cowboy 3 окт в 19:41

с нейронками - да

всегда останавливало для дома что-то серьезное собирать только то, что прийдется работать после работы что бы во всем этом разобраться и поддерживать

но теперь я вот себе строю домашний кластер на 10 гигабит локалки (что бы два раза не вставать) потому что у меня есть стойкая уверенность это не будет странное небезопасное поделие и что в случае проблем в будущем это все очень легко и просто разрулится без необходимости курить форумы часами.

jouilk23 4 окт в 08:24

Если бюджет позволяет, то почему бы и нет. На своем железе хотя бы приватные логи никуда не утекут)

MrYuiryMr 3 окт в 12:56

Постоянно забывают упомянуть, что CPU и GPU видят строго 50% общей RAM каждый, итого имеем 32гб VRAM, а не 64гб. Какие они там 100В модели планируют запускать - непонятно.

sergeym69 3 окт в 13:54

Ну так а для объединения 4 штук еще ведь и свитч вроде нужен, который стоит практически как один DGX Spark

mahmud-podzhigai 3 окт в 16:45

Что? Нет, всю память почти видит. GPU доступно 120gb vram и он ее свободно занимает на старом DGX Spark 128GB

MrYuiryMr 4 окт в 07:20

https://habr.com/ru/amp/publications/1089040/ ну вот про Windows пишут что именно так и есть

nidalee 4 окт в 07:42

Это касается NPU. GXP Spark это, вроде, "обычный" GPU.

beeruser 4 окт в 15:38

Постоянно забывают упомянуть, что CPU и GPU видят строго 50% общей RAM каждый

Забывают упомянуть какой-то выдуманный факт?

Да и какая связь AMD чипа с выделенным NPU, работающем на Windows, и чипом Nvidia под Линуксом? У Nvidia нет таких ограничений.

А вот на hexagon первого поколения вообще окно 8ГБ и нужно запускать несколько инстансов чтобы каждый работал в своём окошке.

MrYuiryMr 4 окт в 16:21

Ждём статьи с пруфами, а не вот это вот

jouilk23 4 окт в 08:27

Даже если память общая, часть все равно отъест система и агенты, так что чистых гигабайт под саму модель останется сильно меньше заявленного

nidalee 4 окт в 08:29

Ну, не сильно - какая-нибудь fedora headless сожрет может гиг-два. Harness еще парочку, но его не обязательно крутить на той же системе, можно просто использовать ее как чистый сервер.

EasyGame 3 окт в 14:09

Инструкция, как продать 5070 за 5к$

nidalee 3 окт в 21:51

У 5070 нет столько памяти.

EasyGame 4 окт в 08:27

А смысл от памяти, если чип дохлый, хоть терабайт памяти запихни токенов в секунду больше не станет. Вся идея dgx spark это развод гоев на шекели.

Для чего то серьезного как использовали что-то уровня H200 так и используют. А для несерьезного есть 4090/5090 - стоит чуть дешевле, а токенов выдает больше.

nidalee 4 окт в 08:28

Чип в пределах нормы, тот же 395+ на Qwen Next Q4 выдает около 38 т\с. Покупать 4090\5090 для этих целей разоришься. Но 64 гига действительно ни туда, ни сюда - об этом я тоже писал.

EasyGame 4 окт в 12:57

Ну да, ну да. 5090 за 3-4к$ разоришься, а недоразумение с чипом от 5070 за 5к$ не разоришься. Л-логика.

nidalee 4 окт в 13:39

Посчитаете сколько надо 5090 купить чтобы было 64 гига и сколько оно стоит? А 128? :)

EasyGame 4 окт в 16:19

Считаю. Одну - и получится вдвое (минимум, на небольших моделях разница будет еще больше) больше токенов при инференсе, чем на любой dgx, хоть с 64 гигами, хоть со 128. Даже если вдруг захочется обучением заняться - 5090 будет минимум вдвое быстрее.

Память она значение, конечно, имеет. Но вычислительная мощь на первом месте.

nidalee 4 окт в 16:20

Токенов получится 0, потому что модель не лезет в память :)

EasyGame 4 окт в 16:27

Влезет в RAM и все равно инференс будет быстрее, на сдачу от dgx вполне можно 192 гига хорошей RAM прикупить))

nidalee 4 окт в 16:28

Ну у вас 5090 я так понимаю? Сколько у вас т/c на 5090 q4 qwen next с 256к контекста?

EasyGame 4 окт в 16:48

Имеется ввиду Qwen3.8-Flash-Next? q4_m на 5090 на 128к контексте 25-30 т/с стабильно. Но это не особо релевантно, в 64 гиговую dgx она вобще не влезет, память там распаяна, а в 128 гиговую ее придется ногами уталкивать

nidalee 4 окт в 16:50

Qwen3.8-Flash-Next?

Да.

q4_m на 5090 на 128к контексте 25-30 т/с стабильно.

Вот. А на 395+ со 128 гигами распаянными - 38 т/c, дешевле одной карточки.

Что касается 64-гиговой dgx - да, она бесполезна. А вот 128 уже можно посмотреть :)

rrrrex 4 окт в 17:12

5090 на 128к контексте 25-30 т/с

Это прям мало, недавно движок strata вышел, с ним надо тестировать. Mtp нормально работает, префилл быстрый.

shushara4241 3 окт в 14:40

Такая система, по данным NVIDIA, сможет запускать модели до 200 млрд параметров. В тесте с Qwen 3.8 27B два устройства работали до 1,7 раза быстрее одного.

А почему для теста взяли 27B параметров, а не поближе к 200B?

AndrewSu 3 окт в 17:14

С этой коробочкой два варианта: 27B+256K контекст и 200B+2K контекст, и то, второй влезет скорее всего с жутким квантованием. Первый сможет писать полноценный код, второй будет на односложное предложение отвечать также, но большее не хватит.

ajijiadduh 3 окт в 19:35

Аннотация 1

???

santjagocorkez 4 окт в 15:00

Это у агента оставили по недосмотру автозамену фразы «Хочешь, я распишу параметры компонентов подробнее?» на «Аннотация 1».

nidalee 3 окт в 21:52

64 гига самое бесполезное количество памяти. Слишком много для 27-35B квена, слишком мало для Next или чего покрупнее 100B+. И тут пытаются налюбить.

FD4A 4 окт в 02:11

Поменьше чем 64 этож unufied.

riky 4 окт в 08:10

Интересно подойдёт ли для квена для работы в несколько потоков. Каждый поток на КВ кеш съест много памяти. Может в сумме будет больше токенов. Хотя коробка позиционируется как домашняя.