Обновить

Комментарии 2

Зачем, когда есть от самой Nvidia Project Digits за $3000 и вроде в базе NVMe объёмом до 4 ТБ

Стартовая цена устройства составляет $3000. Каждая система Project Digits оснащена 128 ГБ памяти и накопителем NVMe объёмом до 4 ТБ. Для более требовательных задач можно объединить две системы Project Digits, что позволит работать с моделями, содержащими до 405 миллиардов параметров (для сравнения, лучшая модель Meta* — Llama 3.1 имеет 405 миллиардов параметров).

Ну, название они уже сменили на dgx spark. Учитывая что memory bandwidth у dgx spark (как и у железки из статьи, подозреваю) не сильно лучше, чем у миников на ryzen AI 395+, и заметно хуже, чем у m3 ultra того же эпловского, а стоимость в пару раз выше чем у тех же миников, и сравнима с яблоком - обычному домашнему юзеру которому не нужны петафлопсы, а достаточно какие-нибудь крупные LLM MoE модели запускать лучше и взять подобный миник с чипом amd, вместо nvidia.
По крайней мере исходя из моих знаний и бенчмарков что видел.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости