Как стать автором
Поиск
Написать публикацию
Обновить

Невероятная мощь NVIDIA GB200 NVL72: Внутри гиганта ИИ-вычислений

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров6K
Всего голосов 6: ↑6 и ↓0+6
Комментарии16

Комментарии 16

И сколько стоит этот Spectrum ?

Если отталкиваться от цен в интернете, то NVIDIA Spectrum-4 Switch(64 x 800 Gigabit QSFP) стоит ~ $74,457. Теперь стоит попытаться скалькулировать стоимость 1 шкафчика и подыскать варианты лизинга)

Хотел бы взять две gb200 и развернуть на всем этом деле нейронку для генерации лендингов. Бесконечная зарабатывалка, если так подумать

Можно еще в студию Артемия Лебедева такой шкафчик поставить. Думаю экспресс дизайн через "Иронова" мог бы сильно преобразиться.

Когда я прочитал, что Nvlink Spine сделан из меди, у меня сразу возникли сомнения. Огромный медный мост длиной более метра, который соединяет множество серверов с высокочастотным сигналом. Не звучит ли это на грани фантастики?

Я тут же полез в интернет и выяснил, что эти мостики действительно имеют проблемы, что накладывает некоторые ограничения на выпуск GB200 NVL72. Кажется, оптическое соединение могло быть лучшим выбором по сравнению с классической медью, особенно в таких инфраструктурах, как дата-центры, где в ограниченном пространстве размещается огромное количество устройств, способных создавать наводки для мостика.

GB200 NVL72 это безусловно круто. Но я только сейчас заметил, что 8x MI325 в OAM будут попроизводительнее H200) И памяти больше. Конечно с B200 не сравнивали, но возможно MI325X с ROCm 6.3 может пошатнуть позиции Nvidia на корпоративном рынке.

На базе NVIDIA GB200 NVL72 можно попробовать сделать стартап, который обучает нейросеть для компаний и продаёт им это решение для использования в их бизнес процессах. А так шкаф по цене как здание, и без инвестиций с кремниевой долины тут не прорваться.

На самом деле, с такой вычислительной мощностью, практически любой перспективный ИИ-стартап может начать работать в профит буквально с момента запуска. Главное, чтобы он закрывал потребности растущего рынка ИИ, а это сделать не сложно -  открыть Яндекс Вордстат и можно формировать бизнес план)

Что-то это очень напоминает 60-70-ые годы 20 века. Компьютеры размером со шкаф и ценой с целый дом. Продаются только крупным компаниям.

Интересно, через 50 лет будут такие у каждого второго дома для игр? Или скорость прогресса уже не та?

По некоторым оценкам, современные процессоры всего в несколько тысяч раз выделяют больше тепла при переключении одного бита, чем требует предел Ландауэра. Эта стойка потребляет 120 киловатт. Если бы удалось её в тысячу раз ужать, то 120 ватт для домашнего применения вполне нормально. Вот, для мобильного вряд ли. Ну или надо искать другие принципы вычислений. Но то теоретический предел, а удастся ли к нему настолько подобраться — это вопрос.

Я думаю 30 лет технологического прогресса и мощности этого шкафчика будут у вас в портативном устройстве. Не буду писать что телефоне(не уверен в развитии этого класса устройств на 30 лет вперед). Может в каком-нибудь нейроморфном чипе вживленном в ваше тело.

В личном домашнем устройстве, к которому обращается носимое за вычислениями, возможно. А вот в носимом, если не перейдут на другой тип вычислений, типа квантовых, обратимых и т.д., то тепловыделение не позволит. Сколько ватт тепла можно комфортно отводить в мозг? :-)

Мне почему-то кажется, что мы стоим на пороге некого "технологического рывка". Боюсь, что бедный кремний с размером затвора менее 1нм не получится эффективно развивать. Можно посмотреть в сторону квантовых процессоров от IBM и более детально изучить их характеристики. Я думаю IBM не просто так вкладывают огромные деньги в исследование этого направления. Современный IBM Condor насчитывает уже более 1 тыс. кубитов. Считаю потенциал есть. И сразу других типов вычислительных устройств, квантовые процессоры звучат как тот самый альтернативный путь развития микроэлектроники, который возможен на ближайшие 50 лет.

Что смогут кубитные компьютеры вопрос открытый. А вот обычные такое ощущение, что скоро упрутся в потолок. Процессоры уже сколько лет если и прибавляют, то по 5% за поколение. А видюхи если и прибавляют, то за счёт цены и энергопотребления.

Это действительно похоже на мейнфремы IBM) Даже если на чипы смотреть, IBM ранее представала нечто похожее на суперчипы NVIDIA. И там уже чуть ли не в 80-е годы была заветная 1000W)))

IBM CPU 9121/311 - "суперчип" своего времени
IBM CPU 9121/311 - "суперчип" своего времени

Думаю, решения для игр будут постепенно отходить от необходимости в каком-либо мощном железе - скорее какие-нибудь нулевые клиенты для передачи картинки на монитор.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий