67 iPhone против одной H100: почему гибкость не побеждает чистую мощность

[bolk]

H100 — это серверная карта, её не вставишь в домашний компьютер.

Что мешает-то, кроме стоимости?

[DirectoriX]

Отчасти - нетривиальная система охлаждения

[bolk]

Ничего нетривиального — один высокооборотистый мелкий вентилятор на стяжках ставим в щель, больше ничего не надо.

[onyxmaster]

Позанудствую что не все модели H100 имеют PCIe-интерфейс, да и сейчас pro 6000 Blackwell workstation выглядит значительно более привлекательно и по цене и по производительности если мы про инференс =)
Да, нет NVLink, но для "домашнего компьютера" всё-таки даже 2-way NVLink это уже как-то слегка многовато =)

[bolk]

Спасибо за подсказку про RTX 6000 Blackwell, как-то не сталкивался с ними, закажу погонять.

[softi]

Почему триллион перфокарт не заменят 1Гбайт оперативки? :)

[TimID]

Может потому, что Перфокарта - это аналог HDD в лучшем случае, а никак не Оперативного Запоминающего Устройства

[krote]

так и в статье зачем то взяты смартфоны, которые никак не видеокарты. Уже бы сравнивали с потребительскими видеокартами тогда.

[TimID]

Так H100 - это не видеокарта в чистом виде. По характеру использования - это ускоритель вычислений. В этом смысле iPhone тоже может рассматриваться как часть Grid-системы

[krote]

Вот только видеокарты правда используются как дешевая замена дорогого ускорителя вычислений, в чем есть экономический и практический смысл.

На самом деле я даже не против посмотреть сравнение с сеткой iPhone но... только в статье его нет ибо нет вменяемой методики и бенчмарка. А сравнение уровня N терафлопс против M * 67 терафлопсов, это не уровень статьи для хабра, из за чего в основном мне и хочется критиковать)

[krote]

Зачем сравнивать разные никак не конкурирующие устройства? Это все равно что сравнить самосвал с велосипедами.

[RichardMerlock]

Отличный вызов для разрушителей мифов. Сколько нужно велосипедистов, чтобы заменить карьерный самосвал на одну ходку? Сколько времени велосипедисты будут доставлять весь объем породы?

[krote]

Если бы хотя бы предоставили практическую реализацию бенчмарка, типа запустили на 67 телефонах одну большую LLM распиленную на куски) а так, ну велосипедист может везти 20кг условно, но повезут ли 1000 велосипедистов камень в 20тонн?

[JediPhilosopher]

Потому что это популярная идея - взять пачку дешевых консьюмерских устройств и собрать из них что-то мощное за копейки.

Я еще помню эксперименты, когда из кучи PS3 собрали суперкомпьютер. И в условиях, когда на настоящий кластер денег нет, а устаревшая потребительская электроника отдается чуть ли не за самовывоз, потому что иначе ей дорога на свалку, это вполне себе решение.