Comments 6
А - непонятно где и кем используются такие устройства.
Б - NVidia H100 с 80 ГБ VRAM всё равно видится мощнее.
В - NVidia H200 с 140 ГБ VRAM на борту уже на подходе.
а) внутри гугла
б) в) им не нужно мощнее, им нужно экономнее
Данные чипы используются Google для обучения и инференса нейросетей. Также они доступны в Google Cloud для аренды.
В статье описывается TPU v4i, предназначенная только для инференса. На данный момент уже есть TPU v5p для обучения, у которой 95 Гб HBM. И уже на подходе v6 поколение, но пока анонсирован чип только для инференса. К тому же, современные системы обучения или инференса нейросетей не поставляются с одной картой, а серверами или наборами серверов по несколько карт. И отличительной особенностью TPU от Google является interchip interconnect (ICI), который значительно быстрее, чем data center network (DCN), которыми соединены ноды с Nvidia серверы: 9e10 байт/с у ICI против 2.5е10 байт/с у DCN. При этом, ICI соединяет чипы, а DCN — хосты, так что не стоит забывать про pcie bandwidth, который 1.5е10 байт/с на один чип.
Ну и помимо всего прочего, решение Google делать свои ускорители позволяет им иметь меньшую зависимость на одного поставщика конкурентных ускорителей ИИ. Насколько я понимаю, Google является чуть ли не единственной крупной компанией, у которой "ИИ-прод" работает не только преимущественно на решениях Nvidia.
Спасибо, замечание про ICI действительно очень важное.
Nvidia соеденены проприетарным NVLink с bandwidth под 1TB/s, ICI там тихо курит в сторонке. TPU с технической точки зрения всем проигрывает NVidia , есть только один важный фактор, почему они имеют смысл для Google, а именно, как вы верно указали:
решение Google делать свои ускорители позволяет им иметь меньшую зависимость на одного поставщика конкурентных ускорителей ИИ
Это же перевод? Надо бы указать в начале статьи и авторов указать
Десять уроков развития аппаратных ускорителей для ИИ: как эволюция TPU привела к созданию TPUv4i