Данные чипы используются Google для обучения и инференса нейросетей. Также они доступны в Google Cloud для аренды.
В статье описывается TPU v4i, предназначенная только для инференса. На данный момент уже есть TPU v5p для обучения, у которой 95 Гб HBM. И уже на подходе v6 поколение, но пока анонсирован чип только для инференса. К тому же, современные системы обучения или инференса нейросетей не поставляются с одной картой, а серверами или наборами серверов по несколько карт. И отличительной особенностью TPU от Google является interchip interconnect (ICI), который значительно быстрее, чем data center network (DCN), которыми соединены ноды с Nvidia серверы: 9e10 байт/с у ICI против 2.5е10 байт/с у DCN. При этом, ICI соединяет чипы, а DCN — хосты, так что не стоит забывать про pcie bandwidth, который 1.5е10 байт/с на один чип.
Ну и помимо всего прочего, решение Google делать свои ускорители позволяет им иметь меньшую зависимость на одного поставщика конкурентных ускорителей ИИ. Насколько я понимаю, Google является чуть ли не единственной крупной компанией, у которой "ИИ-прод" работает не только преимущественно на решениях Nvidia.
Вы приобрели его? Интересно, как у него с софтом вообще дела обстоят. Для более бесшовной миграции на RISC-V было бы круто иметь аналог Rosetta, какой-нибудь бинарный транслятор, но не уверен, что такое существует в опенсорсе..
Данные чипы используются Google для обучения и инференса нейросетей. Также они доступны в Google Cloud для аренды.
В статье описывается TPU v4i, предназначенная только для инференса. На данный момент уже есть TPU v5p для обучения, у которой 95 Гб HBM. И уже на подходе v6 поколение, но пока анонсирован чип только для инференса. К тому же, современные системы обучения или инференса нейросетей не поставляются с одной картой, а серверами или наборами серверов по несколько карт. И отличительной особенностью TPU от Google является interchip interconnect (ICI), который значительно быстрее, чем data center network (DCN), которыми соединены ноды с Nvidia серверы: 9e10 байт/с у ICI против 2.5е10 байт/с у DCN. При этом, ICI соединяет чипы, а DCN — хосты, так что не стоит забывать про pcie bandwidth, который 1.5е10 байт/с на один чип.
Ну и помимо всего прочего, решение Google делать свои ускорители позволяет им иметь меньшую зависимость на одного поставщика конкурентных ускорителей ИИ. Насколько я понимаю, Google является чуть ли не единственной крупной компанией, у которой "ИИ-прод" работает не только преимущественно на решениях Nvidia.
Вы приобрели его? Интересно, как у него с софтом вообще дела обстоят. Для более бесшовной миграции на RISC-V было бы круто иметь аналог Rosetta, какой-нибудь бинарный транслятор, но не уверен, что такое существует в опенсорсе..