На этой неделе на конференции Cloud Next компания Google представила новейшее поколение своего чипа-ускорителя искусственного интеллекта TPU. Новый чип, названный Ironwood, является седьмым поколением TPU от Google и первым, оптимизированным для вывода — то есть запуска моделей AI. Планируемый к запуску в конце этого года для клиентов Google Cloud, Ironwood будет поставляться в двух конфигурациях: кластер из 256 чипов и кластер из 9216 чипов.
«Ironwood — наш самый мощный, способный и энергоэффективный TPU на сегодняшний день», — написал вице-президент Google Cloud Амин Вахдат в сообщении в блоге, предоставленном TechCrunch. «И он специально создан для поддержки мышления, выводных моделей AI в масштабе».
Ironwood появляется, когда конкуренция в области ускорителей AI накаляется. Nvidia может быть лидером, но технологические гиганты, включая Amazon и Microsoft, продвигают свои собственные внутренние решения. У Amazon есть процессоры Trainium, Inferentia и Graviton, доступные через AWS, а Microsoft размещает экземпляры Azure для своего чипа AI Maia 100.
Ironwood может обеспечить 4614 TFLOPs вычислительной мощности на пике, согласно внутреннему бенчмаркингу Google. Каждый чип имеет 192 ГБ выделенной оперативной памяти с пропускной способностью, приближающейся к 7,4 Тбит/с.
Ironwood имеет усовершенствованное специализированное ядро SparseCore для обработки типов данных, распространенных в рабочих нагрузках «расширенного ранжирования» и «рекомендаций» (например, алгоритм, предлагающий одежду, которая вам может понравиться). Архитектура TPU была разработана для минимизации перемещения данных и задержек на чипе, что приводит к экономии энергии, утверждает Google.
Вахдат добавил, что в ближайшем будущем Google планирует интегрировать Ironwood со своим AI Hypercomputer — модульным вычислительным кластером в Google Cloud.
«Ironwood представляет собой уникальный прорыв в эпоху вывода», — сказал Вахдат, — «благодаря возросшей вычислительной мощности, объему памяти, достижениям в области сетевых технологий и надежности».