Google работает над новым серверным ИИ-чипом под внутренним названием Frozen v2, который должен существенно повысить эффективность выполнения моделей Gemini. По данным The Information, компания планирует реализовать часть архитектуры модели непосредственно на аппаратном уровне, что позволит сократить энергопотребление и увеличить производительность инференса. Проект пока находится на ранней стадии и официально не анонсирован.
Frozen v2 разрабатывается как специализированный ускоритель для обслуживания моделей Gemini. В отличие от традиционных ИИ-чипов, которые остаются универсальными и могут выполнять различные архитектуры нейросетей, новый процессор будет оптимизирован под конкретную модель Google. Предполагается, что часть вычислений и структуры Gemini будет реализована непосредственно в кремнии, что сократит объем вычислений во время инференса.
Ожидается, что такой подход позволит добиться шестикратного–десятикратного роста энергоэффективности по сравнению с актуальными TPU Google. При том же энергопотреблении чип сможет обрабатывать значительно больше токенов, что особенно важно на фоне стремительного роста затрат на обслуживание генеративных моделей. По данным Reuters, нехватка вычислительных мощностей уже вынуждала подразделение Google Cloud отказываться от некоторых контрактов с корпоративными клиентами.
Frozen v2 не должен заменить существующие TPU, а станет их дополнением. Если текущие TPU рассчитаны на широкий спектр задач обучения и инференса, то новый процессор будет максимально оптимизирован именно для моделей Gemini. Предполагаемый срок появления первых систем на базе Frozen v2 — не ранее 2028 года.
Но! Поскольку ключевые элементы архитектуры модели окажутся зафиксированы на аппаратном уровне, будущие версии Gemini должны будут сохранять совместимость с заложенной в чип логикой. Радикальное изменение архитектуры модели может потребовать разработки нового поколения специализированного кремния, что потенциально снизит гибкость развития семейства Gemini.
Пока это не звучит как фейк, потому что разработка Frozen v2 вписывается в стратегию Google по созданию собственной ИИ-инфраструктуры. За последние годы компания существенно сократила зависимость от ускорителей Nvidia благодаря развитию собственного семейства TPU, последнее поколение которых разделено на отдельные чипы для обучения и инференса. Если проект реализуют, Google сделает следующий шаг, проектируя модель и аппаратную платформу как единую систему.