Правило, согласно которому количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 18 месяцев, больше неверно. Но действует новый закон, который назван в честь генерального директора Nvidia, компании, которая сейчас является самой передовой в области коммерческого ИИ.
Закон Хуанга — это наблюдение в области компьютерных наук и инженерии, согласно которому прогресс в области графических процессоров (GPU) растет гораздо быстрее, по сравнению с центральными процессорами (CPU). Это наблюдение противоречит закону Мура.
Это наблюдение было сделано Дженсеном Хуангом, главным исполнительным директором Nvidia, на конференции по технологиям графических процессоров (GTC) 2018 года, проходившей в Сан-Хосе, Калифорния. Он заметил, что графические процессоры Nvidia были «в 25 раз быстрее, чем пять лет назад», тогда как закон Мура ожидал только десятикратного увеличения.
По словам Хуанга, для задач искусственного интеллекта AlexNet потребовалось шесть дней на двух процессорах Nvidia GTX 580, чтобы завершить процесс обучения, но только 18 минут на современном сервере DGX-2 AI, что привело к ускорению в 500 раз. По сравнению с законом Мура, который фокусируется исключительно на транзисторах ЦП, Закон Хуанга охватывает сочетание достижений в архитектуре, межсоединениях, технологии памяти и алгоритмах.
В нем описывается, как производительность кремниевых чипов, обеспечивающих искусственный интеллект, более чем удваивается каждые два года. Хотя рост можно отнести как к аппаратному, так и к программному обеспечению, его устойчивый прогресс делает его уникальным инструментом для всего, от автономных автомобилей, грузовиков и кораблей до распознавания лиц, голоса и объектов в наших личных гаджетах. С ноября 2012 года по май 2020 года производительность чипов Nvidia увеличилась в 317 раз для важного класса вычислений AI, говорит Билл Далли, главный научный сотрудник и старший вице-президент по исследованиям в Nvidia. Другими словами, в среднем производительность этих чипов ежегодно увеличивается более чем вдвое, и по сравнению с этим закон Мура бледнеет.
Специализацией Nvidia уже давно являются графические процессоры, которые эффективно справляются со множеством независимых задач одновременно. С другой стороны, центральные процессоры, подобные тем, на которых специализируется Intel, гораздо менее эффективны, но лучше справляются с быстрым выполнением одной задачи. Intel была основной движущей силой закона Мура, но далеко не единственной. Для его сохранения потребовались десятки тысяч инженеров и миллиарды долларов инвестиций в сотни компаний по всему миру. Точно так же Nvidia не единственная, кто руководствуется законом Хуанга.
Традиционный ЦП сам по себе обычно неэффективен для обработки всех задач, встречающихся при работе ИИ. И графические процессоры лучше подходят для таких ИИ-емких задач. Это достигается благодаря наличию значительно большего количества ядер и способности обрабатывать небольшие пакеты заданий параллельно. Однако даже у графических процессоров есть свои ограничения, особенно в отношении энергопотребления.
По словам участников рынка, покупка Arm позволит NVIDIA ускорить развитие искусственного интеллекта за счет периферийных вычислений: некоторые операции, критичные для производительности системы, будут выполняться непосредственно терминалом, а не передаваться на сервер. В тандеме с развитой серверной экосистемой это позволит NVIDIA добиться значительного прогресса в создании новых областей искусственного интеллекта.
Балансировка вычислительных ресурсов также важна для NVIDIA, потому что если графические процессоры значительно превосходят процессоры мэйнфреймов по скорости, то «слабое звено» задержит разработку всей системы. Покупка Arm позволит ей приобрести ценный актив в разработке центральных процессоров. Вице-президент по маркетингу Стив Родди ожидает, что так называемый «закон Хуанга» будет исчерпан через десять лет, но за это время отрасль добьется значительных успехов в разработке искусственного интеллекта.
Источник: The WSJ
