Специализированный ASIC от Google для машинного обучения в десятки раз быстрее GPU

[@KiloLeo]

«Компания не планирует продавать свои процессоры кому-либо» — обидно, однако

[@Regis]

Наверняка так будет ровно до тех пор, пока кто-нибудь другой не выйдет на рынок с аналогичным продуктом.
Правда Google, возможно, сможет задушить конкурентов патентами. Без детального анализа трудо сказать наверняка.

[@aml]

Мы предлагаем ими воспользоваться как сервисом: https://cloud.google.com/ml-engine/. По задумке, использование сервиса будет дешевле, чем запуск аналогичных моделей на CPU. https://cloud.google.com/speech/ тоже использует TPU.

[@rotor]

Там похоже только TensorFlow запустится.

[@Psychopompe]

Облака не всегда удобны.

[@dipspb]

Да, да… :) И намного дороже чем использование собственного GPU

[@Equin0x]

Так биткойны теперь продавать или покупать? )

[@k0ldbl00d]

"Специализированный ASIC" — это как "масляное масло". Сама аббревиатура ASIC уже обозначает Application-Specific.

[@GloooM]

IT-технологии :)

[@Meklon]

Автомобильный завод АвтоВАЗ)

[@LoadRunner]

CD\DVD-диск.

[@tangro]

Habra-habr

[@GadPetrovich]

GNU — GNU's not UNIX.

[@KiloLeo]

Протокол TCP/IP

[@Artystarty]

CAD design )

[@zim32]

>> до последнего времени, когда внедрила машинное обучение для ряда практических задач, и на эти нейросети начала расти нагрузка с миллиардами запросов от пользователей

А я думал основные мощности во время обучения идут, а потом нет. А тут оказывается от к-ва запросов к обученой сети зависит

[@aml]

Обучение действительно очень вычислительно затратное, но оно делается один раз, а запросы к обученной сети — это уже пользовательский трафик, который идёт постоянно и в огромных объёмах.

[@DustCn]

>>в то время как в более новой версии Broadwell Xeon E5 v4 количество инструкций на цикл увеличилось на 5% благодаря архитектурным улучшениям, а в версии Skylake Xeon E5 v5, которая ожидается летом количество
инструкций на цикл может увеличиться ещё на 9-10%.

И все? Вот берем Бродвель, сравниваем со Скайлейком и получаем только +10%? Странно что их кто то покупает…

[@DmitryBabokin]

Сравнивают плавающее умножение на CPU и GPU с умножением 8 битных целых на TPU. Конечно, в итоге будет сравнение по теплу будет в сто раз. Но что интересно, заявлено что на Haswell пускали также целочисленное 8 битное умножение и оно дало в два раза большие цифры, чем плавающие операции. Что странно, ибо в AVX2 есть инструкции для умножения векторов с 8 битными элементами, что даёт 4 кратное увеличение пропускной способности по сравнению с 32 битным FP умножением, а не двукратное.

Размышления про Skylake тоже странные, ибо в серверной версии будут AVX512 инструкции, которые дадут вдвое большую ширину вектора, чем доступно в Haswell.

[@Randl]

Так нет же native 8-битных операций на железе с которым сравнивали

[@DmitryBabokin]

Думал можно для это использовать VPMADDUBSW из AVX2, но похоже из-за того, что потом результат нужно вручную ужимать из 16 до 8 бит получается просад производительности.

[@rPman]

в статье все цифры сравнения производительности только с процессором, но многократно повторяют что превосходит GPU до 70 раз

GPU по сравнению с CPU дает 10-кратный прирост, без какой либо привязке к архитектуре сети (ограничения только на объем памяти, но она измеряется в гигабайтах, а не 64к страничках)

Я не сомневаюсь что ASIC даст очень большой прирост, но сравнивать нужно все же не с процессором

[@old_bear]

По идее, всё то же самое можно сделать на инстансах F1 в амазоновском EC2. Причём кастомного типа, под свою конкретную задачу.
Как знать, может это не сильно хуже по эффективности будет.

[@sim2q]

тут все про архитектуру, даже стесняюсь спросить…
Чем жёлтенький тантал от чёрненького на плате отличается?