Comments 10
Так они этот алгоритм еще в прошлом году выпустили (ссылка на статью)
И за этот год никакого бума не случилось
И за этот год никакого бума не случилось
Очень интересная статья. Из неё я понял что CPU дешевле чем GPU. И что для устранения этой несправедливости был разработан Алгоритм который ещё не удалось портировать на GPU, но скорость работы на CPU уже достаточно высока. Жаль из статьи вообще не понятно каким особым способом происходит обучение.
Учитывая, что речь там идет о 22-ядерном Xeon, есть некоторые сомнения в том, что CPU, в данном случае, дешевле GPU...
Быстрое гугление показало, что такой дешёвый камушек стоит в районе 5 тысяч долларов. Особенно забавно будет, если неназванным GPU, использованном в тесте, была какая-нибудь nVidia 1060 за 100 баксов.
GPU используют при обучении сетей потому, что они обладают большими вычислительными способностями и большей пропускной способностью памяти по сравнению с CPU при прочих равных. Т.е. на них можно обучать нейросети гораздо быстрее. Есть исключения — нейросети малого размера (они слишком малы, что бы приемущество GPU смогло себя проявить) или с нестандартными слоями (их трудно портировать на GPU или еще банально просто до них руки не дошли). Использования уже обученных с на CPU более широко распространенно, например при помощи Inference Engine или Synet, но опять же обычно только сетей малого и среднего размера.
Ну и как уже было выше отмечено, к сожалению из статьи не ясно что же такого прорывного было сделано.
Ну и как уже было выше отмечено, к сожалению из статьи не ясно что же такого прорывного было сделано.
GPU используют при обучении сетей потому, что они обладают большими вычислительными способностямиПривет от AES-NI
и большей пропускной способностью памяти по сравнению с CPU при прочих равных.GDDR5 с CPU сейчас используется направо и налево, но не на ПК/серверах.
Разница между CPU/GPU/FPGA/ASIC — в эффективности использования возможностей чипа, она в этом ряду возрастает вместе с ограничением набора доступных операций и стоимости производства из-за меньшего рынка сбыта.
У меня из этой статьи сложилось такое впечатление что эти «исследователи» типа такие: «Че-то на GPU дорого учить сети, давайте сделаем сетку которая на GPU будет неэффективно работать, пусть с CPU мучаются.» Тема сисек того что это дает именно в плане эффективности самой сети (если дает), абсолютно не раскрыта…
Странно, что Intel подключилась к разработке, а не Cerebras Systems — их гигачип с гигабайтами памяти на борту как раз мог бы получить максимальный профит.
Sign up to leave a comment.
Разработан алгоритм обучения ИИ SLIDE — первый, который лучше работает на CPU, чем на GPU