Comments 11
У лошадей ограниченные возможности для карьерного роста
"В колхозе лошадь работала больше всех, но председателем так и не стала".
NVidia лучшая компания, в которой я когда либо работал. Они до последнего не хотели уходить из Роcсии. Когда они уходили, я как раз закончил задачу генератора CUDA-ядер сверточного и полносвязного слоев с применением Tensor Cores для нейросетей, эти ядра были самыми быстрыми для GPU NVidia на 2022 год, возможно и по сей день. Работа там отличалась тем, что там созданы все необходимые условия для хорошей рабочей атмосферы, и тебе совершенно не нужно думать о том оценят и вознаградят твой труд или нет (его обязательно оценят и вознаградят), ты спокойно занимаешься своим делом на передовом краю технологий и достигаешь поразительных результатов.
По проводу разработки ИИ - остановить это нельзя, значит это нужно возглавить =)
Крутое интервью про реально крутого чувака. С низов поднялся. Много раз рисковал и выиграл. Читал взахлеб) Немного настораживает та тенденция когда видеокарта превращается в отдельный компьютер (особенно по цене, но тут могут быть виноваты майнеры). Собрал комп, в нем видеокарта по цене 70% будет. Вдруг все поменяется, и на материнку будут ставить GPU как мы обычный проц сейчас (вся материнка будет видеокартой) , а cpu где-то в уголочке будет ютиться как какой-то мост.
Но мощь продукции nvidia я ощутил. Это очень круто.
Все таже дилемма что выбрать процессор с универсальным набором инструкций, или специализированный. RISC,MIPS, VLIM, GPU, etc.
А вы не смотрите на видеокарту как на компонент. Вы воспринимаете ее как вспомогательную деталь. И поэтому вам кажется что это много, 70 от цены всего. Но давайте с другой стороны посмотрим на это. В майнинг фереме видеокарта основной компонент, а остальное - периферия. В генеративной нейросетке какой тоже. Там процессор и память так, чисто что б систему загрузить и с диска в память видеокарты файлы скачать. Всю работу делает видеокарта. Во многих задачах она основной компонент системы. И отсюда ничего удивительного, что она стоит 70 процентов.
Так я и смотрю на нее уже просто как на отдельный компьютер, который вставляется в компьютер) Иначе бы и не покупал. Причем это именно суперкомпьютер, даже имея сотни компьютеров с топовыми характеристиками (но без видеокарт конечно на CPU всё) такого не добиться.
Я бы не рассматривал это как суперкомпьютер. Иначе ровно в этот же момент ГП заменил бы ЦП, и в ЦП вообще не было бы смысла. То-есть просто весь компьютер состоял бы из видеокарты (прикрутить ЮСБ для мышки не то, что бы сложно). Но нет, в компьютере еще куча каких то компонентов зачем то. То-есть видеокарта это "ядро", но никак не суперкомпьютер. Просто сейчас во многих задачах ЦП и ГП поменялись местами.
Ну аналогично допустим можно привести в пример квантовый компьютер. Он может делать вычисления в бесконечно раз быстрее, чем классический, так как может рассчитать все поле вероятно за один такт. Но при этом сам по себе он не может ничего. Я думаю что в дальнейшем квантовый процессор будет просто еще одной деталью обычного ЦП, аналогично как сейчас например мини ядра интела.
А вот я с вами поспорю. Именно суперкомпьютер. Вы же не будете спорить, что не все задачи поддаются распараллеливанию? Не все. А суперкомпьютеры они как раз для таких задач. На одной задаче они и будут пилить как один комп. Как вы правильно упомянули квантовый компьютер - будет выполнять только специфические задачи. ГПУ выполняет "в среднем" общие параллельные задачи на тысячах ядер а цпу на условно 64 ядрах при любой адекватной частоте за этой толпой не угнаться. Ценность ГПУ в том, что он, не являясь процессором общего назначения (без ЦПУ не обойтись),***дец какой многоядерный и позволяет раскидать много мелких однотипных задач на ядра. Это не ASIC, который умеет майнить хеши и больше ничего. Это именно суперкомпьютер. Со своей памятью, со своим хитрым параллелизмом. Со своим питанием, со своим охлаждением...
Да, только не понятно, зачем вы используете приставку "супер" к калькулятору.
Выполнение мелких однотипных задач - это калькулятор. То, что в нем много ядер, и он выполняет много однотипных задач параллель означает что это просто много калькуляторов. Но никак не делает его "суперкомпьютером". Супер калькулятором разве что.
Распараллеливание однотипных задач с небывалым быстродействием за счет этого. Но например в сравнении с асиком для майнинга, в видеокарте эти задачи могут меняться. Сегодня майним, завтра генерируем картинки, послезавтра LLM на ней запускаем, потом рендерим и обрабатываем видео, всякие математические расчеты...
Еще вот пример приведу. Когда то я занимался по приколу с 3д максом. Делал ролики небольшие, разумеется рендеринг занимал неприлично большое время. Потом я узнал, что Макс поддерживает распределенный рендеринг, поставил 20 системников у себя дома и да - скорость выросла в эти же 20 раз примерно. Но во столько же выросло и энергопотребление, а сколько стоил подобный кластер с учетом что это именно отдельные компы. У видеокарты много маленьких но быстрых компов и что характерно - общую для них всех ОЗУ. Даже в кластерах ОЗУ может складываться но при этом скорость работы с ней очень зависит от межсоединений, сети.
А так если честно, компьютер и есть суперкалькулятор. Все ровно то же самое.
В некоторых компьютерах GPU даже операционку запускает на CPU!
Как Nvidia Дженсена Хуанга приближает революцию в области искусственного интеллекта