Комментарии 11
Хотелось бы увидеть тесты производительности карт amd, но не бытовых как в сервере выше, что вы предлагаете, а нормальных из линейки Instinct MI300/350
Вот тут (https://chipsandcheese.com/p/testing-amds-giant-mi300x) можно посмотреть тесты по MI300X.
Выглядит, конечно, впечатляюще, но хотелось бы воспроизвести))
Такой длинный пост про AMD - и ни одного упоминания про ROCm. А ведь и на Хабре про него писали: https://habr.com/ru/companies/ruvds/articles/847792/
Да, я видел данную работу.
Все будет!))
Я просто планировал плавненько подойти к ROCm, а перед этим сделать несколько шагов назад и проговорить несколько моментов касательно терминологии.
Всему свое время =)
Конечному потребителю AI софта может быть достаточно оптимизированного под конкретное железо pyTorch с нужной сеткой. Как именно и с применением каких технологий его оптимизировали инженеры из AMD - да, полезно знать для общего развития...
CUDA это не все. есть еще Triton и другие проекты, в которые nvidia уже вложили миллиарды. Включая модели которые оптимизированы на ПО компании.
Догонять это, конечно, можно. Но вам надо убедить компании свичнуться на часто несовместимое ПО и переучить сотрудников.
Это правда, по части софта AMD пока что во многом должен догонять.
NVIDIA начали развиваться в сторону ML на несколько лет раньше, отсюда и преимущество.
Об этом кстати говорится и в статье, упомянутой выше в комменте (https://chipsandcheese.com/p/testing-amds-giant-mi300x).
Помимо Triton можно еще вспомнить и Nsight Systems/Compute/Graphics и относительно недавно появившийся Nsight Deep Learning Designer.
Очень много нужно догонять.
Но в любом случае, хорошо, что кто-то пытается это делать.
Не круто это, когда на рынке есть один монополист (хотя понятно конечно, что конкуренция так или иначе приводит к монополии/олигополии).
Что касается клиентов, то тут можно глянуть Advancing AI 2024 Replay (https://www.youtube.com/watch?v=QWBebQ12JD0), где опытом внедрения AMD-шного софта делятся ребята из довольно крупных компаний.
Так что поживем, увидим, что будет происходить))
Надо ещё убедить компании в том что что ваше железо не окажется внезапно устаревшим, как это случилось с теми же mi50.
Пока это все известные подходы на тему: как не связывать руки hardware инженерам "навеки прибитым гвоздями набором команд", и при этом не заставляя software инженеров постоянно переписывать код под новые версии архитектуры.
В мире API идут ровно такие-же битвы, только начались они "во времена Очакова и покоренья Крыма" ака от "эпохи граждан Кернигана и Ритчи".
Я пока не вижу причин почему AMD не сделать примерно так-же. Только с авторскими правами на compute_XX от НВидиа непонятно что решать. А так, JIT + возможность сохранения результата as fatbinary, и вполне можно жить совмещая поддержку NVIDIA и AMD.
Я, честно говоря, немного теряюсь с тем, как именно перевести слово «fatbinary».
Собственно, поэтому другое название fatbinary — multiarchitecture binary.
Так чем термин "мультиплатформенный бинарник" не устраивает?
Хочется более забавного сленга с местными cultural references?
Предлагаю "коммунальный бинарник".
Есть ли у AMD перспективы в AI/ML/DL. Часть 1