Comments 11
Как-то странно рассказывать о GPU не указывая объём памяти и поддерживаемые фреймворки для обучения и инференса моделей
Основная цель статьи — познакомить с самим фактом появления этих видеокарт и их возможными перспективами. Мы тоже заинтересованы в подробных характеристиках, но, к сожалению, далеко не каждый производитель готов раскрыть информацию о точном объёме памяти и поддержке фреймворков в своих продуктах, которые еще даже не вышли в открытый доступ. Как только появятся новые данные, мы обязательно их добавим.
а тут у коллег - есть кейс, что статья становится слишком большой если описывать все.
и обычно часть вопросов - выносится в серию статей или постов.
Но тут очень хочу и прорекламирую - коллег из МФТИ, Альманах №9 - по железу просто прекрасен.
Там еще не рассматривался Biren/MTT и свежие nVidia/AMD, но основные фреймворки и железо были освещены на достойном уровне - https://aireport.ru/
Будем надеяться, что продолжат радовать фундаментальным подходом.
А как сейчас обстоят дела с обучением transformers моделей на GPU от AMD? Есть ли такой опыт? Есть ли смысл брать AMD для обучения?
Если стек основан на PyTorch, Hugging Face и LLM, AMD пока ещё не лучший выбор. Но если AMD продолжит развивать ROCm, то через пару лет ситуация может измениться.
Как итог: если нужен стабильный стек — лучше брать NVIDIA; если бюджет ограничен, но хочется попробовать — можно взять AMD (особенно MI200/300); если нужен инференс, а не обучение — AMD тоже может быть хорошим вариантом.
Все очень динамично развивается в мире ml/dl.
С точки зрения сквозной архитектуры - очень интересно посмотреть на UEC - https://ultraethernet.org/blog/
Под лидерством AMD формируется консорциум для занятия поля тренинга моделей.
Однако, более интересная статистика, что современные суперкомпьютеры - как направление MPP, так и Cluster уже строятся на AMD/Epyc/RoCE - https://top500.org/lists/top500/2024/11/ - надо скачать XLS и пройтись по полям таблицы
То есть самые интересные кейсы откатают на лоялах в лице - проектов
Explorer-WUS3
Goethe-NHR
Nscale Svartisen
IronMan
Повторюсь, в общем - будем посмотреть, но все развивается слишком быстро, что сложно уследить за процессом.
PS Также был кейс, что Open AI - помимо nVidia будет применять свежие Instinct. но пока бумаги/отчета в открытом доступе еще не видел.
Для работы непосредственно с ИИ мы представили высокопроизводительный сервер «Спутник ИИ», в котором используются видеокарты зарубежных производителей.
Главный исполнительный директор компании Fplus Михаил Волков
Добрый день! Благодарим за Ваш комментарий. К сожалению, мы не можем рассказывать всю информацию, поэтому на момент декабря 2024 Михаил не озвучивал, что в Спутнике могут использоваться видеокарты российских вендоров и восточных.
Тут есть уже и больше новостей...
Ждем согласования к выпуску, но все занимает время.
От дизайна и реестра до реляций в открытом инфо поле.
Времена такие
Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA