Мне в особенности понравился подход с переделкой ARM ядра. Это очень похоже на разработки Байкал Электроникс в процессорах Baikal-S. В целом идеологию понять можно, зачем изобретать велосипед, когда он уже есть на рынке. Однако как показал рынок, доступ к велосипедам можно перекрыть. Поэтому разработки на базе собственных архитектур и RISC-V считаю приоритетными, хоть очевидно и самыми сложными.
3D кеш в ноутбуке это сильно) Но и 16 ядер Zen5 тоже не шутка) Почти уверен, что Ryzen 9 9955HX3D станет оверкилл решением для "мобильных геймеров" и любителей мобильных воркстешенов. В паре с топовым мобильным блеквелом это будет сверхпроизводительное решение.
Осталось придумать куда TDP утилизировать, а то чипы все горячее, а ноутбуки тоньше.
Это действительно интересно. Почитал про недавно вышедший Tianhe Xingyi: 15.97 млн ядер(390 ядерные SW26010 pro на RISC архитектуре), должен отметить это впечатляет.
В дополнении выше упомянутой темы Kunpeng хочу сказать, что хуавей выпускает Kunpeng 920 для потребительских ПК. Там готовая материнка, где CPU уже впаян и все это с фирменной архитектурой TaiShan V110(модифицированный ARM). У нас в РФ тоже есть варианты на условном Эльбрус-8С, который также подлежит впаиванию. Эти процессоры можно найти в моноблоках и рабочих станциях для гос. сектора.
С компактностью думаю будет спорно, хотя можно наверное HPE Microserver организовать, где все пространство внутри будет отведено под размещение радиатора. Про rocBLAS действительно не знал, почитаю. Было бы интересно свой радеон превратить в универсальный калькулятор линейной аргебры ранее заточенной под нвидию
Держу в курсе. Детище Пэта Гелсингера на базе Intel Itanium 2 уже участвовало в TOP500 2004 года и занимало гордую 2 строчку. Если интересно - Thunder.
Кстати, тот самый Xeon Phi 31S1P тоже проскакивает на досках объявлений, однако вещь это бесполезная от слова совсем. Если только нет желания пощупать брошенный дистрибутив Intel Lunux и увидеть легендарный HyperThreading в 4 потока на одно ядро)
Если отталкиваться от цен в интернете, то NVIDIA Spectrum-4 Switch(64 x 800 Gigabit QSFP) стоит ~ $74,457. Теперь стоит попытаться скалькулировать стоимость 1 шкафчика и подыскать варианты лизинга)
Когда я прочитал, что Nvlink Spine сделан из меди, у меня сразу возникли сомнения. Огромный медный мост длиной более метра, который соединяет множество серверов с высокочастотным сигналом. Не звучит ли это на грани фантастики?
Я тут же полез в интернет и выяснил, что эти мостики действительно имеют проблемы, что накладывает некоторые ограничения на выпуск GB200 NVL72. Кажется, оптическое соединение могло быть лучшим выбором по сравнению с классической медью, особенно в таких инфраструктурах, как дата-центры, где в ограниченном пространстве размещается огромное количество устройств, способных создавать наводки для мостика.
Тестовый стенд собирался также для тестов инференса на CPU и продолжения цикла постов с постепенным удорожанием видеокарт. Помимо этого такие характеристики нужны не только для темы машинного обучения, но и ряда других постов.
Ollama на нашем сервере спокойно работала, но так как статью мы начали писать когда мульмодальные LlaMA и Pixtral только вышли, поддержки там ещё их не было.
Интересная тема, а не подскажете пожалуйста, какую методологию использовали для замеров в тестах?
Чисто визуально или условно замеряли секундомером/как-то программно сколько занимает время на отклик, на рендер каких-то объектов, сколько пакетов и какого веса идёт по канал через Wireshark?
Спасибо за замечание! Учтём! Для нас в силу специфики проброс графики тема не специфичная, наша задача железо больше продавать, а не разворачивать на нём инфру, с VDI конкретно вовсе крайне редко взаимодействовали, так как всё обычно и так под рукой.
С Wayland по идее RDP ещё стабильнее должен работать, но готовых к работе контейнеров не находили. В следующий раз можем отдельно на локальной машине эту тему покрыть.
Не совсем наша тема, а подскажите, какое у вас окружение рабочего стола, какая видеокарта, драйвер проприетарный или открытый?
Повторяется ли эта проблема в других дистрибутивах, не пробовали что-то ещё ставить? Мы всем обычно для домашнего использования EndeavoursOS с KDE Plasma советуем. https://endeavouros.com/
Соглашусь, но настраивать его всё таки дольше, чем 1 команду для проброса иксов. Как передаёт автор этого поста, до того как он решил прибегнуть к готовым контейнерам, он собирался сначался на хостовый сервер сам установить VNC. Но цитируя его «Уж вроде бы наконец-то подключился через Remmina, но на выходе тупо чёрный экран. Проклял всё и пошёл искать готовые контейнеры.».
Мне обычно нужен десктоп целиком.
В таком случае да, из того что мне дали потыкать во время тестов, проброс иксов слабо совместим с полноценной работой где нужен доступ ко всему десктопу, да и к отдельным приложениям.
А если клиент это тоже линуксовая машина с X11, либо Wayland? Да и если кому-то понадобился так срочно проброс видео, что он делает его через проброс иксов, мне кажется, что качество шрифтов вряд ли будет беспокоить.
Мне в особенности понравился подход с переделкой ARM ядра. Это очень похоже на разработки Байкал Электроникс в процессорах Baikal-S. В целом идеологию понять можно, зачем изобретать велосипед, когда он уже есть на рынке. Однако как показал рынок, доступ к велосипедам можно перекрыть. Поэтому разработки на базе собственных архитектур и RISC-V считаю приоритетными, хоть очевидно и самыми сложными.
3D кеш в ноутбуке это сильно) Но и 16 ядер Zen5 тоже не шутка) Почти уверен, что Ryzen 9 9955HX3D станет оверкилл решением для "мобильных геймеров" и любителей мобильных воркстешенов. В паре с топовым мобильным блеквелом это будет сверхпроизводительное решение.
Осталось придумать куда TDP утилизировать, а то чипы все горячее, а ноутбуки тоньше.
Это действительно интересно. Почитал про недавно вышедший Tianhe Xingyi:
15.97 млн ядер(390 ядерные SW26010 pro на RISC архитектуре), должен отметить это впечатляет.
В дополнении выше упомянутой темы Kunpeng хочу сказать, что хуавей выпускает Kunpeng 920 для потребительских ПК. Там готовая материнка, где CPU уже впаян и все это с фирменной архитектурой TaiShan V110(модифицированный ARM).
У нас в РФ тоже есть варианты на условном Эльбрус-8С, который также подлежит впаиванию. Эти процессоры можно найти в моноблоках и рабочих станциях для гос. сектора.
С компактностью думаю будет спорно, хотя можно наверное HPE Microserver организовать, где все пространство внутри будет отведено под размещение радиатора.
Про rocBLAS действительно не знал, почитаю. Было бы интересно свой радеон превратить в универсальный калькулятор линейной аргебры ранее заточенной под нвидию
Держу в курсе. Детище Пэта Гелсингера на базе Intel Itanium 2 уже участвовало в TOP500 2004 года и занимало гордую 2 строчку. Если интересно - Thunder.
Кстати, тот самый Xeon Phi 31S1P тоже проскакивает на досках объявлений, однако вещь это бесполезная от слова совсем. Если только нет желания пощупать брошенный дистрибутив Intel Lunux и увидеть легендарный HyperThreading в 4 потока на одно ядро)
Если отталкиваться от цен в интернете, то NVIDIA Spectrum-4 Switch(64 x 800 Gigabit QSFP) стоит ~ $74,457. Теперь стоит попытаться скалькулировать стоимость 1 шкафчика и подыскать варианты лизинга)
Когда я прочитал, что Nvlink Spine сделан из меди, у меня сразу возникли сомнения. Огромный медный мост длиной более метра, который соединяет множество серверов с высокочастотным сигналом. Не звучит ли это на грани фантастики?
Я тут же полез в интернет и выяснил, что эти мостики действительно имеют проблемы, что накладывает некоторые ограничения на выпуск GB200 NVL72. Кажется, оптическое соединение могло быть лучшим выбором по сравнению с классической медью, особенно в таких инфраструктурах, как дата-центры, где в ограниченном пространстве размещается огромное количество устройств, способных создавать наводки для мостика.
На деле возможно LLAMA 3.2 90B и правда была избыточной. Карточки напрягались и вероятно инференс был бы поживее, если моделька была бы попроще.
Касательно нейронки с генерацией маинкрафта в реальном времени - мы возьмем этот вопрос в проработку и проведем тестирование.
Да, на LLM ограничиваться не будем. Йоло, в том чимсле.
Тестовый стенд собирался также для тестов инференса на CPU и продолжения цикла постов с постепенным удорожанием видеокарт. Помимо этого такие характеристики нужны не только для темы машинного обучения, но и ряда других постов.
Ollama на нашем сервере спокойно работала, но так как статью мы начали писать когда мульмодальные LlaMA и Pixtral только вышли, поддержки там ещё их не было.
На двух сразу не запускали, это запланировано для следующих постов. 128Гб на будущее для тестов инференса на процессоре.
Интересная тема, а не подскажете пожалуйста, какую методологию использовали для замеров в тестах?
Чисто визуально или условно замеряли секундомером/как-то программно сколько занимает время на отклик, на рендер каких-то объектов, сколько пакетов и какого веса идёт по канал через Wireshark?
Спасибо за замечание! Учтём!
Для нас в силу специфики проброс графики тема не специфичная, наша задача железо больше продавать, а не разворачивать на нём инфру, с VDI конкретно вовсе крайне редко взаимодействовали, так как всё обычно и так под рукой.
С Wayland по идее RDP ещё стабильнее должен работать, но готовых к работе контейнеров не находили. В следующий раз можем отдельно на локальной машине эту тему покрыть.
Не совсем наша тема, а подскажите, какое у вас окружение рабочего стола, какая видеокарта, драйвер проприетарный или открытый?
Повторяется ли эта проблема в других дистрибутивах, не пробовали что-то ещё ставить? Мы всем обычно для домашнего использования EndeavoursOS с KDE Plasma советуем.
https://endeavouros.com/
Соглашусь, но настраивать его всё таки дольше, чем 1 команду для проброса иксов. Как передаёт автор этого поста, до того как он решил прибегнуть к готовым контейнерам, он собирался сначался на хостовый сервер сам установить VNC. Но цитируя его «Уж вроде бы наконец-то подключился через Remmina, но на выходе тупо чёрный экран. Проклял всё и пошёл искать готовые контейнеры.».
В таком случае да, из того что мне дали потыкать во время тестов, проброс иксов слабо совместим с полноценной работой где нужен доступ ко всему десктопу, да и к отдельным приложениям.
А если клиент это тоже линуксовая машина с X11, либо Wayland?
Да и если кому-то понадобился так срочно проброс видео, что он делает его через проброс иксов, мне кажется, что качество шрифтов вряд ли будет беспокоить.