Наступил очередной сезон, когда меняют оборудование в больших дата-центрах, и на барахолки выплыли странные версии процессоров Epyc 2-го и 3-го поколения, которых нет в официальном модельном ряде. Но которые предлагают весьма выгодное соотношение производительность/цена.
Но поскольку об этих процессорах известно мало, то я решил собрать все слухи о их параметрах, совместимости и производительности. А также купил один из них, 64-х ядерный Epyc 7С13 и протестировал в домашнем подстольном компьютере.
OEM-Эпики могут быть интересны как для создания бюджетных серверов, станций рендеринга, так и просто для энтузиастов и майнеров. Когда-то была волна домашних сборок на Xeon, возможно, сейчас, всё повторится на Epyc.
Информации о совместимости довольно мало, поэтому надеюсь на помощь Хабра-сообщества и внесу в статью информацию, которую знаете вы.
Оглавление
0. Откуда берутся OEM-версии процессоров?
1. OEM-версии Epyc 2-го поколения (серия 7002)
2. OEM-версии Epyc 3-го поколения (серия 7003)
3. Тестирование Epyc 7C13
3.0 Настройки биос для улучшения быстродействия
3.1 Особенности процессора
3.2 Поддержка Windows на примере Windows 10 LTSС 1809
3.3 Результаты тестирования при TDP 280W
3.4 Температура и мощность при TDP 280W
3.5 Работа в паспортном режиме, 225W
3.6 Температура и мощность при TDP 225W
4. Риски в покупке Б/У процессоров
5. Итоги
0. Откуда берутся OEM-версии процессоров?
Когда огромные дата-центры закупают тысячами и даже сотнями тысяч процессоры, естественно, они просят о больших скидках. Производитель идёт на это, старается делать так, чтобы эти процессоры не попали потом на розничный рынок и не помешали продажам.
Для этого, что только не придумают. Например, Epyc для Dell делают так, что они могут запуститься только в серверах Dell. Они бесполезны для других платформ. Как правило, продавцы б/у таких процессоров предупреждают об этом словами Locked. Это самое страшное вредительство. Хотя, если у вас есть платформа/сервер Dell, то для вас хорошо, так как залоченные процессоры (в особенности б/у) стоят дешевле.
Ещё один вариант, это специфические AGESA и микрокоды, тоже с целью помешать запуску на неадаптированных материнских платах.
Процессоры, о которых мы поговорим сегодня, как правило, имеют необычный номер модели, что отпугивает многих покупателей, а также малоизученную совместимость с материнскими платами. Также они не значатся в списках процессоров, официально поддерживаемых Microsoft: Windows 10 22H2, Windows 10 21H2, Windows 10 LTSC 1809.
1. OEM-версии Epyc 2-го поколения (серия 7002)
Поскольку совместимость основывается на слухах, то около каждой материнской платы будут указаны плюсики. Чем больше плюсиков, тем больше подтверждений совместимости.
| Модель | Характеристики | Особенность | Совместимость с MB |
|---|---|---|---|
| 7D12 100-000000044 |
32 ядра 1.1-3.0Ghz 128Mb 85W |
Энергоэффективный CPU Поддерживает только 4 планки памяти (+) |
Asus KRPA-16U (+) |
| 7K62 100-000000109 |
48 ядер 2.6-3.3Ghz 192Mb 240W |
OEM версия 7642 | Supermicro H11DSi (+) Supermicro H11DSi-NT (+) Asrock Rack EPYCD8 (+) Asrock Rack Romed8-2T (+) |
| 7B12 100-000000020 |
64 ядра 2.25-3.3Ghz 256Mb 240W |
Supermicro H11DSI-NT (+) |
2. OEM-версии Epyc 3-го поколения (серия 7003)
| Модель | Характеристики | Особенность | Совместимость с MB |
|---|---|---|---|
| 7R13 |
48 ядер 2.65-3.7GHz 280W |
||
| 7B13 100-000000335 |
64 ядра 2.2GHz-3.5GHz 240W |
По заказу Google Cloud Platform | Рекомендуется Supermicro |
| 7C13 100-000000315 |
64 ядра 2.2-3.675Ghz 256Mb 165-225W |
OEM версия 7713 Изменяемый TDP («C» в названии означает «configurable TDP»): можно не только занижать TDP, но и превышать его, фактически разгоняя процессор |
Supermicro H12SSL-i (100%) Asrock Rack Romed8-2T (+) |
| 7J13 100-000000346 |
64 ядра 2.45GHz-3.5GHz 280W |
Oracle, Аналог 7763 | |
| 7K83 100-000000347 |
64 ядра 2.45GHz-3.5GHz 280W |
Tencent Cloud, Аналог 7763 | |
| 7T83 100-000000348 |
64 ядра 2.45GHz-3.5GHz 280W |
Alibaba Cloud, основан на 7763 | |
| 7Y83 100-000000325 |
64 ядра 2.3GHz-3.5GHz 280W |
||
| 7V13 100-000000343 |
64 ядра 2.2GHz-3.5GHz 280W |
Azure, основан на 7763 | Asrock (+) |
| 7W83 100-000000314 |
64 ядра 2.2GHz-3.5GHz 280W |
Baidu Cloud, основан на 7763 |
Почти все (а, может, и вообще все) эти процессоры хорошо работают на платах Supermicro. По словам продавцов, если и бывают проблемы, то связанные с памятью, но не материнскими платами.
Напомню, что для этих процессоров оптимально использовать 8 модулей DIMM, желательно 2P. Так как контроллер памяти у Epyc 2-го и 3-го поколений 8-канальный.
3. Тестирование Epyc 7C13
Когда-то этот процессор промелькнул на сайте AMD, и кто-то успел сделать скриншот его характеристик:
▍ 3.0 Настройки биос для улучшения быстродействия
В биосе я отключил настройки связанные с аппаратным шифрованием памяти и шифрованием виртуальных машин. На скринах они выделены.
Вот документация от AMD по настройкам для Epyc.
▍ 3.1 Особенности процессора
Вот так процессор показывается в BIOS:
Вот так его определяет CPU-Z:
Буква «C» в названии идёт от cTDP, «configurable TDP». Эти процессоры можно сконфигурировать под охлаждающие способности серверов вендора. Если охлаждение плоховатое, то можно выставить TDP — 165 ватт или меньше, а если хорошее, то больше, паспортные 225 ватт. Или на свой страх и риск можно попробовать 240 или 280 ватт. При хорошем охлаждении риск очень и очень мал. Аналогичные кристаллы в Threadripper работают на частотах 4Ghz. Поэтому, даже если мы и разгоним все ядра до максимальных 3.65Ghz, то это ещё будет ниже предела, на который способен кремний. Другой вопрос, что системы питания материнских серверных плат не рассчитаны на разгон и могут накрыться. Поэтому я в своём эксперименте выставлял максимальный TDP 280Вт, что соответствует максимальному разрешённому TDP в серии Epyc 7003.
Дополнительным аргументом попробовать 280 Ватт TDP было то, что почти все 64-х ядерные OEM-процессоры 7003-серии делались с TDP 280 Ватт. Скорее всего, под нужды заказчика взяли типовой OEM-процессор и просто промаркировали его по-другому и разлочили изменение TDP.
▍ 3.2 Поддержка Windows на примере Windows 10 LTSС 1809
Я протестировал на столь древней версии Windows просто потому, что она у меня есть и полностью устраивает.
Интересный факт, что несмотря на то, что в диспетчере задач характеристики процессора показываются верно, Windows всё равно поддерживает его кривовато. Из-за того, что в процессоре 128 потоков Windows видит этот процессор на 2 кластера по 64 логических процессора. И большинство программ тестировщиков (кроме Cinebench) тестируют только один кластер. И поэтому занижают многопоточную производительность.
Решение у этой проблемы такое, что нужно в биос переключить процессор в режим без поддержки SMT (без гипертрейдинга), тогда будет 64 потока на 64 ядра, и производительность повысится, хоть будет и меньше на 10-20%, чем при нормальном использовании всех 128 потоков.
▍ 3.3 Результаты тестирования
Итак, в этом разделе я выставил настройку в биос на Perfomance, установил TDP и PDP на 280 Ватт. Материнская плата у меня Supermicro H12SSL-i.
Поскольку большинство программ-тестировщиков (кроме Cinebench) не умеют корректно тестировать 64-ядерные процессоры под моей версией Windows, то на результаты тестирования многопоточной производительности нужно смотреть с большой оглядкой.
Единственно, что остаётся надеяться, что планировщик Windows достаточно умён, чтобы распределить нагруженные потоки по одному на каждое физическое ядро, но я бы на это не рассчитывал.
По идее Windows 10 Pro и Enterprise должна без проблем работать с 64-ти ядерными процессорами. И она работает, только специфично, так что большинство программ-тестировщиков не могут её использовать на 100%.
Начнём со встроенного в CPU-Z теста производительности.
Он показывает, что несмотря на то, что Epyc проигрывает почти в 2 раза по одноядерной производительности, по многоядерной он почти в 2 раза сильнее. Multi Thread Ration — коэффициент, который показывает расчётное число процессоров, исходя из общей производительности, делённой на одноядерную около 64, что хорошо. Это действительно говорит, что в параллельном режиме ядра работают хорошо и не мешают друг другу.
Но с точностью теста производительности в CPU-Z в многоядерном режиме есть большие сомнения. Как показано ниже, он видит только 64 логических процессора.
Правда, нужно учесть, что результат одноядерной производительности не очень объективный. Возможно, это проблема вообще всех тестов. Дело в том, что тест в CPU-Z очень простой и он даже не в состоянии забить L3-кеш процессора. В реальных вычислениях монстроподобный L3-кеш Эпика в 256MB забьётся значительно позже, чем у Ryzen 7950X, и относительная производительность Epyc относительно Ryzen будет выше.
GeekBench 5 версии явно не умеет тестировать 64-ти ядерные процессоры под моей версией Windows.
GeekBench 5, Epyc 7C13
Если сравнить с результатом тестирования GeekBench 5, Epyc 7542 (32 cores) — то видна практически идентичная многоядерная производительность, GeekBench 5 не может нагрузить 7C13 под Windows 10 LTSС 1809.
А вот Geekbench 6 уже умеет тестировать 64-ти ядерные процессоры:
Geekbench 6, Epyc 7542
GeekBench 6, Epyc 7C13
По отношению к 32-ти ядерному 7542 в GeekBench 6 производительность поднялась примерно в 2 раза. Похоже, что вес баллов многопоточного тестирования в GeekBench 5 и 6 существенно отличается.
Во время GeekBench 6 я вывел загрузку по ядрам в диспетчере задач:
И посмотрел частоты по ядрам с помощью HwInfo64:
Мы видим, что под нагрузкой все ядра работают на ~2.7GHz.
А временами подскакивают до 3.1 Ghz по данным CPU-Z
Из последней картинки следует, что CPU-Z видит только 64 логических процессора.
Это приятно, что под нагрузкой все ядра работают на 35% быстрее, чем они должны выдавать при аналогичной загрузке по паспорту.
Тест Cpu Profile из 3DMark, похоже, что вообще не имеет использовать более, чем 32 потока, так как максимальная многопоточная производительность по нему ровно в 2 раза выше, чем у 16 потоков на том же процессоре.
Ну и посмотрим на результаты в Cinebench 24.
Как видно по одноядерной производительности, ничего особенного, уровень десктопного Threadripper 2990WX 3.0Ггц.
А вот многоядерная производительность приятно порадовала. Почти в 2 раза выше, чем у 20-ти ядерного Apple M1 Ultra.
▍ 3.4 Температура и потребляемая мощность при TDP 280W
Я использую воздушное охлаждение, Epyc Arctic Freezer 4U SP3, максимальный TDP 300W. Мой блок питания Corsair HX1000i (1000W) умеет строить график потребляемой и отдаваемой мощности, что оказалось весьма полезным для этой статьи.
Но тут нужно учесть, что в этом монстре стоит рейд-карта (~20W), 9 дисков HDD 3.5" (102W), видеокарта ASUS STRIX R9 Fury (~25W в неигровом режиме?), материнская плата (~10W), 8 кулеров (14W) и один U.2 NVMe (9W). Итого: 180W.
График мощности отдаваемого блоком питания без нагрузки процессора:
Получается, что без нагрузки процессор потребляет примерно 70 Ватт.
График мощности отдаваемого блоком питания со 100% нагрузкой процессора:
Процессор потребляет реально чуть менее 226 Ватт при установленном TDP в 280 Ватт. Если бы я был более рисковый парень, то я бы установил TDP в биос в 334 Ватта, чтобы получить реальных 280 Ватт, и тогда, возможно, все 64 ядра заработали бы ещё быстрее! Но я не настолько люблю рисковать и проверять не стал.
Если присмотреться к графику потребляемой мощности, то видно, что верхние границы шкалы выше верхней точки графика. Это означает, что есть динамические микроскачки мощности на 50 Ватт в режиме без нагрузки и на 16 Ватт под нагрузкой. Не знаю, с чем это связано, но, возможно, с тем, что включается шаговый двигатель у HDD. Но, может быть, и со скачками мощности у процессора. Лишний аргумент не усердствовать в оверклокинге (точнее, в overpowering?).
И ещё интересно, что даже 100% нагрузка и TDP 280W не заставили блок питания (1000W) включить кулер. Хорошо иметь запас по мощности!
Теперь о температуре. С TDP 280W и 100% загрузкой температура держалась в районе 67-68℃. Всё работало стабильно, кулер уже немного напрягался, но абсолютно терпимо для дневного времени, а вот спать уже в той же комнате некомфортно. Извините, нет оборудования для точного измерения децибел.
При TDP 225W температура составила 63℃. Звук слышный, но ненапряжный, уже спать можно в одной комнате с загруженным на 100% компом.
Информации о допустимых температурах для Epyc 3-го поколения в сети днём с огнём не найдёшь. Самый убедительный слух гласит, что максимальная допустимая температура — это 80℃, а температура, при которой чип разрушается — это ~100℃. С другой стороны, я помню, что AMD FX при температуре выше 65 градусов начинали глючить + есть ещё один слух, что для эпиков температура до 65℃ оптимальна. Поэтому я решил эксплуатировать при паспортной мощности. Буду рад, если знающие приведут более точные данные в комментариях.
На всякий случай приведу таблицу температур под нагрузкой из программы HwInfo64. Но, учтите, что температура Tdie (average), которая на картинке около 90% показывается неверно, это баг HwInfo64. Лучше ориентироваться на температуру Tctl/Tdie, которая показывает максимальную температуру из нескольких температурных датчиков на процессоре.
Если не считать забагованного датчика, то все температуры находятся в комфортных пределах.
▍ 3.5 Работа в паспортном режиме, 225W
Я выставил TDP и PPL в 225W в биос.
Только по причине того, что при TDP вентилятор звучит уже как-то немного напряжённо, я перевёл процессор в режим максимального паспортного TDP 225 Ватт.
Я в основном эксплуатирую комп под Linux, поэтому я дал нагрузку на все ядра с помощью PARI и посмотрел, на какой частоте они работают.
В Linux проще всего это сделать командой:
cat /proc/cpuinfo| grep Hzи оказалось:
cpu MHz : 2560.394
cpu MHz : 2560.390
cpu MHz : 2560.398
...
cpu MHz : 2560.398Что весьма достойно, и существенно лучше паспортной работы на 2.0Ghz при 100% нагрузке, которая, видимо, достигается при TDP 165 Ватт.
Кстати, на паспортном TDP этот проц протестировал один парень из-за границы. У него все ядра работали на ~2.42-2.43 Ггц. Что подтверждает мою гипотезу, что Epyc 7C13 просто перемаркированный и разблокированный типичный OEM Epyc 2.45GHz с TDP 280 Ватт, так что я, скорее всего, ничем не рисковал.
И теперь перейдём к тесту-тяжеловесу Cinebench 24.
Интересно то, что процессор в одноядерном режиме набрал примерно на 4% больше баллов, чем при TDP 280W. Это можно объяснить тем, что в Perfomance Mode биос старается повышать частоту сразу на всех ядрах.
А вот многоядерная производительность при 280W оказалась всего на 3.2% выше, чем при паспортном режиме. Можно сказать, что разгон оказался почти бесполезен.
▍ 3.6 Температура и мощность в паспортном режиме, 225W
Ожидаемо под полной нагрузкой система потребляла меньше мощности:
Правда всего на 18W меньше, а не на 55W (280-225).
И в режиме простоя тоже меньше:
На 21W меньше, а не на 55W. Чисто по потребляемой энергии выигрыш совсем небольшой.
Расклад по температурам можно посмотреть на скрине ниже. Помним об ошибочности датчика Tdie (average), который завышает показатели.
Если судить по данным HwInfo64, мы опустили температуру на 8℃ с 65℃ до 57℃. По данным Linux разница менее впечатляющая, около 4℃.
4. Риски в покупке Б/У процессоров
Есть мнение, что после тяжёлой эксплуатации процессоры становятся уязвимыми к поломкам и глюкам из-за повышенной диффузии атомов при нагревании и приложении электростатических сил. Возможно, в ближайшем будущем, так и будет из-за уменьшения техпроцесса. Процессоры превратятся в одноразовые картриджи, которые через 5 лет будут превращаться в тыкву, и их будут выкидывать. На практике я с этим не сталкивался. Более того, у меня есть сервер, который жужжит круглосуточно с 2008 года без всяких признаков «усталости» процессоров.
Скорее у материнской платы потеряют ёмкость конденсаторы. Но некоторые сталкивались с проблемами у б/у процессоров.
Мой знакомый поведал мне, что у него был случай, когда он столкнулся с убитыми Xeon 5620 и 5645. В партии б/у процессоров их было много, штук 20. Причём у всех были битыми только линии оперативки, хаотично.
Я подозреваю, дело было связано с тем, что их использовали с малым количеством термопасты (или вообще без неё). А может, это было началом проблем Intel с качеством продукции.
Подведу резюме. Это очень маловероятно, что процессор будет реально «изношенный» и прослужит вам очень мало. Обычно серверные процессоры хорошо охлаждаются и эксплуатируются в паспортном режиме. Но в теории, возможно.
5. Итоги
Итак, мы видим, что при наличии совместимой материнской платы, мы можем достичь довольно впечатляющих показателей многопоточной производительности (протестировано на Epyc 7C13), которая можем вам пригодиться для рендеринга, виртуализации, майнинга или научных вычислений.
Конкретный процессор Epyc 7C13 порадовал тем, что даже в паспортном режиме все ядра при полной нагрузке работают на 2.56Ghz. И даже можно «разогнать» их ещё выше до производительности более дорогой модели Epyc 7763 просто подняв TDP и PPL в биос до 280W. Это был приятный сюрприз.
Но толку от этого разгона мало: частота увеличивается всего 144MHz, а многоядерная производительность всего на 3.2%. Одноядерная падает на 4%. В сухом остатке разгон не имеет смысла.
Если всё же хотите максимальную производительность и вас не волнует уровень шума и энергопотребления, то можно взять процессор с TDP 280W, например, Epyc 7B13. И не придётся волноваться о выходе за пределы паспортного TDP Epyc 7C13. Но с другой стороны вы выиграете всего 3.2% при многопоточной нагрузке. Это на грани погрешности.
Поэтому как для серверного, так и для для домашнего применения Epyc 7С13 отлично подходит. Возможно, любители тишины и мощных домашних компов выставят ему TDP в 165 Ватт, учитывая малое снижение вычислительной мощи при существенном снижении TDP.
В целом OEM-процессоры Epyc — это находка для экономного сборщика. По коду мы можем даже определить конкретного облачного провайдера. У них дата-центры охлаждаются как нужно, они умеют наносить термопасту и не превышают TDP. Так что процессор не будет «уставшим».
Конечно, нужно помнить, что покупка Б/У оборудования — это некоторый риск, и если вы не имели никогда с этим дела или репутация продавца неидеальна, то не рискуйте.
Если вам нужно провести вычисления на мощном сервере, а связываться со сборкой серверов и покупкой процессоров нет желания, то вы можете всегда арендовать мощный сервер с 32, 64 или даже 128 ядрами у нас, в RUVDS.
© 2024 ООО «МТ ФИНАНС»
Telegram-канал со скидками, розыгрышами призов и новостями IT 💻
