company_banner

Семь дней и один сервер: как мы тестировали машины на базе AMD

    У нас был один сервер на базе нового процессора AMD, куча тестов, которые мы хотели прогнать, и неделя, чтобы проверить работу машины под реальной нагрузкой. Не то чтобы это был достаточный срок для близкого знакомства со свежей железкой, но когда постоянно тестируешь новинки и кастомизируешь сервисы, сложно остановиться.

    Какие тесты мы все-таки успели прогнать, в каких задачах «новичок» переиграл нашу рабочую лошадку из флагманского пула, а где уступил — рассказываем под катом.

    Представляем испытуемых

    Мы давно ждали возможности взять на тесты сервер с последним поколением процессоров AMD. Совсем недавно такая возможность нам представилась. Встречайте: Dell EMC PowerEdge R6515 на базе процессора AMD EPYC 7742.

    Ключевые характеристики CPU:

    • 64 ядра;

    • 128 потоков;

    • базовая частота 2.25GHz;

    • максимальная частота на ядро (boost) до 3.4GHz;

    • L1 cache – 4MiB;

    • L2 cache – 32MiB;

    • L3 cache – 256MiB. 

    Согласитесь, выглядит многообещающе. Недавно мы уже брали на тест серверы с процессорами от AMD прошлого поколения. Результат, увы, не впечатлил — приблизительно на уровне Intel пятилетней давности.

    А потом в интернете стали появляться восторженные статьи о новых CPU. Это разожгло в нас скепсис — разговоров много, а объективных тестовых показателей ни у кого нет. Все писали, что стало больше производительности, сократилось энергопотребление. Что серверы Dell EMC PowerEdge на базе процессором AMD подойдут для работы с требовательными ресурсоемкими приложениями и облачными сервисами (они используют чипы AMD EPYC, имеющие от 8 до 64 ядер и поддерживают высокоскоростной интерфейс PCIe 4.0). Поэтому мы решили любой ценой заполучить свежие процессоры и прогнать на них хотя бы основной набор тестов. Поскольку мы занимаемся виртуализацией — грубо говоря, отдаем заказчикам ядра — нам было интересно, как CPU поведет себя под нагрузкой.

    Сравнивать этот сервер мы будем с нашей текущей «рабочей лошадкой” — Dell Poweredge R740 с двумя Intel Xeon Gold 6254 на борту. Мы активно используем эти серверы уже около года.  Процессоры там отличные и подходят под любые задачи. Кроме, разве что, 1С. Здесь нужны более высокочастотные CPU. Для 1C используем Intel Xeon Gold 6244. Тут писали, как проводили на них тесты Гилёва.

    Пул тестовых задач

    Наша стандартная процедура тестирования проходит на двух уровнях:

    • серия тестов на самом сервере, «глазами провайдера»;

    • тестирование из виртуальных машин, размещенных на сервере — «глазами клиента».

    К сожалению, процесс отладки сервера внутри нашей инфраструктуры отнял часть драгоценного времени, и мы успели осуществить только несколько sysbench-тестов. Тем не менее, результаты получились весьма любопытные.

    Набор тестов

    Тест

    cmdline

    sysbench, max prime, one core

    taskset -c 0 sysbench --test=cpu --cpu-max-prime=20000 run

    sysbench, max prime, all cores

    sysbench --test=cpu --cpu-max-prime=100000 --num-threads=8 run

    sysbench, oltp-mysql, i thread

    sysbench --test=oltp --db-driver=mysql --mysql-db=test --mysql-user=root --mysql-socket=/var/lib/mysql/mysql.sock --mysql-table-engine=innodb --max-requests=0 --oltp-table-size=1000000 --max-time=300 --num-threads=$i run

    Все тесты проводились на виртуальной машине с 8 vCPU и 32Gb RAM.

    Результаты: стандартный пул КРОК

    Для затравки посмотрим на цифры с референсного Dell EMC PowerEdge R740:

    Тест

    Результат

    sysbench, max prime, one core

    total time: 19.1545s

    sysbench, max prime, all cores

    total time: 22.1102s

    sysbench, oltp-mysql, 1 thread

    828.69 tr. per sec.

    sysbench, oltp-mysql, 2 threads

    1605.72 tr. per sec.

    sysbench, oltp-mysql, 4 threads

    2992.22 tr. per sec.

    sysbench, oltp-mysql, 8 threads

    5927.20 tr. per sec.

    Результаты: сервер на базе AMD

    Результаты тестируемого Dell R6515 c AMD EPYC 7742:

    Тест

    Результат

    sysbench, max prime, one core

    total time: 15.6657s

    sysbench, max prime, all cores

    total time: 18.9329s

    sysbench, oltp-mysql, 1 thread

    1023.46 tr. per sec.

    sysbench, oltp-mysql, 2 threads

    1709.39 tr. per sec.

    sysbench, oltp-mysql, 4 threads

    3231.34 tr. per sec.

    sysbench, oltp-mysql, 8 threads

    4533.65 tr. per sec.

    Как видно из результатов, виртуальная машина на R6515 показала себя лучше, чем на R740, кроме OLTP теста на 8 тредов — здесь преимущество осталось за референсной машиной. Именно OLTP тестирование открыло небольшой подводный камушек: в 1, 2 и 4 тредах производительность отличная, а в 8 потоках процессор уже «зарывается». 

    Почему так происходит, сказать пока сложно. Чтобы понять процессор и научиться с ним работать, одной недели явно недостаточно. Хотелось бы провести дополнительные тесты в различных вариациях: например, «погонять» ВМ с 4 ядрами в четыре потока. Это позволило бы понять особенности работы CPU.

    Было бы очень интересно прогнать любимый всеми тест Гилёва и сравнить полученные результаты. Увы, время у нас было ограничено, поэтому тестировали самое основное.

    Выводы

    Давайте обсудим особенности каждого из наших испытуемых и попробуем подвести итог.

    Сервер Dell EMC R6515 c AMD EPYC 7742 однозначно интересен. У него высокая плотность ядер на юнит, хорошая производительность и несколько меньшая стоимость по сравнению с Dell из нашего флагманского пула: выгода около 40% в расчете на vCPU и 20% с учетом фактической производительности (price/performance).

    К минусам можно отнести высокое тепловыделение, но здесь всё зависит от системы кондиционирования в вашем ЦОДе.

    На выходе получился мощный комбайн для больших объемных задач, способный без проблем переваривать серьезные аналитические расчеты, CRM-системы, базы данных или множество виртуальных машин. Если говорить о стоимости — один этот процессор стоит дешевле, чем два Intel’а из нашего стандартного пула. Да и сам сервер стоит дешевле используемого сейчас R740. На выходе получается более высокая производительность за меньшие деньги.

    Мы с коллегами пришли к выводу, что процессор у AMD получился действительно хороший . Он отлично подойдет для реализации типовых сценариев. Возможно, AMD EPYC 7742 появятся в нашем облаке — мы постоянно кастомизируем сервисы, поэтому такой зверек может оказаться очень кстати.

    Разумеется, однозначно рекомендовать их мы не можем. Выбор железа основывается на задачах. Тестируйте разные варианты и выбирайте то, что лучше всего подойдет именно вам.

    По традиции, ждем ваших комментариев. Если у вас остались какие-то вопросы — будем рады ответить на них.

    КРОК
    IT-компания

    Комментарии 12

      0
      >>и поддерживают высокоскоростной интерфейс PCIe 4.0
      я так понял эта опция не тестировалась?
      А было бы интересно не проседает ли что, и в каком месте.
      Причем проверить все 128 линий, а не десяток другой и на том успокоиться.
        0
        Да, PCIe 4.0 не тестировали.
          +1
          у Linus Tech Tips есть прекрасное видео про Epyc и его 128 линий PCI-e. Если коротко, то они забили все линии 1го эпика 24мя NVMe накопителями, чтобы сделать ультра-мега-быструю СХД, но столкнулись с целым рядом проблем.
            +1
            >> и его 128 линий PCI-e
            на 4й минуте видно в 4х слотах карты с «глубыми кабелями», слот с сетевушкой и 3 свободных х16. Так что, на 128 не похоже.

            Но, это действительно то, что я имел ввиду.

            Спасибо.
        0
        .
          0
          Интересно было бы потестить 8 поточные нагрузки на базе Milan
            0
            Возможно, в скором времени протестируем и вернемся с результатами.
            0
            кто знает, что значит слово «пул»?
              0
              Под пулом мы понимаем группу серверов с одинаковой конфигурацией. В рамках одного пула запускаются экземпляры виртуальных машин с определенными параметрами.
              +1

              А bare metal тесты будут? Сразу на железе и сравнение с такими же тестами на xeon.

                +1
                в районе 50 баллов должен выдавать
                image

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое