Давайте начистоту, мировой рынок серверов устоялся. На нём закрепились мастодонты, вроде Dell, HPE, Lenovo, IBM, Cisco, Huawei и другие. Все производят плюс-минус схожие линейки серверов: башенные, стоечные, блейд-системы. 

Принципиально новых решений почти не появляется. Вышли на плато и скучную эволюционную модель развития. Но есть кое-что интересное, выбивающееся из серого однообразия — Dell PowerEdge VRTX. Модель не новая, но если стряхнуть пыль, то она сможет вас удивить.

Зови меня вэртекс, Dell вэртекс

Как уверяют ребята из Dell в своём блоге на Хабре, “VRTX” переводится с латыни как “высшая ступень”. Сильное заявление, спросить с ним я конечно не буду. 

Из этой же статьи видим, что “VRTX” правильно читается как “вэр-текс”. Так и запишем. Но уберегу вас от недопониманий: сисадмины, которых я знаю, называют эту шайтан-коробку “вэр-тэ-икс”. Вне контекста другие варианты не считываются на слух.

С чудо неймингом от маркетологов разобрались, идём дальше.

Где деньги, Вэртовски?

Dell VRTX — это блейд-система, поэтому она стоит как перо птицы гуйя. Всем спасибо за прочтение статьи, всем пока. 

Ладно, шутка :)

Но доля правды в ней есть. В 2013 году вэртекс (шасси + блейды) стоил прилично. Приведу пример с базовой комплектацией за $11 000 (≈$13 500 с поправкой на инфляцию):

  • 2 лезвия M520

Xeon E5-2403, 4 ядра и 1,8 ГГц; 8 ГБ DDR3; 500 ГБ SATA-диск и контроллер Dell iDRAC7 Express)

  • Шасси

Один CMC (Chassis Management Controller, расскажу про него ниже), 2 блока питания по 1100 Вт, три SAS Near-Line емкостью 1 ТБ

  • Стандартная трехлетняя гарантия Dell NBD на шасси и узлы

А сегодня за ≈$16 000 (до недавних событий ≈$11 800) вы получите следующее:

  • 4 лезвия M630

Xeon E5-2687W v3, 10 ядер и 3,1 ГГц; 128 ГБ DDR4; контроллер Dell iDRAC8 Express)

  • Шасси

Один CMC (Chassis Management Controller), 4 блока питания по 1100 Вт

  • Пятилетняя выездная гарантия Servermall на шасси и узлы

Да, нужно докупить диски, но вэртекс однозначно стал доступнее. Поэтому обсудим его предназначение.

Не место красит VRTX, а VRTX красит место

Dell позиционирует вэртекс как решение для SMB (small-medium business). Учитывая цену, я бы ориентировался на малый и средний бизнес, но некоторые макропредприятия также могут прикоснуться к прекрасному взять кредит с прекрасной ставкой от ЦБ, если того требует задача.

Критерии SMB

Предприятие

Сотрудники

Годовой оборот: Европейский союз

Годовой оборот: Россия

Микро

< 10

≤ €2 млн

≤ ₽120 млн

Малое

< 50

≤ €10 млн

≤ ₽800 млн

Среднее

< 250

≤ €50 млн

≤ ₽2 млрд

Но если немного отстраниться от цены, то есть важные преимущества Dell VRTX для небольших организаций: он не ревёт, как двигатель самолёта, он компактный, модульный (Blade-система) и самодостаточный: в одном шасси объединены серверы, СХД, сеть и управление.

И… Барабанная дробь…

ОНО — башенное (с возможностью прикрутить рельсы в стойку или колёсики).

Если классическим рэкам нужна дополнительная инфраструктура, то укомплектованный VRTX неплохо выступает соло. Не обязательны отдельное помещение и сплит-системы, огромные стойки и коммутаторы. 

Розетка, эзернет кабель и поехали.

Кручу-верчу — разный форм-фактор хочу 

Высота Dell PowerEdge VRTX — 5U. Как и у многих башенных серверов, есть два варианта по установке:

  1. Тёмная Башня

Ножки ничего не напоминают? Как по мне — очень похоже на это ↓
У него ещё колёсики можно прикрутить за ваши кровные.

Хорошо, что не эти.

  1. RACK & ROLL

Прикручиваем направляющие “ReadyRails II” и размещаем в стандартную 19’ стойку.

Расширяемость: лезвий много не бывает

В Dell VRTX можно установить до четырёх блейд-серверов M-cерии с горячей заменой (данные с сайта производителя).

WARNING! Первые попавшиеся блейды от Dell M1000e не подойдут – есть отдельные лезвия “для PE VRTX”. Вроде бы похожи, а нет – не заведутся.

Причём можно комбинировать двухсокетные полуформатные блейды с четырёхсокетными полноформатными. Или что-то одно – на ваш выбор.

Нумерация модулей: лезвий и накопителей.
В форм-факторе rack нумерация идёт аналогично.

Чтобы не ошибиться с выбором серверов для вашего шасси, продавец может попросить Service Tag. Посмотреть его можно на лицевой стороне, достав выдвижной лейбл.

Достаём этот лейбл. Аккуратно. Тянуть как в тренажерке не надо.
Внутри смотрим информацию.

Дальше будут технические характеристики последних поколений блейдов Dell PowerEdge: M630, M640 и M830. Старые M620, M520 и даже M610 поддерживаются, но я их обсуждать не буду. Смотрим и читаем ТХ под катом :)

  • Dell PowerEdge M630 (для PE VRTX) – двухсокетный полуформатный блейд-сервер

↓Технические характеристики↓

Процессор 

Семейство процессоров Intel Xeon E5-2600 v4, до 22 ядер каждый.

Операционная система

Microsoft® Windows Server® 2016;

Microsoft Windows Server 2012 R2;

SUSE® Linux Enterprise Server;

Red Hat® Enterprise Linux;

VMware® ESXi.

Память

До 1,5 Тбайт (24 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с (англ. megatransfers per second, MT/s).  Регистровая с поддержкой ECC.

Накопители

Жесткие диски с возможностью горячей замены:

PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD До 4 x 1.8" SSD. До 2 x 2.5" PCIe SSDs. Максимум 12.8TB

Контроллеры запоминающих устройств

Внутренние контроллеры:

S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P.

  • Dell PowerEdge M640 (для PE VRTX) – двухсокетный полуформатный блейд-сервер

↓Технические характеристики↓ 

Процессор

Семейство процессоров Intel® 2nd Generation Xeon® Scalable, до 28 ядер каждый.

Операционная система

Microsoft Windows Server® with Hyper-V;

Novell® SUSE® Linux Enterprise Server;

Red Hat® Enterprise Linux;

Canonical® Ubuntu® LTS;

SUSE® Linux Enterprise Server

Опциональные гипервизоры:

Citrix® XenServer®;

VMware® ESXi.

Память

До 2 Тбайт (16 разъемов для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32, 64 или 128 Гбайт с пропускной способностью до 2 933 МТ/с. Регистровая с поддержкой ECC.

Накопители

Жесткие диски с возможностью горячей замены:

До 2 x 2.5” SAS/SATA (HDD/SSD), NVMe SSD, максимум 12.8TB.

Контроллеры запоминающих устройств

PERC S140 (программный RAID-контроллер), PERC 9 H330, H730P.

  • Dell PowerEdge M830 (для PE VRTX) — четырёхсокетный полноформатный блейд-сервер

Технические характеристики↓ 

Процессор

Семейство процессоров Intel Xeon семейства E5-4600 v4, до 22 ядер каждый.

Операционная система

Microsoft Windows Server® 2008/2012 R2 (with

Hyper-V® enabled);

Microsoft Windows Server 2012 (with Hyper-V enabled);

Microsoft Windows Server 2008/2012 Datacenter (with

Hyper-V enabled);

Microsoft Windows Server 2008 R2 SP1 (with Hyper-V

enabled);

Microsoft Windows Server 2008 R2 SP2 x64/x86 (with

Hyper-V enabled);

Novell® SUSE® Linux Enterprise Server;

Red Hat® Enterprise Linux;

Опциональные гипервизоры:

Citrix® XenServer®;

VMware® ESXi.

Память

До 3 Тбайт (48 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с. Регистровая с поддержкой ECC.

Накопители

Жесткие диски с возможностью горячей замены:

PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD 12 x 1.8" SSD;

SATA HDD/SSD или SAS HDD/SSD 4 x 2.5";

PCIe SSD 2 x 2.5" и 2 x 2.5" SATA HDD/SSD или SAS HDD SSD.

Контроллеры запоминающих устройств

PERC S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P.

К̶о̶ф̶е̶ Шасси 2 в 1

Найди 25 отличий.

Самое интересное инженерное решение в вэртексе — это встроенная система хранения данных в двух вариантах: на 25 SFF или на 12 LFF накопителей (SSD и HDD). Учтите это при покупке шасси, так как корзину позже заменить нельзя. По интерфейсам – NLSAS, SAS, или SAS SSD. 

Слоты общего хранилища подключаются к одному или двум RAID-контроллерам PERC через коммутируемый 6 Гигабитный SAS. PERC управляется через CMC (Chassis Management Controller) и позволяет настраивать RAID-массивы, а затем разделять их на отдельные виртуальные диски, которые привязываются к одному или нескольким блейдам.

Таблица с характеристиками поддерживаемых RAID.

Модели

Поддержка интерфейса

Поддержка PCI

Разъемы SAS

Размер кэш-памяти

Кэш обратной записи

Уровни RAID

RAID-контроллер PowerEdge (PERC) серии 10 

S140 Программный RAID 

6 Гбит / с SATA 

N / A 

N / A 

Нет кэша 

Нет кэша 

0,1,5,10 

RAID-контроллер PowerEdge (PERC) серии 9

S130 Программный RAID

6 Гбит / с SATA

N / A

N / A

Нет кэша 

Нет кэша 

0,1,5,10

Адаптер PERC H330

12 Гбит / с SAS 6

Гбит / с SATA

PCI-Экспресс 3.0

2x4 Внутренний

Нет кэша 

Нет кэша 

0,1,5,10,50

Адаптер PERC H730

12 Гбит / с SAS 6

Гбит / с SATA

PCI-Экспресс 3.0

2x4 Внутренний

1 ГБ NV

Кэш с поддержкой Flash

0,1,5,6,10,50,60

Адаптер PERC H730P

12 Гбит / с SAS 6

Гбит / с SATA

PCI-Экспресс 3.0

2x4 Внутренний

2 ГБ NV

Кэш с поддержкой Flash

0,1,5,6,10,50,60

Управление шасси без регистрации, но с CMC

CMС или Chassis Management Controller – это аппаратно-программное решение для управления несколькими blade-серверами через GUI по протоколу IPMI (Integrated Lights-Out). Некий аналог BMC (Baseboard Management Controller), но для всех лезвий и других систем одного VRTX. Подробнее про IPMI и BMC можно почитать в другой моей статье.

Плата CMC.

С аппаратной точки зрения это контроллер с собственным процессором и Flash-памятью, интерфейсы которого выходят на заднюю часть шасси VRTX (да, у M1000e он тоже есть, но они абсолютно разные и несовместимы). 

СMC с индикаторами и интерфейсами.
1 – Индикатор состояния / идентификации (CMC 1); 2 – Индикатор питания (CMC 1); 3 – Индикатор питания (CMC 2); 4 – Индикатор состояния / идентификации (CMC 2);

Индикатор

Состояние

Описание

Индикатор питания

Горит зелёным

CMC получает питание

Выключен

CMC не получает питание

Индикатор состояния / идентификации

Синий

CMC активен и работает нормально

Желтовато-оранжевый

CMC находится в неисправном состоянии

Программно он обеспечивает защищённый доступ через IPMI WEB-интерфейс, чтобы сисадмин мог просматривать консоль инвентаризации и мониторинга в режиме реального времени, менять настройки, удалённо управлять серверными узлами, вентиляторами, питанием, СХД, подсистемами PCIe, а также включать оповещения о событиях на серверах и в компонентах шасси VRTX.

Добавлю, что если вы уже работали с WEB-интерфейсом iDRAC или CMC M1000e, то вы легко справитесь и CMC VRTX. Это как пересесть с обычного велосипеда на горный :)

Интерфейс CMC.

На Хабре уже есть подробная статья от Dell про начало работы в CMC. Повторяться не буду, но оставлю ссылку.

Питание: кушать подано

Вэртекс — парень прожорливый. Он поддерживает до 4-ёх БП переменного тока с сертификацией Platinum Plus.

Самое классное — это резервирование по схеме 3+1 или 2+2. Но учтите, что в схеме 2+2 два блока питания подключаются к одной сети, а другие два — к другой. 

Мощность — 1100 Вт или 1600 Вт, комбинировать нельзя, нужны одинаковые.

Интересный факт. VRTX можно перевести в ждущий режим. Почти все комплектующие перестанут получать питание, кроме дежурного для CMC-контроллера, ЖК-дисплея и двух вентиляторов для охлаждения. 

Сеть, мастер на все шины

Dell VRTX поддерживает до 8 портов Ethernet. На выбор есть или коммутационная плата (для установки внутрь на холодную) или технология pass-through.

В современные шасси Dell VRTX на выбор устанавливается следующее:

  • Внутренний 24-портовый коммутатор 1GbE;

  • Внутренний 8-портовый сквозной модуль 1GbE;

  • Внутренний свитч на 10GbE.

В блейд серверах картина такая:

  • В M520 используется четырехпортовый LOM 1 GbE;

  • M620 имеет 10 GbE NDC (network daughter card), включая карты Broadcom и Intel, совместимые с 1 GbE;

  • Лезвия M630 и M640 имеют как 1 GbE, так и 10 GbE NDC.

Мэппинг портов на блейдах половинной высоты.

Подключение блейдов половинной высоты через свитч.
Мэппинг портов на блейдах полной высоты.
Подключение блейдов полной высоты через свитч.
Конфигурация через технологию pass-through.
Список поддерживаемых карт под катом:
  • 6 Gb/s SAS HBA (low-profile и full-height) – только для M520, M620 и M820

  • Broadcom dual-port 1 Gb Base-T (low-profile и full-height)

  • Broadcom quad-port 1 Gb Base-T (low-profile и full-height)

  • Intel dual-port 1 Gb Base-T (low-profile и full-height)

  • Intel dual-port 10 Gb Base-T (low-profile и full-height)

  • Intel dual-port 10 Gb Base-SFP+ (low-profile и full-height)

  • Intel quad-port 1 Gb Base-T (low-profile и full-height)

  • Intel quad-port 10 Gb Base-SFP+ (low-profile и full-height)

  • Broadcom dual-port 10 Gb Base-SFP+ (low-profile и full-height)

  • Broadcom dual-port 10 Gb Base-T (low-profile и full-height)

  • Emulex FC8: LPe12002 8 Gb/s Dual Port (low profile и full height)

  • Qlogic FC16 single-port HBA (low profile и full height) – только для M630

  • Micron P420M MLC PCIe 1.4 TB Solid-State Storage Card (full height) – только для M630

  • Micron P420M MLC PCIe 700 GB Solid-State Storage Card (full height) – только для M630 

Немного о корпусе и архитектуре 

Корпус изготовлен преимущественно из металла, покрытого приятной на ощупь краской. Местами есть пластмассовые элементы. Вентилятор и блоки питания очень просто достаются на горячую и заменяются. На передней части корпуса есть миниатюрный ЖК-дисплей с кнопками управления. Штука полезная, с него, например, можно провести первичную настройку CMC, проверить состояние вентиляторов.

Встроенный KVM на месте. С его помощью по интерфейсам можно подключиться к отдельному северному узлу в шасси. При этом можно обойтись без подключения клавиатуры, мыши и монитора. Спасибо CMC-контроллеру.

Передняя и боковая крышки закрываются на ключ. Вы ведь помните позиционирование VRTX? Офисы, где полно любопытных сотрудников. А вэртекс привлекает внимание — не сомневайтесь.

Заглянув под крышку Dell PE VRTX, понимаешь, что инженеры очень постарались, чтобы уместить 4 сервера, коммутатор и СХД в компактный корпус 5U. 

Вид сбоку без крышки.

Из интересного.

Для Fabrics B и С вместо привычных модулей ввода и вывода Dell сделала слоты PCIe и два внутренних свитча (Fab B Switch, Fab C Switch).

Fab B свитч обеспечивает подключение к следующим слотам:

  • PCIe 3;

  • PCIe 6;

  • PCIe 7;

  • PCIe 8;

  • SPERC (Shared PowerEdge RAID Controller)

Fab C свитчу отдали другие:

  • PCIe 1;

  • PCIe 2;

  • PCIe 4;

  • PCIe 5;

Всего на борту 3 полновысотных и 5 низкопрофильных PCIe. Подробнее в таблице.

Слот

Fabric

Ширина

Поддерживаемый размер карты

Максимальная выделенная мощность

1

C

x8

(FH) Full-Height

150W

2

C

x8

(FH) Full-Height

150W

3

B

x8

(FH) Full-Height

150W

4

C

x8

(LP) Low-Profile

25W

5

C

x8

(LP) Low-Profile

25W

6

B

x8

(LP) Low-Profile

25W

7

B

x8

(LP) Low-Profile

25W

8

B

x8

(LP) Low-Profile

25W

PERC

B

x8

PERC-mini

25W

Внутренняя наклейка с инструкцией по дальнейшей разборке.

Как раз за этой наклейкой находится Riser Card с тремя PCIe слотами. Выглядит она следующим образом.

1 – Разъем карты расширения PCIe 3; 2 – Разъем карты расширения PCIe 2; 3 – Разъем карты расширения PCIe 1; 4 – Chassis intrusion switch 5 – Разъем для кабеля питания;

Опционально туда можно установить полноразмерную GPGPU (General-purpose computing on graphics processing units). Совместимость лучше уточняйте у производителя карты или у продавца перед покупкой. Но официальный список поддерживаемых карт от Dell не обновлялся с 2020:

  • AMD FirePro W7000;

  • NVIDIA K2 active GPGPU (full height).

 

Цены: VRTX vs TOWER. FIGHT!

Пришло время смертельных приемов! В небольшие офисы обычно берут башенные серверы. Вот и посмотрим, что выгоднее взять: 4 штуки Dell T630 или один Dell PE VRTX с 4 лезвиями M630 одинаковой конфигурации. Для удобства буду округлять до тысяч, а также рассчитаю стоимость без учёта софта и дисков. 

Цены на 29.04.2022, актуальные можно посмотреть на нашем сайте servermall.ru

Решение с Dell VRTX

Решение с Dell T630

Шасси Dell VRTX + 4 х БП по 1100W;

4 штуки Dell M630:

2 x Xeon E5-2687w v3;

ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом.

Итого: 1 273 050 руб.

4 штуки Dell R630:

2 x Xeon E5-2667 v3 в каждом;

ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом;

2 х БП Dell 750w Hot Plug в каждом.

Итого: 4 x 264 000 = 1 056 000 руб.

СХД на 25 SFF дисков встроено в шасси.

СХД СХД Dell JBOD ME424HD SAS 24 SFF – 392 000 руб.

Коммутатор встроен в шасси.

Коммутатор Dell N2024 – 42 000 руб.

Итого: 1 273 000 руб.

Итого: 1 490 000 руб. + понадобятся патч-корды для коммутации между всеми устройствами.

И учитывайте, что 4 сервера, СХД и коммутатор потреблют больше электроэенергии. 

Fatality!

Резюмируем

Плюсы:

  • Универсальный комбайн, объединяющий в себе серверы, СХД (до 48 ТБ), сети, системы мониторинга и управления;

  • Компактное башенное решение формата 5U для малого и среднего бизнеса, удобно размещать в маленьких и домашних офисах, где нет серверной;

  • Портативность и быстрое развёртывание (обработка чего-либо сразу на объекте). Да, 4 сервера Dell T630 можно поставить под столы сотрудникам в офисе, но загрузить их в багажник и поехать на объект — уже проблема. 

  • Относительно низкий уровень шума – 35-37 дБА, тогда как один стоечный Dell R630 выдаёт 29-43 дБА, в зависимости от конфигурации.

Для сравнения напольный вентилятор Zanussi ZFF-910, который находится у нас в офисе, выдаёт 37 дБ на расстоянии 1м. Слышно, но работать не мешает;

  • Два варианта установки: tower и rack;

  • Масштабируемость и вариативность: до 4-х двухпроцессорных или до 2-х четырёхпроцессорных блейдов;

  • Меньше патч-кордов и проще коммутация, так как не нужно отдельно подключаться к каждому серверу;

  • Удобное управление сетевыми подключениями;

  • Возможность удобного управления из одной консоли без установки дополнительного софта;

  • Высокая надёжность, почти все элементы можно зарезервировать;

  • Можно установить огромное количество памяти, например, для виртуализации. До 2 Тб в M640, а всего 8 Тб.

Минусы:

  • Есть слабые места. Например, одна коммутационная плата Backplane у шасси. Если выйдет из строя, то упадут все серверы VRTX;

  • Масштабируемость ограничена пределами шасси;

  • Невозможность разделения. Чтобы перенести половину серверов в другой кластер, нужно ещё одно шасси;

  • Отставание от классических серверов. У Dell в прошлом году вышло 15-ое поколение, а модули для VRTX максимум 14-ого.

Я бы сказал, что Dell VRTX — это не отдельное устройство, а самодостаточная серверная с питанием от розетки 220 В. И если в 2013 цена кусалась, то в 2022 вэртекс можно приобрести за адекватные деньги.