Еще, казалось бы, недавно для всех нас деревья были выше, трава зеленее, а в качестве накопителей в серверах и СХД применялись только жесткие диски. Однако сейчас уже привычные SATA/SAS SSD считаются вполне заурядными компонентами систем хранения данных. Более того, все чаще начинают применяться NVMe SSD. Они используются не только для задач кэширования, но и для хранения оперативных данных. Поэтому на рынке растет число предлагаемых All Flash NVMe решений.
Первыми на эту стезю вступили производители серверов, которые добавили поддержку отдельных NVMe накопителей, устанавливаемых в выделенные слоты. Позже появились универсальные бэкплейны, поддерживающие как классические SATA/SAS накопители, так и U.2 NVMe в зависимости от используемого контроллера. В СХД же применение NVMe SSD как-то буксовало. Долгое время подобные накопители применялись в качестве кэша и/или хранения ОЗУ контроллера в случаях внезапного отключения электропитания (Cache-2-Flash). В этом случае SSD, как правило, форм-фактора М.2 устанавливаются в контроллеры или отдельные отсеки корпуса СХД. Однако относительно недавно на рынке появились полноценные All Flash NVMe СХД, где в качестве единственно поддерживаемых накопителей используются U.2 NVMe SSD. QSAN Technology как один из вендоров современных СХД не смог пройти мимо этого, без преувеличения, лакомого сегмента рынка, выпустив собственное решение – All Flash NVMe XF3126D. Именно про эту СХД и пойдет речь в данной статье.
Заказчики, выбирающие All Flash на базе NVMe SSD вместо классических SAS, хотят в первую очередь увеличить производительность. Как правило, это справедливо для случайного доступа – тогда ожидаем роста показателей IOPS. Но иногда не помешает и увеличение скорости потоковых операций (пропускная способность в МБ/с, хотя в этом случае уместнее уже говорить о ГБ/с). Другим немаловажным параметром является задержка доступа (latency). Получить этот показатель ниже 1 мс на длительном промежутке времени – задача, почти недостижимая для All Flash SAS массивов (разумеется, речь идет об адекватном значении производительности в 200K+ IOPS). А вот при использовании All Flash NVMe легко достичь показателей 0.5 мс и даже ниже.
Стоит отметить, что на текущий момент стоимость U.2 NVMe SSD равна, а иногда даже ниже стоимости SAS SSD аналогичного объема, что вкупе с более высокой производительностью и сниженными задержками делает выбор в пользу All Flash NVMe СХД не просто желательным, а скорее предпочтительным.
All Flash NVMe Qsan XF3126D представляет собой единое шасси типоразмера 3U с двумя контроллерами, вмещающим в себя 26 SSD. Число накопителей выбрано по аналогии с достаточно популярной моделью корпуса от классических СХД QSAN 2U26. За 4 с лишним года присутствия на рынке решения 2U26 никто из конкурентов так и не повторил/не улучшил данную конструкцию. Поэтому и сейчас XF3126D с корпусом 3U26 значительно отличается от продуктов других вендоров большим числом накопителей (у остальных обычно 24-25 отсеков). Однако высоту шасси пришлось увеличить до 3U из-за возросших требований к охлаждению контроллеров.
Зато теперь на передней панели нашлось место для размещения модуля Cache-2-Flash. Как и прежде, модуль поддерживает «горячую» замену и для его обслуживания не нужно извлекать контроллер или блок питания.
Контроллеры построены на базе актуального процессора Intel Scalable Xeon Bronze 6 cores. Имеется 6 разъемов для установки памяти с поддержкой внушительного максимального объема до 384ГБ на контроллер. В базовой комплектации объем заметно ниже – 16ГБ на контроллер, чего, впрочем, вполне достаточно для нормальной работы СХД.
Штатные интерфейсы подключения каждого контроллера – 2 порта 10GbE iSCSI SFP+. Также имеются два слота расширения для установки опциональных карт:
2x 10GbE iSCSI RJ-45
4x 10GbE iSCSI SFP+
2x 25GbE iSCSI
4x 16G Fibre Channel
2x 32G Fibre Channel
Стоит отметить, что каждый слот соответствует стандарту PCI-E Gen3 x8, что позволяет обеспечить адекватную пропускную способность для любой из карт расширения интерфейсов. Разумеется, что в рамках одного All Flash NVMe можно совмещать различные типы интерфейсов, то есть возможна одновременная работа по протоколам iSCSI и Fibre Channel.
Важной аппаратной особенностью является отсутствие возможности расширения XF3126D: более, чем 26 SSD NVMe в рамках единой системы установить нельзя. На первый взгляд это вызывает некоторое недоумение. Ведь сейчас даже простенькие NAS обзавелись (пусть и опциональной) поддержкой полок расширения, а тут All Flash NVMe не расширяем. Однако на деле не все так просто. В классических СХД для подключения JBOD используется интерфейс SAS, который достаточно дешев в реализации. В результате полки расширения стоят заметно дешевле самих СХД и потому достаточно популярны. В All Flash NVMe использование SAS будет означать удавку на шее производительности для накопителей, находящихся внутри JBOD. Поэтому в подобных устройствах полки расширения подключаются так же, как и внутренние SSD через интерфейс NVMe (проприетарный, NVMe-of-Fabric, RoCE и пр.). Но в этом случае подобная полка расширения будет уже не просто экспандером, а вплотную приблизится по сложности реализации к контроллерам самого All Flash NVMe. В результате стоимость таких полок расширения – JBOF будет достаточно высока. Подход QSAN в данном вопросе вполне имеет право на жизнь: лучше купить еще один All Flash NVMe и получить максимально возможную производительность, чем пытаться масштабировать существующую систему, увеличивая лишь доступную емкость.
Для проформы отметим, что при использовании уже отнюдь не редких SSD NVMe 15.68TB даже в случае RAID10 полезная емкость XF3126D будет достигать более 200TB, что подходит для немалого количества сценариев работы.
Раз уж зашла речь о накопителях, стоит отметить, пожалуй, одну из ключевых особенностей продукции QSAN – поддержку накопителей сторонних производителей. На текущий момент едва ли найдется еще один All Flash NVMe на рынке, который не накладывает на пользователя ограничений на использование SSD NVMe. Так что, да, вы можете самостоятельно купить SSD NVMe где угодно, не переплачивая за бренд. Конечно же, свериться с листом совместимости все равно придется. Дело в том, что для работы SSD NVMe одновременно с двумя контроллерами от накопителя требуется поддержка режима dual port. По факту это означает, что стандартный интерфейс накопителя PCI-E Gen3 x4 делится надвое. К сожалению, далеко не все доступные на рынке SSD NVMe поддерживают такой функционал. Но среди поддерживаемых накопителей имеются широко представленные в России модели от Micron, Samsung и WD.
Небольшое лирическое отступление. Ни для кого не секрет, что сейчас все еще наблюдается истерия на рынке накопителей в связи с криптовалютой Chia, из-за которой стоимость дисков резко взлетела. Приятная новость заключается в том, что U.2 SSD NVMe не нужны «охотникам за сокровищами» из-за дорогой инфраструктуры. Конечно же производители/дистрибьютеры не смогли не воспользоваться ситуацией для «корректировки» цен. Но в целом подорожание не столь заметное на фоне HDD. Так что сегодня покупка All Flash NVMe как никогда выгодна.
В качестве внутренней операционной системы используется обновленная версия XEVO, которая впервые была представлена еще в предыдущей версии QSAN SAS AFA XF2026D. Управление All Flash NVMe предельно лаконично и доступно: запуск массива в работу возможен буквально за несколько кликов. Как и полагается, присутствует аналитика параметров производительности с глубиной просмотра до одного года и возможностью экспорта отчетов. Плюс, в удобной графической форме предоставляется информация о доступном ресурсе каждого SSD.
Важной особенностью XF3126D является то, что это – исключительно блочное устройство, в то время как продукты конкурентов представляют собой Unified системы (хоть и в ряде случаев без реализации файлового доступа). С точки зрения функционала Unified системы потенциально более продвинуты. Но блочные устройства, в свою очередь, имеют также ряд преимуществ:
Более низкие требования к аппаратной составляющей. Как пример – 16ГБ памяти на контроллер вполне достаточно для работы XF3126D. Для Unified систем только для старта внутренней ОС нужно в разы больше ОЗУ.
Хосты работают напрямую с «железом» массива без использования промежуточной файловой системы СХД, что позволяет получить достаточно высокую производительность даже без специальной оптимизации.
Безусловно, наличие внутренней файловой системы позволяет реализовать такие востребованные в All Flash функции, как компрессия и дедупликация. Однако, давайте вспомним, из-за чего появились подобные механизмы устранения избыточности (как, впрочем, и давно уже привычный AutoTiering в классических СХД) – из-за дороговизны SSD. QSAN же предлагает использовать предельно доступные накопители сторонних производителей без ущерба производительности. Безусловно, использование дедупликации в ряде сценариев (VDI, например) оправданно в любом случае. И потому переход на рельсы Unified в будущем для QSAN также неизбежен. Сейчас же конкретный продукт XF3126-D выглядит на фоне конкурентов весьма привлекательно. Ведь привычный функционал в виде создания пулов с распределенными дисками hot spare (RAID EE), снапшотов, асинхронной и синхронной репликации присутствует.
А теперь обратим внимание на то, ради чего это продукт вышел на рынок – на производительность.
Конфигурация тестового стенда:
XF3126-D
24x Dual Port NVMe SSD Micron 7300 PRO, MTFDHBE960TDF, 960GB
2 пула 12x RAID10, по одному пулу на контроллер массива
На каждом пуле создано по 4 тома 100GB
Volume Stripe Size: 64 KB, Block Size: 512 Byte
2 сервера, подключение через Fibre Channel 16G, каждый сервер соединен с обоими контроллерами двумя портами, т.е. 4 пути с каждого сервера до массива
Тестовое ПО Vdbench
Workers: 2 x 4 (1 Worker to 1 Volume)
Outstanding I/ Os: 128
Сравнивая аналогичные показатели с AFA на базе классического SAS, не сложно заметить, что производительность увеличилась. Причем особенно это заметно на операциях записи за счет значительно более быстрых накопителей. Также особо отметим, что в реальной практике стали доступны сценарии использования массива с предельно низкими значениями задержек. Даже при latency в 0.3 мс легко обеспечиваются 100K+ IOPS.
Уже никто не сомневается, что будущее твердотельных накопителей за SSD NVMe. И сегодня входной билет в этот мир как никогда доступен. Тем более, когда вы сами вправе выбрать, где и какие накопители купить. Skilline, являясь эксклюзивным дистрибьютером AFA QSAN в России, всегда готов обеспечить вам поддержку в ваших начинаниях. Как раз сейчас системы XF3126D есть на складе в Москве для бесплатного тестирования и покупки.
