Революция флэш-памяти… Она продолжается уже пять лет. Причем все только начинается. Столь радикальных изменений в технологиях хранения, какие происходят сегодня, еще не было. Практически все ведущие вендоры СХД за последние годы представили собственные системы хранения класса AFA (All-Flash Array), целиком построенные на флэш-памяти. Твердотельные накопители широко применяются и в серверах среднего и старшего класса, значительно повышая производительность систем благодаря низким задержкам и высокому быстродействию твердотельных накопителей SSD (Solid State Drive) в IOPS (операциях ввода-вывода в секунду).
Использование SSD заметно уменьшает время загрузки операционной системы сервера, запуска приложений и виртуальных машин. Накопители SSD также позволили значительно ускорить работу чувствительных к задержке приложений, таких как транзакционные базы данных. В России такие системы успешно внедряются, например, в страховых компаниях и банках.
По прогнозу Transparency Market Research (TMR), мировой рынок накопителей SSD всех типов до 2022 года будет расти ежегодно более чем на 40% и достигнет 229,4 млрд. долларов. Наиболее высокими темпами будет развиваться сегмент накопителей SSD корпоративного класса – среднегодовые темпы роста составят 76,3%. В числе производителей SSD разного класса — Lite-on Technology, Kingston Technology, OCZ Storage Solutions, Intel, Western Digital.
Доли вендоров на мировом рынке SSD в единицах продукции на второй квартал 2015 года (по данным TrendFocus).
Изменение долей рынка производителей флэш-памяти NAND за последние шесть лет.
Поставки накопителей SSD на мировой рынок ведущими вендорами в млн. штук (данные TrendFocus).
Значительное влияние на рынок SSD оказала память 3D NAND, применяемая в настоящее время в продуктах Samsung серии 850 и 950. Другие вендоры активно работают в данном направлении и в следующем году наладят массовое производство флэш-памяти 3D — MLC и TLC. По оценкам SMI, уже в 2019 году вся флэш-память будет производиться по технологии 3D.
В первом квартале 2016 года поставки SSD в мире выросли на 32,7% год к году (данные TrendFocus). Их общая емкость составила порядка 10 экзабайт, на 77% превысив показатели годовалой давности. А средняя емкость одного накопителя увеличилась на 33%.
Доли производителей накопителей SSD на мировом рынке за последние кварталы (данные TrendFocus).
Устройства на основе памяти NAND активно вытесняют традиционные накопители на жестких дисках (HDD). Продажи последних за тот же период упали на 20%. Поставки флэш-накопителей корпоративного класса увеличились в первом квартале на 69%. В мире было продано примерно 4 млн. таких устройств.
Поставки продуктов SSD на мировой рынок за последние кварталы по видам применения – клиентские (синий) и корпоративные (красный) в млн. штук (данные TrendFocus).
Samsung, Intel и HGST – основные поставщики накопителей SSD корпоративного класса. Их совокупная доля рынка составляет 80%. Samsung также остается лидером мирового рынка SSD всех типов с долей более 40%.
Доли производителей SSD на мировом рынке (данные TrendFocus).
В системах для ответственных приложений продолжается переход с дисковых накопителей 10K/15K HDD на SSD, но, поскольку один накопитель SSD корпоративного класса заменяет по производительности несколько HDD, поставки флэш-памяти с интерфейсами PCIe и SAS невелики. В первом квартале в мере было продано 164 тыс. корпоративных SSD PCIe и 590 тыс. SSD SAS. Продажи SSD с интерфейсом SATA за тот же период составили 2,95 млн. устройств.
Поставки SSD корпоративного класса по типам интерфейсов (данные Trendfocus). Поставки устройств с интерфейсами PCIe и SAS растут, но довольно низкими темпами.
Повышение производительности SSD за счет перехода на форм-фактор NVMe и новые контроллеры способствовало внедрению флэш-памяти в высокопроизводительных системах, где она продолжает вытеснять традиционные накопители на жестких дисках.
Хотя цены на твердотельные накопители постепенно падают, стоимость хранения гигабайта данных на HDD пока еще значительно ниже. Но с появлением памяти 3D NAND цены на флэш-память стали быстро снижаться, и можно ожидать, что рынок корпоративных HDD, применяемых для хранения основных рабочих данных, начнет сокращаться.
По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж накопителей SSD в мире превысит продажи HDD в денежном выражении.
По прогнозу аналитиков Gartner, в 2017 году мировые продажи накопителей SSD корпоративного класса опередят продажи HDD. В ближайшие три года объем продаж продуктов SSD в корпоративном сегменте (в денежном выражении) будет расти в среднем на 20% в год, в то время как продажи HDD – лишь на 4%.
Технологии флэш-памяти корпоративного класса быстро развиваются, появляются новые форм-факторы накопителей, совершенствуются интерфейсы. Серверные SSD можно разделить на два основных больших сегмента: устройства NVMe с интерфейсом PCIe для самых требовательных задач и накопители SATA для остальных нагрузок.
Например, Dell применяет в новейших моделях четырехсокетных серверов PowerEdge накопители Express Flash NVMe PCIe SSD. По данным вендора, они на порядок превосходят по производительности ввода-вывода «традиционные» SSD.
Серверные флэш-накопители выпускаются в разнообразных форм-факторах:
Solid-State Drive (SSD): аналогичен традиционному HDD. Наиболее распространены SSD 3,5", 2,5" и 1,8". Толщина накопителей может быть разной – от соответствующей HDD до 5 мм. Обычно они имеют интерфейсы SATA, SAS или NVMe. Так что именовать все флэш-накопители «SSD» формально неверно, но для простоты мы не следуем этому правилу.
Add-in card (AIC): типовая дополнительная плата, вставляемая в слот PCIe. Такие платы могут быть разных размеров: полной или половинной высоты и ширины, полной или половинной длины и низкопрофильные.
M.2: плата с флэш-памятью, устанавливаемая внутри сервера. Имеет ширину 22 мм и длину от 30 до 110 мм. Может устанавливаться в специальные слоты PCIe или SATA. Микросхемы флэш-памяти могут располагаться с одной стороны или с двух сторон платы. Потребляет такой накопитель меньше устройств SSD или AIC. Первоначально шина M.2 разрабатывалась как более скоростная и компактная замена mSATA.
mSATA: аналогичен форм-фактору M.2, но создан для портативных устройств, а не для серверов.
Disk on Module (DOM): маленький модуль на материнской плате. Обычно имеет небольшую емкость, достаточную для загрузки системы или для встроенных приложений.
NVDIMM (non-volatile DIMM): этот форм-фактор предназначен для установки твердотельного накопителя в разъем DIMM на шине памяти и содержит некоторое количество энергозависимой памяти DRAM и энергонезависимую NVDIMM. Накопители такого форм-фактора (Storage Class Memory) работают со скоростью оперативной памяти, то есть быстрее, чем устанавливаемые на шину PCIe, но требуют специальной поддержки на уровне материнской платы и BIOS/UEFI, чтобы система могла распознать разные типы памяти в DIMM.
Модуль NVDIMM-N содержит DRAM и NVM, но система видит только DRAM — стандартный RDIMM с характерными для DRAM емкостью и задержкой. К NVM сервер не обращается: эта память используется для резервирования DRAM и имеет как минимум такую же емкость как DRAM. Таким образом, хранящиеся в DIMM данные защищены от отказов питания: для этого используется специальный конденсатор, емкости которого достаточно, чтобы при отказе питания переписать данные в энергонезависимую память. В остальном NVDIMM-N ведет себя как обычный модуль DRAM. NVDIMM-N имеет также другое название — NVRAM.
Еще один тип модулей, NVDIMM-F, содержит только NVM (без DRAM). Накопитель NVM имеет емкость типовых SSD и поддерживает блочный доступ, но задержка у него меньше, чем у других SSD – обычно несколько микросекунд.
Третий тип, NVDIMM-P, включает DRAM и NVM, объединяя в одном модуле функции NVDIMM-N и NVDIMM-F. Одна область флэш-памяти в нем используется для блочного хранения, другая – для резервирования DRAM.
Наряду с форм-факторами флэш-накопители отличает также разнообразие интерфейсов.
Во флэш-накопителях корпоративного класса применяются следующие интерфейсы:
SATA (Serial ATA): обычно используется в недорогих продуктах форм-факторов SSD, M.2, DOM и mSATA. Это интерфейс «точка-точка» со скоростью до 6 Гбит/с.
SAS (Serial Attached SCSI): применяется, как правило, в устройствах SSD и HDD корпоративного класса. Поддерживает до 65535 устройств на соединение. Он получил распространение в массивах корпоративного класса, JBOD и серверах. В настоящее время скорость SAS — 12 Гбит/с, в 2018-2019 годах, после выпуска PCIe 4.0 ожидается ее удвоение.
U.2 (ранее SFF-8639): поддерживается в PCIe/NVMe SSD. U.2 обратно совместим с SAS, то есть к нему можно подключать устройства NVMe, SAS и SATA.
PCI Express (PCIe): поддерживает устройства форм-факторов AIC и M.2. У AIC 4 линии, а не 16, как у PCIe. Соответственно скорость – 8 Гбит/с. Устройства M.2 обычно задействуют 2 или 4 линии PCIe. Интерфейс PCIe 2.0 x2 имеет теоретическую пропускную способность 8 Гбит/с (1 Гбайт/с), у PCIe 2.0 x4 она составляет 16 Гбит/с (2 Гбайта/с), у PCIe 3.0 x4 32 Гбит/с (4 Гбайт/с), однако реальная пропускная способность примерно на 20% ниже.
DIMM: теперь используется не только в качестве интерфейса памяти, но и в продуктах хранения данных. Модули памяти DDR4 поддерживают скорость до 19,2 Гбайт/с, а задержка составляет десятки наносекунд.
Различаются флэш-накопители и поддерживаемыми протоколами. Протокол – набор команд для конкретного интерфейса. Так интерфейс SATA поддерживает протокол SATA, SAS – SAS (или SCSI). Относительно новый протокол NVMe разработан специально для энергонезависимой памяти. Для выполнения запроса ввода-вывода он требует меньше команд процессора. NVMe также использует распараллеливание операций в многоядерных процессорах. Поддерживается 64К команд на очередь и 64К очередей, то есть возможно значительное число ожидающих операций ввода-вывода.
Одна из целей разработки NVMe – значительное сокращение задержки. В настоящее время NVMe поддерживается накопителями любого форм-фактора с интерфейсом PCIe. Однако устройства NVMe достаточно дороги.
В планах развития NVMe – протокол NVMe over Fabrics, которых позволит NVMe работать на больших расстояниях, используя фабрики RDMA или Fibre Channel.
Сегодня SSD нередко применяют в сочетании с HDD для кэширования данных при чтении или чтении/записи. Этот метод хорошо работает для повышения производительности приложений в случае внешних флэш-массивов, но еще лучше – когда флэш-память находится в самом сервере, ближе к процессору.
Флэш-накопители отвечают таким тенденциям отрасли, как обработка массивов данных в памяти (in-memory), виртуализация и облачные сервисы, появляются новые возможности для оптимизации хранения данных. И в результате полностью меняется экономика ЦОД.
В ряде случаев компаниям за счет внедрения флэш-массивов удается на треть снизить TCO на 33%, многократно увеличить производительность инфраструктуры хранения данных, почти вдвое сократить потребление электроэнергии, более чем на порядок повысить производительность приложений и на 40% уменьшить время отклика при работе с ними, более чем наполовину снизить стоимость поддержки инфраструктуры хранения данных. Владельцам коммерческих ЦОД данные технологии позволяют при заключении соглашений SLA на облачные сервисы гарантировать клиентам определенную скорость доступа к СХД (в IOPS).
Семейство твердотельных накопителей Intel для центров данных с интерфейсом SATA пополннео накопителем Intel серии S3610. Intel DC серии S3710 — новое поколение твердотельных накопителей для центров обработки данных, оптимизированных для нагрузок как с большим количеством операций записи, так и чтения.
Твердотельный накопитель Intel серии DC S3610 обеспечивает повышение скорость чтения/записи до 550/5201 Мбайт/с, а скорость чтения/записи блоками по 4 К — до 84 000/28 0001 IOPS. Типичное время задержки в приложениях составляет 55 мкс, максимальные задержки операций чтения — 500 мкс на протяжении 99,9% времени. Энергопотребление в активном состоянии — менее 6,8 Вт.
Флэш-накопители оказывают влияние и на веб-хостинг, облачные вычисления. Более того, объединенные в RAID-массив они позволяют получить производительность в облаке, которая не может быть достигнута на домашнем ПК. Иногда клиентам предоставляется возможность самостоятельно оценить, что дает использование SSD корпоративного уровня для виртуальных серверов.
Ведущие провайдеры все чаще используют SSD в серверах, которые служат платформой для виртуальных серверов клиентов (VPS), на которых обычно и размещаются веб-сайты. Такой вариант хостинга стоит дороже, но оптимален для высоконагруженных сайтов (с большим количеством операций ввода-вывода), например, сайтов, где работают базы данных, размещаются блоги или форумы, сайтов электронной коммерции и пр. Однако у него есть свои сложности.
Емкость твердотельных накопителей для серверов стремительно растет и скоро может превзойти емкость HDD. Например, Samsung выпустила SSD в форм-факторе 2,5" емкостью 15 Тбайт. С увеличение плотности флэш-памяти NAND накопители становятся все более компактными. Так твердотельный накопитель форм-фактора M.2 можно использовать как очень быстрый загрузочный носитель, занимающий в сервере намного меньше места, чем 2,5" HDD.
Между тем, у серверных SSD есть ограничения. И это не только подчас запредельная цена и превышающая показатели HDD стоимость хранения гигабайта данных. Такую емкость достаточно трудно сделать общедоступной, разделяемой между вычислительными узлами системы, хотя некоторые ОС и гипервизоры позволяют создавать такие кластеры, например, VMware VSAN 6.2 или Microsoft Server 2016 с поддержкой Storage Spaces Direct. Такие программные средства позволяют строить высокодоступные системы со встроенными накопителями SATA, SAS или NVMe, причем поддерживают сжатие, дедупликацию данных и QoS.
Оснащенные SSD серверы позволяют эффективно решать такие задачи как редактирование видео, поиск в крупных базах данных, обработка транзакций, дают возможность устранить узкие места в средах виртуализации и облачных вычислениях.
Современные SSD достаточно долговечны и способны выдержать пять лет интенсивного использования, то есть вполне вписываются в жизненный цикл сервера.
По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж SSD в мире превысит продажи HDD в денежном выражении.
Между тем при использовании SSD большинство контроллеров RAID в режиме RAID 5 становятся узким местом в системе, поэтому для защиты данных рекомендуют использовать RAID 1 или 10 в программной реализации. А для задач с интенсивной записью (сбор данных от датчиков, запись видео и пр.) могут потребоваться SSD с увеличенным сроком службы – их выпускают несколько вендоров.
Показательны также примеры использования флэш-памяти нового поколения ведущими вендорами в своих флагманских СХД.
HPE продолжает работать над оптимизацией своей флэш-системы 3PAR. Для этих целей используются новейшее поколение флэш-памяти 3D NAND в накопителях емкостью 7.68 и 15,36 Тбайт. Последний более чем в 15 раз превосходит HDD 1,8" 10K при в 10 раз меньшей задержке. Усовершенствованная технология HPE Adaptive Sparing динамически присваивая не только резервную, но и неиспользуемую емкость, что помогает процессу внутренней «сборки мусора» накопителя при больших емкостях. Чтобы с увеличением общей емкости системы узким местом не стал интерфейс доступа к данным, используется технология Express Layout, позволяющая обоим контроллерам в паре узлов параллельно работать с SSD через интерфейс SAS 12 Гбит/c.
Флэш-память становится массовым продуктом, «бездисковый» ЦОД, целиком построенный на флэш-накопителях – уже реальность, на подходе новые накопители SSD и интерфейсы, активно развиваются направления Storage Class Memory и NVMe.
Есть также целый ряд приложений, которым не нужны высокие показатели IOPS, но требуется очень малая и предсказуемая задержка. Новое поколение накопителей как нельзя лучше подходит для подобных задач.
В СХД Dell SC9000 используется новая серверная платформа Dell PowerEdge с четырьмя 8-ядерными процессорами 3,2 ГГц и оперативной памятью емкостью до 512 Гбайт. Емкость флэш-массива составляет до 46 Тбайт на 1U (без сжатия данных). Такой плотности удалось добиться благодаря применению в СХД трехуровневой флэш-памяти Samsung TLC 3D NAND. Чтобы увеличить срок службы 3D NAND, инженеры Dell задействовали механизм тиринга — перемещения данных между уровнями хранения. Первый уровень представлен флэш-памятью SLC или eMLC, выдерживающей большое количество циклов перезаписи, второй — памятью 3D NAND, в которую записываются относительно редко используемые данные, причем в сжатом виде. В некоторых моделях есть и третий уровень — HDD. Для еще более экономного использования емкости хранения можно задействовать механизмы дедупликации. Конфигурацию системы (соотношение емкости разных видов флэш-памяти и жестких дисков) можно подбирать с учетом характера нагрузки.
С внедрением технологии 3D NAND значительно выросла плотность флэш-памяти. Ближайшее будущее (2017 год) – появление на рынке флэш-памяти QLC с четырьмя битами на ячейку стоимостью 30 долларов за терабайт емкости. Емкость SSD превысит емкость дисковых накопителей, которая приближается к физическому пределу. Уже анонсированы SSD емкостью 16 Тбайт, и к 2020 году появятся флэш-память емкостью 40 Тбайт на устройство.
В числе новых разработок — память X-Point от Intel/Micron, которая поспорит по скорости с накопителями NVMe, но потребует изменений в системном программном обеспечении. Ее массовое внедрение может начаться в 2017 году.
Samsung анонсировала четвертое поколение 3D NAND – с 64 слоями вместо 48 и увеличенной до 800 Мбит/м скоростью интерфейса. Емкость накопителя размером 11,5х13 мм на памяти TLC составляет 1 Тбайт. На смену прежнему продукту 16TB PM1633a SAS SSD приходит новый накопитель 32TB PM1643, а карта PM1725 PCIe дополнена моделью PM1735 с интерфейсом PCIe 4x8.
Lenovo вместе с партнерами, такими как Seagate, NxGn Data и Amphenol, ведет разработку твердотельного накопителя для серверов и систем хранения (Project Spark). Накопитель Lenovo отличается небольшими размерами и предназначен для установки в стоечные серверы 1U, поддерживает горячую замену. Одна из версий этого накопителя имеет емкость 48 Тбайт и занимает место двух 2,5-дюймовых накопителей.
Уже сегодня твердотельные накопители для ЦОД повышают эффективность обработки данных, предлагает премиум-качество и снижают затраты на электроэнергию. Новые разработки открывают перспективы, которые сейчас даже трудно себе представить, и могут привести к радикальным изменениям в архитектуре вычислительных систем и дата-центров.
Использование SSD заметно уменьшает время загрузки операционной системы сервера, запуска приложений и виртуальных машин. Накопители SSD также позволили значительно ускорить работу чувствительных к задержке приложений, таких как транзакционные базы данных. В России такие системы успешно внедряются, например, в страховых компаниях и банках.
Мировой рынок накопителей SSD
По прогнозу Transparency Market Research (TMR), мировой рынок накопителей SSD всех типов до 2022 года будет расти ежегодно более чем на 40% и достигнет 229,4 млрд. долларов. Наиболее высокими темпами будет развиваться сегмент накопителей SSD корпоративного класса – среднегодовые темпы роста составят 76,3%. В числе производителей SSD разного класса — Lite-on Technology, Kingston Technology, OCZ Storage Solutions, Intel, Western Digital.
Доли вендоров на мировом рынке SSD в единицах продукции на второй квартал 2015 года (по данным TrendFocus).
Изменение долей рынка производителей флэш-памяти NAND за последние шесть лет.
Поставки накопителей SSD на мировой рынок ведущими вендорами в млн. штук (данные TrendFocus).
Значительное влияние на рынок SSD оказала память 3D NAND, применяемая в настоящее время в продуктах Samsung серии 850 и 950. Другие вендоры активно работают в данном направлении и в следующем году наладят массовое производство флэш-памяти 3D — MLC и TLC. По оценкам SMI, уже в 2019 году вся флэш-память будет производиться по технологии 3D.
В первом квартале 2016 года поставки SSD в мире выросли на 32,7% год к году (данные TrendFocus). Их общая емкость составила порядка 10 экзабайт, на 77% превысив показатели годовалой давности. А средняя емкость одного накопителя увеличилась на 33%.
Доли производителей накопителей SSD на мировом рынке за последние кварталы (данные TrendFocus).
Устройства на основе памяти NAND активно вытесняют традиционные накопители на жестких дисках (HDD). Продажи последних за тот же период упали на 20%. Поставки флэш-накопителей корпоративного класса увеличились в первом квартале на 69%. В мире было продано примерно 4 млн. таких устройств.
Поставки продуктов SSD на мировой рынок за последние кварталы по видам применения – клиентские (синий) и корпоративные (красный) в млн. штук (данные TrendFocus).
Samsung, Intel и HGST – основные поставщики накопителей SSD корпоративного класса. Их совокупная доля рынка составляет 80%. Samsung также остается лидером мирового рынка SSD всех типов с долей более 40%.
Доли производителей SSD на мировом рынке (данные TrendFocus).
В системах для ответственных приложений продолжается переход с дисковых накопителей 10K/15K HDD на SSD, но, поскольку один накопитель SSD корпоративного класса заменяет по производительности несколько HDD, поставки флэш-памяти с интерфейсами PCIe и SAS невелики. В первом квартале в мере было продано 164 тыс. корпоративных SSD PCIe и 590 тыс. SSD SAS. Продажи SSD с интерфейсом SATA за тот же период составили 2,95 млн. устройств.
Поставки SSD корпоративного класса по типам интерфейсов (данные Trendfocus). Поставки устройств с интерфейсами PCIe и SAS растут, но довольно низкими темпами.
Повышение производительности SSD за счет перехода на форм-фактор NVMe и новые контроллеры способствовало внедрению флэш-памяти в высокопроизводительных системах, где она продолжает вытеснять традиционные накопители на жестких дисках.
Хотя цены на твердотельные накопители постепенно падают, стоимость хранения гигабайта данных на HDD пока еще значительно ниже. Но с появлением памяти 3D NAND цены на флэш-память стали быстро снижаться, и можно ожидать, что рынок корпоративных HDD, применяемых для хранения основных рабочих данных, начнет сокращаться.
По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж накопителей SSD в мире превысит продажи HDD в денежном выражении.
По прогнозу аналитиков Gartner, в 2017 году мировые продажи накопителей SSD корпоративного класса опередят продажи HDD. В ближайшие три года объем продаж продуктов SSD в корпоративном сегменте (в денежном выражении) будет расти в среднем на 20% в год, в то время как продажи HDD – лишь на 4%.
Технологии флэш-памяти корпоративного класса быстро развиваются, появляются новые форм-факторы накопителей, совершенствуются интерфейсы. Серверные SSD можно разделить на два основных больших сегмента: устройства NVMe с интерфейсом PCIe для самых требовательных задач и накопители SATA для остальных нагрузок.
Например, Dell применяет в новейших моделях четырехсокетных серверов PowerEdge накопители Express Flash NVMe PCIe SSD. По данным вендора, они на порядок превосходят по производительности ввода-вывода «традиционные» SSD.
Форм-факторы корпоративных накопителей SSD
Серверные флэш-накопители выпускаются в разнообразных форм-факторах:
Solid-State Drive (SSD): аналогичен традиционному HDD. Наиболее распространены SSD 3,5", 2,5" и 1,8". Толщина накопителей может быть разной – от соответствующей HDD до 5 мм. Обычно они имеют интерфейсы SATA, SAS или NVMe. Так что именовать все флэш-накопители «SSD» формально неверно, но для простоты мы не следуем этому правилу.
Add-in card (AIC): типовая дополнительная плата, вставляемая в слот PCIe. Такие платы могут быть разных размеров: полной или половинной высоты и ширины, полной или половинной длины и низкопрофильные.
M.2: плата с флэш-памятью, устанавливаемая внутри сервера. Имеет ширину 22 мм и длину от 30 до 110 мм. Может устанавливаться в специальные слоты PCIe или SATA. Микросхемы флэш-памяти могут располагаться с одной стороны или с двух сторон платы. Потребляет такой накопитель меньше устройств SSD или AIC. Первоначально шина M.2 разрабатывалась как более скоростная и компактная замена mSATA.
mSATA: аналогичен форм-фактору M.2, но создан для портативных устройств, а не для серверов.
Disk on Module (DOM): маленький модуль на материнской плате. Обычно имеет небольшую емкость, достаточную для загрузки системы или для встроенных приложений.
NVDIMM (non-volatile DIMM): этот форм-фактор предназначен для установки твердотельного накопителя в разъем DIMM на шине памяти и содержит некоторое количество энергозависимой памяти DRAM и энергонезависимую NVDIMM. Накопители такого форм-фактора (Storage Class Memory) работают со скоростью оперативной памяти, то есть быстрее, чем устанавливаемые на шину PCIe, но требуют специальной поддержки на уровне материнской платы и BIOS/UEFI, чтобы система могла распознать разные типы памяти в DIMM.
Модуль NVDIMM-N содержит DRAM и NVM, но система видит только DRAM — стандартный RDIMM с характерными для DRAM емкостью и задержкой. К NVM сервер не обращается: эта память используется для резервирования DRAM и имеет как минимум такую же емкость как DRAM. Таким образом, хранящиеся в DIMM данные защищены от отказов питания: для этого используется специальный конденсатор, емкости которого достаточно, чтобы при отказе питания переписать данные в энергонезависимую память. В остальном NVDIMM-N ведет себя как обычный модуль DRAM. NVDIMM-N имеет также другое название — NVRAM.
Еще один тип модулей, NVDIMM-F, содержит только NVM (без DRAM). Накопитель NVM имеет емкость типовых SSD и поддерживает блочный доступ, но задержка у него меньше, чем у других SSD – обычно несколько микросекунд.
Третий тип, NVDIMM-P, включает DRAM и NVM, объединяя в одном модуле функции NVDIMM-N и NVDIMM-F. Одна область флэш-памяти в нем используется для блочного хранения, другая – для резервирования DRAM.
Наряду с форм-факторами флэш-накопители отличает также разнообразие интерфейсов.
Интерфейсы и протоколы флэш-накопителей
Во флэш-накопителях корпоративного класса применяются следующие интерфейсы:
SATA (Serial ATA): обычно используется в недорогих продуктах форм-факторов SSD, M.2, DOM и mSATA. Это интерфейс «точка-точка» со скоростью до 6 Гбит/с.
SAS (Serial Attached SCSI): применяется, как правило, в устройствах SSD и HDD корпоративного класса. Поддерживает до 65535 устройств на соединение. Он получил распространение в массивах корпоративного класса, JBOD и серверах. В настоящее время скорость SAS — 12 Гбит/с, в 2018-2019 годах, после выпуска PCIe 4.0 ожидается ее удвоение.
U.2 (ранее SFF-8639): поддерживается в PCIe/NVMe SSD. U.2 обратно совместим с SAS, то есть к нему можно подключать устройства NVMe, SAS и SATA.
PCI Express (PCIe): поддерживает устройства форм-факторов AIC и M.2. У AIC 4 линии, а не 16, как у PCIe. Соответственно скорость – 8 Гбит/с. Устройства M.2 обычно задействуют 2 или 4 линии PCIe. Интерфейс PCIe 2.0 x2 имеет теоретическую пропускную способность 8 Гбит/с (1 Гбайт/с), у PCIe 2.0 x4 она составляет 16 Гбит/с (2 Гбайта/с), у PCIe 3.0 x4 32 Гбит/с (4 Гбайт/с), однако реальная пропускная способность примерно на 20% ниже.
DIMM: теперь используется не только в качестве интерфейса памяти, но и в продуктах хранения данных. Модули памяти DDR4 поддерживают скорость до 19,2 Гбайт/с, а задержка составляет десятки наносекунд.
Различаются флэш-накопители и поддерживаемыми протоколами. Протокол – набор команд для конкретного интерфейса. Так интерфейс SATA поддерживает протокол SATA, SAS – SAS (или SCSI). Относительно новый протокол NVMe разработан специально для энергонезависимой памяти. Для выполнения запроса ввода-вывода он требует меньше команд процессора. NVMe также использует распараллеливание операций в многоядерных процессорах. Поддерживается 64К команд на очередь и 64К очередей, то есть возможно значительное число ожидающих операций ввода-вывода.
Одна из целей разработки NVMe – значительное сокращение задержки. В настоящее время NVMe поддерживается накопителями любого форм-фактора с интерфейсом PCIe. Однако устройства NVMe достаточно дороги.
В планах развития NVMe – протокол NVMe over Fabrics, которых позволит NVMe работать на больших расстояниях, используя фабрики RDMA или Fibre Channel.
SSD в дата-центрах: бездисковый ЦОД
Сегодня SSD нередко применяют в сочетании с HDD для кэширования данных при чтении или чтении/записи. Этот метод хорошо работает для повышения производительности приложений в случае внешних флэш-массивов, но еще лучше – когда флэш-память находится в самом сервере, ближе к процессору.
Флэш-накопители отвечают таким тенденциям отрасли, как обработка массивов данных в памяти (in-memory), виртуализация и облачные сервисы, появляются новые возможности для оптимизации хранения данных. И в результате полностью меняется экономика ЦОД.
В ряде случаев компаниям за счет внедрения флэш-массивов удается на треть снизить TCO на 33%, многократно увеличить производительность инфраструктуры хранения данных, почти вдвое сократить потребление электроэнергии, более чем на порядок повысить производительность приложений и на 40% уменьшить время отклика при работе с ними, более чем наполовину снизить стоимость поддержки инфраструктуры хранения данных. Владельцам коммерческих ЦОД данные технологии позволяют при заключении соглашений SLA на облачные сервисы гарантировать клиентам определенную скорость доступа к СХД (в IOPS).
Семейство твердотельных накопителей Intel для центров данных с интерфейсом SATA пополннео накопителем Intel серии S3610. Intel DC серии S3710 — новое поколение твердотельных накопителей для центров обработки данных, оптимизированных для нагрузок как с большим количеством операций записи, так и чтения.
Твердотельный накопитель Intel серии DC S3610 обеспечивает повышение скорость чтения/записи до 550/5201 Мбайт/с, а скорость чтения/записи блоками по 4 К — до 84 000/28 0001 IOPS. Типичное время задержки в приложениях составляет 55 мкс, максимальные задержки операций чтения — 500 мкс на протяжении 99,9% времени. Энергопотребление в активном состоянии — менее 6,8 Вт.
Флэш-накопители оказывают влияние и на веб-хостинг, облачные вычисления. Более того, объединенные в RAID-массив они позволяют получить производительность в облаке, которая не может быть достигнута на домашнем ПК. Иногда клиентам предоставляется возможность самостоятельно оценить, что дает использование SSD корпоративного уровня для виртуальных серверов.
Ведущие провайдеры все чаще используют SSD в серверах, которые служат платформой для виртуальных серверов клиентов (VPS), на которых обычно и размещаются веб-сайты. Такой вариант хостинга стоит дороже, но оптимален для высоконагруженных сайтов (с большим количеством операций ввода-вывода), например, сайтов, где работают базы данных, размещаются блоги или форумы, сайтов электронной коммерции и пр. Однако у него есть свои сложности.
Флэш-память в серверах: емкость и ограничения
Емкость твердотельных накопителей для серверов стремительно растет и скоро может превзойти емкость HDD. Например, Samsung выпустила SSD в форм-факторе 2,5" емкостью 15 Тбайт. С увеличение плотности флэш-памяти NAND накопители становятся все более компактными. Так твердотельный накопитель форм-фактора M.2 можно использовать как очень быстрый загрузочный носитель, занимающий в сервере намного меньше места, чем 2,5" HDD.
Между тем, у серверных SSD есть ограничения. И это не только подчас запредельная цена и превышающая показатели HDD стоимость хранения гигабайта данных. Такую емкость достаточно трудно сделать общедоступной, разделяемой между вычислительными узлами системы, хотя некоторые ОС и гипервизоры позволяют создавать такие кластеры, например, VMware VSAN 6.2 или Microsoft Server 2016 с поддержкой Storage Spaces Direct. Такие программные средства позволяют строить высокодоступные системы со встроенными накопителями SATA, SAS или NVMe, причем поддерживают сжатие, дедупликацию данных и QoS.
Оснащенные SSD серверы позволяют эффективно решать такие задачи как редактирование видео, поиск в крупных базах данных, обработка транзакций, дают возможность устранить узкие места в средах виртуализации и облачных вычислениях.
Современные SSD достаточно долговечны и способны выдержать пять лет интенсивного использования, то есть вполне вписываются в жизненный цикл сервера.
По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж SSD в мире превысит продажи HDD в денежном выражении.
Между тем при использовании SSD большинство контроллеров RAID в режиме RAID 5 становятся узким местом в системе, поэтому для защиты данных рекомендуют использовать RAID 1 или 10 в программной реализации. А для задач с интенсивной записью (сбор данных от датчиков, запись видео и пр.) могут потребоваться SSD с увеличенным сроком службы – их выпускают несколько вендоров.
Флэш-память в СХД: что это дает
Показательны также примеры использования флэш-памяти нового поколения ведущими вендорами в своих флагманских СХД.
HPE продолжает работать над оптимизацией своей флэш-системы 3PAR. Для этих целей используются новейшее поколение флэш-памяти 3D NAND в накопителях емкостью 7.68 и 15,36 Тбайт. Последний более чем в 15 раз превосходит HDD 1,8" 10K при в 10 раз меньшей задержке. Усовершенствованная технология HPE Adaptive Sparing динамически присваивая не только резервную, но и неиспользуемую емкость, что помогает процессу внутренней «сборки мусора» накопителя при больших емкостях. Чтобы с увеличением общей емкости системы узким местом не стал интерфейс доступа к данным, используется технология Express Layout, позволяющая обоим контроллерам в паре узлов параллельно работать с SSD через интерфейс SAS 12 Гбит/c.
Флэш-память становится массовым продуктом, «бездисковый» ЦОД, целиком построенный на флэш-накопителях – уже реальность, на подходе новые накопители SSD и интерфейсы, активно развиваются направления Storage Class Memory и NVMe.
Есть также целый ряд приложений, которым не нужны высокие показатели IOPS, но требуется очень малая и предсказуемая задержка. Новое поколение накопителей как нельзя лучше подходит для подобных задач.
В СХД Dell SC9000 используется новая серверная платформа Dell PowerEdge с четырьмя 8-ядерными процессорами 3,2 ГГц и оперативной памятью емкостью до 512 Гбайт. Емкость флэш-массива составляет до 46 Тбайт на 1U (без сжатия данных). Такой плотности удалось добиться благодаря применению в СХД трехуровневой флэш-памяти Samsung TLC 3D NAND. Чтобы увеличить срок службы 3D NAND, инженеры Dell задействовали механизм тиринга — перемещения данных между уровнями хранения. Первый уровень представлен флэш-памятью SLC или eMLC, выдерживающей большое количество циклов перезаписи, второй — памятью 3D NAND, в которую записываются относительно редко используемые данные, причем в сжатом виде. В некоторых моделях есть и третий уровень — HDD. Для еще более экономного использования емкости хранения можно задействовать механизмы дедупликации. Конфигурацию системы (соотношение емкости разных видов флэш-памяти и жестких дисков) можно подбирать с учетом характера нагрузки.
Перспективы флэш-памяти
С внедрением технологии 3D NAND значительно выросла плотность флэш-памяти. Ближайшее будущее (2017 год) – появление на рынке флэш-памяти QLC с четырьмя битами на ячейку стоимостью 30 долларов за терабайт емкости. Емкость SSD превысит емкость дисковых накопителей, которая приближается к физическому пределу. Уже анонсированы SSD емкостью 16 Тбайт, и к 2020 году появятся флэш-память емкостью 40 Тбайт на устройство.
В числе новых разработок — память X-Point от Intel/Micron, которая поспорит по скорости с накопителями NVMe, но потребует изменений в системном программном обеспечении. Ее массовое внедрение может начаться в 2017 году.
Samsung анонсировала четвертое поколение 3D NAND – с 64 слоями вместо 48 и увеличенной до 800 Мбит/м скоростью интерфейса. Емкость накопителя размером 11,5х13 мм на памяти TLC составляет 1 Тбайт. На смену прежнему продукту 16TB PM1633a SAS SSD приходит новый накопитель 32TB PM1643, а карта PM1725 PCIe дополнена моделью PM1735 с интерфейсом PCIe 4x8.
Lenovo вместе с партнерами, такими как Seagate, NxGn Data и Amphenol, ведет разработку твердотельного накопителя для серверов и систем хранения (Project Spark). Накопитель Lenovo отличается небольшими размерами и предназначен для установки в стоечные серверы 1U, поддерживает горячую замену. Одна из версий этого накопителя имеет емкость 48 Тбайт и занимает место двух 2,5-дюймовых накопителей.
Уже сегодня твердотельные накопители для ЦОД повышают эффективность обработки данных, предлагает премиум-качество и снижают затраты на электроэнергию. Новые разработки открывают перспективы, которые сейчас даже трудно себе представить, и могут привести к радикальным изменениям в архитектуре вычислительных систем и дата-центров.
