Когда бизнес оперирует объемными данными, единицей хранения становится не отдельный диск, а набор дисков, их совокупность, агрегат нужного объема. И управлять им надо как цельной сущностью. Логика масштабирования хранения крупноблочными агрегатами хорошо описывается на примере JBOD — как формата объединения дисков и как физического устройства.
Масштабировать дисковую инфраструктуру можно не только «вверх», каскадируя JBOD, но и «внутрь», используя различные сценарии заполнения. Как это работает, рассмотрим на примере Western Digital Ultastar Data60.
JBOD — отдельный класс серверного оборудования под плотное размещение дисков, с многоканальным доступом к ним управляющих хостов по SAS. Производители JBOD продают их пустыми, частично или полностью забитыми дисками — кто как. Постепенное заполнение хранилищ дисками — по мере роста потребностей — позволяет разнести капитальные затраты во времени. У Western Digital выгодно покупать JBOD со всеми 60 дисками — так намного дешевле. Но можно брать и частично-заполненный: минимальная комплектация Ultastar Data60 составляет 24 накопителя.
Почему 24? Ответ простой: аэродинамика. «Золотой стандарт» JBOD 4U / 60 x 3.5” прижился в индустрии по практическим соображениям — разумных размеров устройства, организации доступа, хорошего охлаждения. 60 дисков набираются как 5 рядов по 12 HDD в каждом. Частичное заполненные рядов или недобор по дискам в JBOD (например, всего один ряд) приводят к ухудшению отвода тепла или даже к реверсу воздушного потока в центральном канале — конструктивной особенности Ultastar Data60, его отличительной черты.
В своих JBOD Western Digital использует технологию обдува дисков ArcticFlow, тщательно промоделированную и выверенную. Всё для HDD — для их производительности, живучести, сохранности данных.
Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD.
Понятно, почему для эффективной работы ArcticFlow необходимо следить за заполнением свободных отсеков. В минимальной конфигурации из 24 дисков расстановка в Ultastar Data60 должна начинаться с тыльной зоны.
![Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD](https://habrastorage.org/getpro/habr/post_images/9b3/98e/557/9b398e55786ec465471ffe366946acf7.gif)
В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения.
![В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения](https://habrastorage.org/r/w780q1/getpro/habr/post_images/e22/e77/3de/e22e773deb0cf45d00928771292a16e3.jpg)
Есть способ улучшить ситуацию — о нем далее.
Стоит сразу принять, как аксиому, что предназначение JBOD — в масштабированном хранении данных. Из этого вывод: используем его для популяции однородных устройств. С прицелом — со временем выйти на проектный объем хранения, заполнив все отсеки.
А как же SSD? Наилучшее (и правильное) решение — строить отдельное производительное хранилище на JBOF. Твердотельным там комфортнее. Вместе с тем, Ultastar Data60 допускает установку и флеш-накопителей. Прежде, чем приступить к гибридизации JBOD, стоит сначала взвесить все «за» — выбрать SSD выбрать из списка совместимых (в отличие от HDD ситуация с поддержкой SSD полна нюансов). Придется также потратиться на крепление 2,5-дюймовых дисков в 3,5-дюймовых отсеках.
Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks. Это блокирует свободный ток охлаждающего воздуха, чтобы, как сказано выше, препятствовать его рециркуляции.
![Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks](https://habrastorage.org/r/w780q1/getpro/habr/post_images/0e4/e13/3d4/0e4e133d4ba319cfc364bbfad07b0428.jpg)
Всего допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60. В любом случае это должны быть последние ряды тыльной зоны.
![Допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60 — это должны быть последние ряды тыльной зоны Допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60 — это должны быть последние ряды тыльной зоны](https://habrastorage.org/r/w780q1/getpro/habr/post_images/435/d2b/9e9/435d2b9e9ad64d2d6fb8383ecdde6eba.jpg)
Почему 24? Тепловыделение твердотельных накопителей выше, чем аналогичные характеристики HDD, по этой причине многорядная компоновка дисков с различной природой носителей не будет эффективно обдуваться ArcticFlow. И отвод тепла станет фактором риска для эксплуатации JBOD.
Здесь уместно заметить, что с помощью Drive Blanks можно снизить эффект рециркуляции горячего воздуха. Компоновка JBOD с 12 HDD будет охлаждаться лучше, если пустые отсеки закрыть заглушками. Производитель ни словом не обмолвился о таком трюке, но право на эксперимент всегда за нами. К слову, WD не запрещает 12-дисковое заполнение, хотя и не рекомендует его.
Даже поверхностное знакомство с аэродинамикой JBOD дает представление о том, что для надежной работы хранилища лучше опираться на опыт и рекомендации разработчика. Процессы, происходящие внутри дисковой корзины, требуют фундаментальных исследований. Пренебрежение полученными знаниями чревато проблемами, которые на объемах хранения в сотни терабайт чувствительны во всех смыслах.
Известно, как пишутся войсковые уставы. Что-то подобное происходит и с архитектурой JBOD. Если решения недавнего прошлого грешили компоновкой, при которой интерфейсная часть находилась в зоне «выхлопа», обдуваемая горячим воздухом, то сегодня Ultastar Data60 лишен этого недостатка. Все прочие конструкторские находки — просто технологическое чудо. Так к этому и стоит относиться.
Масштабировать дисковую инфраструктуру можно не только «вверх», каскадируя JBOD, но и «внутрь», используя различные сценарии заполнения. Как это работает, рассмотрим на примере Western Digital Ultastar Data60.
Про заполнение
JBOD — отдельный класс серверного оборудования под плотное размещение дисков, с многоканальным доступом к ним управляющих хостов по SAS. Производители JBOD продают их пустыми, частично или полностью забитыми дисками — кто как. Постепенное заполнение хранилищ дисками — по мере роста потребностей — позволяет разнести капитальные затраты во времени. У Western Digital выгодно покупать JBOD со всеми 60 дисками — так намного дешевле. Но можно брать и частично-заполненный: минимальная комплектация Ultastar Data60 составляет 24 накопителя.
Почему 24? Ответ простой: аэродинамика. «Золотой стандарт» JBOD 4U / 60 x 3.5” прижился в индустрии по практическим соображениям — разумных размеров устройства, организации доступа, хорошего охлаждения. 60 дисков набираются как 5 рядов по 12 HDD в каждом. Частичное заполненные рядов или недобор по дискам в JBOD (например, всего один ряд) приводят к ухудшению отвода тепла или даже к реверсу воздушного потока в центральном канале — конструктивной особенности Ultastar Data60, его отличительной черты.
В своих JBOD Western Digital использует технологию обдува дисков ArcticFlow, тщательно промоделированную и выверенную. Всё для HDD — для их производительности, живучести, сохранности данных.
Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD.
Понятно, почему для эффективной работы ArcticFlow необходимо следить за заполнением свободных отсеков. В минимальной конфигурации из 24 дисков расстановка в Ultastar Data60 должна начинаться с тыльной зоны.
![Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD](https://habrastorage.org/getpro/habr/post_images/9b3/98e/557/9b398e55786ec465471ffe366946acf7.gif)
В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения.
![В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения](https://habrastorage.org/getpro/habr/post_images/e22/e77/3de/e22e773deb0cf45d00928771292a16e3.jpg)
Есть способ улучшить ситуацию — о нем далее.
Про гибридность
Стоит сразу принять, как аксиому, что предназначение JBOD — в масштабированном хранении данных. Из этого вывод: используем его для популяции однородных устройств. С прицелом — со временем выйти на проектный объем хранения, заполнив все отсеки.
А как же SSD? Наилучшее (и правильное) решение — строить отдельное производительное хранилище на JBOF. Твердотельным там комфортнее. Вместе с тем, Ultastar Data60 допускает установку и флеш-накопителей. Прежде, чем приступить к гибридизации JBOD, стоит сначала взвесить все «за» — выбрать SSD выбрать из списка совместимых (в отличие от HDD ситуация с поддержкой SSD полна нюансов). Придется также потратиться на крепление 2,5-дюймовых дисков в 3,5-дюймовых отсеках.
Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks. Это блокирует свободный ток охлаждающего воздуха, чтобы, как сказано выше, препятствовать его рециркуляции.
![Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks](https://habrastorage.org/getpro/habr/post_images/0e4/e13/3d4/0e4e133d4ba319cfc364bbfad07b0428.jpg)
Всего допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60. В любом случае это должны быть последние ряды тыльной зоны.
![Допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60 — это должны быть последние ряды тыльной зоны Допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60 — это должны быть последние ряды тыльной зоны](https://habrastorage.org/getpro/habr/post_images/435/d2b/9e9/435d2b9e9ad64d2d6fb8383ecdde6eba.jpg)
Почему 24? Тепловыделение твердотельных накопителей выше, чем аналогичные характеристики HDD, по этой причине многорядная компоновка дисков с различной природой носителей не будет эффективно обдуваться ArcticFlow. И отвод тепла станет фактором риска для эксплуатации JBOD.
Здесь уместно заметить, что с помощью Drive Blanks можно снизить эффект рециркуляции горячего воздуха. Компоновка JBOD с 12 HDD будет охлаждаться лучше, если пустые отсеки закрыть заглушками. Производитель ни словом не обмолвился о таком трюке, но право на эксперимент всегда за нами. К слову, WD не запрещает 12-дисковое заполнение, хотя и не рекомендует его.
Практические выводы
Даже поверхностное знакомство с аэродинамикой JBOD дает представление о том, что для надежной работы хранилища лучше опираться на опыт и рекомендации разработчика. Процессы, происходящие внутри дисковой корзины, требуют фундаментальных исследований. Пренебрежение полученными знаниями чревато проблемами, которые на объемах хранения в сотни терабайт чувствительны во всех смыслах.
Известно, как пишутся войсковые уставы. Что-то подобное происходит и с архитектурой JBOD. Если решения недавнего прошлого грешили компоновкой, при которой интерфейсная часть находилась в зоне «выхлопа», обдуваемая горячим воздухом, то сегодня Ultastar Data60 лишен этого недостатка. Все прочие конструкторские находки — просто технологическое чудо. Так к этому и стоит относиться.