Проблема хранения данных, и без того создающая массу головной боли архитекторам ЦОДов и системным администраторам, стала еще актуальнее в свете последних событий. В частности, к нам все чаще стали обращаться с запросами на различные форматы организации дополнительных хранилищ и расширения емкостей. Поэтому сегодня Юрий Алексеев, наш presale-эксперт по серверным решениям и системам хранения данных, расскажет о возможностях расширения уже существующего дискового пространства сервера с помощью подключения дисковых полок через DAS (то есть о прямом подключении). В посте мы поговорим о том, что для этого нужно, как это работает, и обсудим, может ли DAS заменить сетевые хранилища или системы высокой емкости.
![](https://habrastorage.org/getpro/habr/upload_files/8cd/0c8/e85/8cd0c8e85a54402b263a8fa09bcad7f0.png)
Привет, меня зовут Юрий Алексеев, и я занимаюсь серверами и СХД в Группе компаний X-Com (а именно работаю с клиентами Системного Интегратора). И поэтому я прекрасно знаю, что иногда (и с завидной периодичностью) у любой компании настаёт момент, когда на дисках заканчивается пространство. При этом, если в самом сервере уже нет свободных отсеков для дисков, остается только добавить их извне. Тут можно использовать сетевое хранилище данных, но в последнее время их стало сложно (и дорого) купить, а в некоторых случаях, производители отказываются продлевать лицензии. Поэтому очевидным выбором становится самый простой с технической точки зрения способ расширения дискового пространства сервера – и это система хранения с прямым подключением (DAS = Direct-Attached Storage). Часто такие устройства также называют JBOD (англ. Just a Bunch Of Disks, просто пачка дисков).
Немного теории
Можно сказать, что система DAS – это внешняя дисковая корзина, которая подключена к серверу. Как правило, подключение производится через интерфейс SAS, с помощью соответствующих кабелей. Для этого требуется установить в сервер контроллер SAS (SAS HBA = SAS Host Bus Adapter) с внешними портами SAS или RAID-контроллер (также с внешними портами SAS).
![SAS HBA с внешними портами (Broadcom HBA 9500-8e Storage Adapter) SAS HBA с внешними портами (Broadcom HBA 9500-8e Storage Adapter)](https://habrastorage.org/getpro/habr/upload_files/6b7/16d/70f/6b716d70f0481be17b84cf30a67d4c54.jpeg)
![SAS RAID (Broadcom MegaRAID 9580-8i8e) SAS RAID (Broadcom MegaRAID 9580-8i8e)](https://habrastorage.org/getpro/habr/upload_files/c75/e9a/459/c75e9a459c762b74df2616bb9154ed6f.jpeg)
В первом случае (при подключении дисковой корзины через SAS HBA) каждый установленный в корзину диск будет доступен пользователям сервера как отдельный диск. Во втором случае (при использовании RAID-контроллера) установленные в корзину физические диски можно будет объединить в один или несколько RAID-массивов.
А как же отказоустойчивость?
Конечно, к корпоративной системе хранения предъявляются высокие требования с точки зрения доступности информации и сохранности данных. И здесь, безусловно, RAID является большим плюсом. Разница с сетевой системой будет лишь в том, что массив будет организовывать сам сервер. Поэтому, если речь идет о хранении важных данных, лучше все-таки выбирать RAID-контроллеры, а не SAS HBA. Объединение дисков в RAID-массивы позволяет избежать потери данных при выходе дисков из строя, гарантируя как сохранность данных, так и постоянный доступ к ним.
Cуществует множество вариантов организации RAID-массивов (почитать об этом можно, например, тут). Но поскольку подобные критерии являются одними из самых критических показателей для любой системы хранения данных, необходимо исключить и другие точки отказа. Поэтому для обеспечения отказоустойчивости устройства DAS корпоративного уровня используют по два контроллера – такой подход позволяет также разобраться с проблемой возможного сбоя или отказа контроллера.
![DAS Lenovo D1224 (вид сзади) DAS Lenovo D1224 (вид сзади)](https://habrastorage.org/getpro/habr/upload_files/a9b/fad/dc1/a9bfaddc1d6923a7983ddad63bb2d8d5.png)
Благодаря этому доступ к данным сохраняется в случае выхода из строя одного из контроллеров. В таких системах можно устанавливать только диски SAS, так как они имеют два порта (в отличие от дисков SATA, которые имеют только один порт), каждый из которых подключен к одному из контроллеров дисковой корзины. В случае поломки одного из контроллеров хост (т.е. сервер) сохранит доступ к диску через второй контроллер.
![Схема подключения дисков SAS к контроллерам Схема подключения дисков SAS к контроллерам](https://habrastorage.org/getpro/habr/upload_files/3c8/ef7/a33/3c8ef7a33618f0d939f47ae26abebc01.png)
DAS – но не для одного сервера
Большинство моделей DAS поддерживает подключение только к одному серверу (хосту). Для подключения используются двухпортовые SAS HBA (или RAID-контроллеры) -- чтобы каждый контроллер имел соединение с хостом.
![Сервер подключен к двум контроллерам Сервер подключен к двум контроллерам](https://habrastorage.org/getpro/habr/upload_files/86c/6ff/1c1/86c6ff1c198df0783138220417d33952.png)
Однако модели некоторых производителей могут работать одновременно с двумя и даже более серверами. Например, к системе Lenovo D1224 может быть подключено одновременно до 6 серверов. В результате мы получаем некоторое подобие сетевого хранилища, но гораздо более простого (и доступного).
Но тут есть нюанс – лишних «мозгов» у хранилища нет, и поэтому каждому серверу нужно выделить свою группу дисков. Например, одному серверу – диски в отсеках с четвёртого по седьмой, другому серверу – с восьмого по одиннадцатый, и т.д. Это называется «зонированием» (zoning). Работать с «чужими» дисками сервер не должен.
Это требование вытекает из того, что организация данных на диске определяется хостом (то есть RAID-контроллером и файловой системой сервера-хоста), в случае использования одного диска двумя серверами одновременно любой из серверов может:
Неправильно интерпретировать данные диска при чтении, записанные на диск другим сервером;
Записать свои данные «поверх» данных другого сервера.
Именно поэтому при подключении нескольких хостов к DAS требуется с при помощи зонирования разделять диски между серверами.
Например, ниже в таблице показана возможная схема разделения дисков между хостами (зонирования) при подключении до 6 хостов к DAS Lenovo D1224 (хранилище вмещает 24 диска, нумерация отсеков начинается с 0).
| Максимальное количество серверов (хостов) | Номер зоны | Номера дисковых отеков |
Режим 1 | 2 | 1 | 0-11 |
2 | 12-23 | ||
Режим 2 | 3 | 1 | 0-7 |
2 | 8-15 | ||
3 | 16-23 | ||
Режим 3 | 3 | 1 | 0-7 |
2 | 8-15 | ||
3 | 16-23 | ||
Режим 4 | 4 | 1 | 0-5 |
2 | 6-11 | ||
3 | 12-17 | ||
4 | 18-23 | ||
Режим 5 | 6 | 1 | 0-3 |
2 | 4-7 | ||
3 | 8-11 | ||
4 | 12-15 | ||
5 | 16-19 | ||
6 | 20-23 |
Примечание: режимы 1, 2 используются при подключении обычными кабелями. Режимы 3,4,5 – только при подключении хостов Y-кабелями (так называемая "гидра").
На рисунке ниже приводится схема подключения нескольких серверов к одной СХД на примере всё того же хранилища Lenovo D1224. Для подключения используются Y-кабели SAS 12Gb, раздвоенные с одного конца («гидра»).
![](https://habrastorage.org/getpro/habr/upload_files/5f1/b94/020/5f1b94020dad38cb91c9ec912d1de129.png)
Впрочем, стоит учитывать, что возможность подключения нескольких хостов не является стандартной функцией систем DAS. И если вам действительно требуется такая возможность, нужно проверить, сможет ли новая «дисковая полка» обслужить ваши запросы, прежде чем ее покупать.
Больше дисков, больше DASов
Чаще всего можно встретить системы DAS в форм-факторе 2U в двух вариантах: с возможностью установки 12 дисков 3.5” или 24 дисков 2.5”. Иногда встречаются варианты в других форм-факторах, например, на 60 и более дисков 3.5”.
На фото: Lenovo D3284
2 контроллера SAS 12Gb
установка 84 дисков 3.5"
поддержка подключения до 6 хостов
высота в стойке 4U
![](https://habrastorage.org/getpro/habr/upload_files/c12/45d/89d/c1245d89dcf1b7a8387f7dc202f38297.png)
На фото: DAS Supermicro SuperChassis 946ED-R2KJBOD
2 контроллера SAS 12Gb
установка 90 дисков SAS 3.5"
поддержка подключения до 4 хостов
высота в стойке 4U
![](https://habrastorage.org/getpro/habr/upload_files/c0e/0a4/815/c0e0a481559e7a6c5d3bc5cee69b9fd8.jpg)
При необходимости увеличения объёма дискового пространства можно подключить нескольких систем DAS к одному серверу.
![К одному серверу независимо подключено несколько DAS К одному серверу независимо подключено несколько DAS](https://habrastorage.org/getpro/habr/upload_files/da5/d8f/c29/da5d8fc2900b181f695dc72ff2786c18.png)
Для каждой DAS в таком случае потребуется свой SAS HBA или RAID-контроллер. Кроме того, каждая DAS потребует собственного управления и администрирования. А это значит, что сложность системы кратно повышается и потребует более пристального внимания со стороны администратора.
Поэтому, если скорость передачи данных не является абсолютным приоритетом, более предпочтительным является подключение нескольких полок расширения последовательно – одна за одной. Количество устройств DAS, подключенных таким образом, определяется максимальным количеством дисков, которое поддерживает конкретная модель DAS. На рисунке ниже показано последовательное подключение к серверу нескольких полок Lenovo D1224.
![](https://habrastorage.org/getpro/habr/upload_files/c32/263/9ef/c322639ef5f98b1a2e0c4d69e1e2878e.png)
Тут тоже есть нюансы. Для каждой модели максимальное количество полок расширения может быть разным; это количество указывается в документации на систему.
При последовательном подключении все системы должны быть одинаковыми или одного семейства. Например, для DAS Lenovo D3284 могут быть такие конфигурации:
четыре D3284;
две D3284 + две DAS Lenovo D1212 (по 12 дисков 3.5”);
две D3284 + одна DAS Lenovo D1224 (24 диска 2.5”).
Последовательное подключение разных систем DAS не допускается. Разные системы могут быть подключены только параллельно: каждая система DAS должна быть подключена к серверу (хосту) через свой собственный SAS HBA или RAID-контроллер.
DAS – одна из очень привлекательных альтернатив
Учитывая текущую ситуацию на рынке, мы все чаще рекомендуем клиентам дисковые полки с прямым подключением DAS. Для их установки достаточно установить в сервер RAID-контроллер с внешними портами SAS (а иногда он уже есть внутри). И если вам потребуется большой объем дискового пространства, например, для систем видеонаблюдения, создания хранилищ данных, работы с BigData и так далее, несколько полок можно подключить последовательно или параллельно. Отличная замена емким и дорогим хранилищам. А благодаря тому, что к некоторым системам DAS можно подключать нескольких серверов одновременно, возникает альтернатива для сетевого хранения. Благо, контроллеры и системы DAS достать сегодня намного проще.