Доброго дня всем читающим эти строки. Недавно довелось мне настраивать дисковую полку EMC VNX 5100, в качестве СХД под кластер. Как выяснилось, особо сложного в ней ничего нет, однако в процессе попадаются некоторые особенности, которые отвлекают на себя время и внимание. Если вы хотите использовать эту СХД, но не хотите тратить лишнего времени на хождение по граблям, прошу под кат.
Дисковая полка VNX 5100 – это СХД начального уровня, конструктивно состоит из собственно массива дисков и SPS (Stanby Power Supply)-модуля. Массив занимает 3 юнита, и может содержать 15 3,5-дюймовых дисков (мой вариант), или 25 2,5-дюймовых. Первые четыре диска заняты операционной системой, и в работе их использовать не рекомендуется. SPS-модуль занимает 1 юнит, содержит встроенные аккумуляторы, может держать два дисковых массива. Основная его задача – при выключении полки корректно завершить все дисковые операции и выписать содержимое кэша на диски. Больше ничего. В этом кроются не просто грабли – а грабли детские. С соответствующими последствиями в случае наступания. Несмотря на собственную батарейку, система не делает ни малейшей попытки изобразить из себя ИБП, и при пропадании питания спокойно ложится. Так что эту батарейку обязательно нужно включать во внешний бесперебойник, хотя опыт активно протестует.
Упакована система с душой, вес в упаковке чуть более 90 кг, так что на «занос тела» лучше пригласить мускулистых друзей. А если на пути к серверной есть крутые лестницы и узкие двери, то друзья будут особо благодарны за доставленное удовольствие.
Устройство может продаваться как с ПО в комплекте, так и без него. Как бы то ни было, если вы не обнаружили в коробке никаких установочных дисков – не расстраивайтесь. Это нормально.
На монтаже в стойку останавливаться не будем, собирается всё без проблем. Единственно – обратите внимание на шнуры питания, идущие в комплекте. Может мне так повезло с полками, может – со стоечными бесперебойниками, но шнуры из комплекта сидят в разъёмах ИБП достаточно свободно. Из трёх моих полок один комплект шнуров пришлось почти полностью заменить шнурами от ИБП, иначе они просто вываливались.
Перед тем, как приступить к настройке, регистрируемся на сайте производителя emc.com и выкачиваем нужное ПО. В сетях рекомендуют качать установочный пакет VNX Installation Toolbox, который содержит почти всё необходимое, но я бы советовал брать нужные утилиты россыпью. Во-первых, в toolbox входят не все необходимые утилиты, а во-вторых – они созданы инсталлятором InstallAnywere, который некорректно работает под Windows Server 2012. Вам понадобятся последние версии следующих утилит (они уже пережаты инсталлятором InstallAware, который работает нормально):
Перед установкой на хостах выполняем все необходимые действия – подключение FC, настройка сети, завод в домен и т. д. Для работы некоторых утилит необходима Java, поэтому ставим и её тоже. На время настройки советую погасить внутренние интерфейсы на всех узлах будущего кластера, иначе полка при регистрации может подхватить их, а не внешние. Не то, чтобы это было критично, работать будет и так, и этак, но вдруг когда-то в будущем полке захочется пообщаться по сети со своими хостами. Далее я буду описывать каждую утилиту, указывая её версию. Это не обязательно самая последняя версия на данный момент, но эта версия у меня гарантировано заработала.
EMC Unisphere Storage System Initialization
(UnisphereInitTool-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Эта утилита инициализирует вашу полку. Перед её установкой подключите интерфейс хоста и управляющие интерфейсы дисковой полки в одну подсеть, на одном физическом коммутаторе. Включите полку. Стартует она достаточно медленно, поэтому есть время на чашечку кофе. Устанавливаем, запускаем утилиту, она обшаривает подсеть и показывает все найденные СХД с указанием их серийного номера. Обратите внимание, что на время работы утилиты нужно выключить файрволл, иначе поиск будет неудачным. По номеру определяем нужную, инициализируем, и задаём ip-адреса на управляющих интерфейсах. К сожалению, по этому пункту у меня познания только теоретические, из мануалов, поскольку мои железяки приехали от поставщика уже проинициализированные, с адресами на интерфейсах вида 1.1.1.1. Так что я лишь убедился, что устройство проинициализировано, да определил его ip. Если кто имеет практический опыт этой операции, буду благодарен за уточнения.
EMC Unisphere Server Utility
(UnisphereServerUtil-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Утилита регистрирует хост на дисковой полке, позволяя в будущем назначить ему логические диски. Если iSCSI-инициатор не запущен, то стартует и его. При необходимости регистрацию можно выполнить и руками, из веб-интерфейса – работать будет. Но корректнее всё же, проделать её автоматически. После запуска выбираем пункт Register this server with all connected storage system.
EMC Unisphere Server
(UnisphereServer-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
EMC Unisphere VNX Client
(UnisphereClient-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
Предоставляет доступ к веб-интерфейсу управления полкой. Клиентская часть просит ввести адрес полки, и подключается к нему, серверная предоставляет то же самое на ip-адресе хоста. Работает на Java. Для корректной работы серверной части сконфигурируйте разрешения файрвола. На тот же интерфейс полки можно подключиться, просто введя ip-адрес полки в браузере. Обратите внимание, при первом подключении нужно создать учётную запись администратора.
EMC Unisphere Service Manager
(UnisphereServiceManager-Win-32-x86-en_US-1.2.26.1.0068-1.exe)
Сервисная утилита, используемая для смены прошивки, ОС, апгрейдов аппаратного обеспечения, сбора диагностики и т. д. В обычной работе не используется.
EMC PowerPath
(EMCPower.X64.signed.5.5.b289.exe)
Утилита PowerPath – это отдельный продукт балансировки нагрузки между разными FC, может использоваться с СХД разных производителей, и вообще говоря – вещь лицензируемая и платная. Однако для подключений к системам EMC Clarion и EMC VNX производитель разрешает использовать её без лицензии. Для этого при установке указываем, что «Yes», мы имеем Only Clarion arrays connected to this host. Я использовал версию 5.5 без патча. На сайте есть патч, а в документации встречаются упоминания про версию 5.7. Конструктивно полка содержит два блока, каждый из которых отправляет на хост информацию о назначенных логических дисках. Таким образом, в Computer Manager будет видно два комплекта дисков СХД, один из которых подключается, а второй выбивает ошибку (и не мудрено, ведь диски уже заняты). PowerPath автоматически обрабатывает все FC и скрывает лишний комплект дисков. Работать всё будет и без него, но лучше сделать красиво и корректно.
Утилита поддерживает три режима работы:
Active-active – FC работают одновременно с балансировкой нагрузки.
Active-passive – один FC активен, а остальные стоят в резерве, и подключаются при отказе активного. В каждый момент времени работает только один FC.
ALUA – это протокол выбора предпочтительного пути к данным, размещенным на контроллерах с разным приоритетом, например один из двух — более предпочтителен как путь доступа, чем другой. Так что с использованием протокола ALUA (если OS его умеет использовать) из нескольких путей выбирается тот, который для доступа к данной порции данных (например LUN-у) выгоднее. Если контроллер, приоритетный для этих данных, недоступен, то доступ пойдет через тот контроллер, который имеет «второй сверху» приоритет, и так далее. Но тем не менее оба они активны, хотя в данный конкретный момент времени, для конкретного LUN используется преимущественно один (в этом отличие от Active-Passive). (с) track
Именно этот режим поддерживает наше устройство, в отличие от двух предыдущих, с которыми могут работать только старшие модели.
Итак, весь софт установлен, и теперь можно заняться непосредственно полкой.
Подключаемся к веб-интерфейсу, и идём на вкладку Hosts > Host List. Поскольку регистрацию мы уже провели, в этой вкладке видим свои сервера. На вкладке Hosts > Initiators перечислены инициаторы, связывающие сервера с блоками СХД. Инициатор можно дерегистрировать и вместо него вручную создать новый, выбрав имя сервера из существующих или задав новое. Работать будет. Сейчас все инициаторы в списке представлены с жёлтыми треугольниками предупреждений – потому что они никуда пока не подключены. На вкладке Settings > Network > Edit network settings перенастраиваем ip-адреса на свою сеть.
Поскольку наша система готовится под кластер, будем создавать два LUNа – кворум на 1 Гб, и LUN данных на всё остальное пространство. Сначала готовим пул под размещение этих LUNов. На вкладке Storage > Storage Pools выбираем тип рейда и общий объём пула. Здесь тоже есть особенность – система не умеет создавать рейды на произвольном количестве жёстких дисков. Вместо этого можно выбрать один из предустановленных шаблонов.
Так, 10 дисков в raid5 совершенно не означают схему 9+1. А означают (4+1)+(4+1), с соответствующим падением суммарной ёмкости. А raid5 на 8 дисках означает комбинацию (4+1)+(2+1). Хорошо, если на этом рейде будут просто лежать файловые данные, а если это данные приложений, то поимеем непрогнозируемые проблемы с производительностью. Учитывая, что изначально я могу рассчитывать на 10 дисков (15 минус 4 под операционкой и минус 1 HotSpare), выбирать приходится между raid5 на 10 дисков, и raid6 на 8 дисков плюс два в зеркале. Из соображений дисковой ёмкости решено было остановиться на raid5. Итак – указываем тип рейда, указываем количество дисков, под него отведённых, имя нового пула – и ОК.
Теперь Storage > Luns. Указываем имя пула, на котором будет размещаться новосозданный LUN, его имя и размер.
И наконец, на вкладке Hosts > Storage Groops создаём новую группу хранилищ, связывая между собой LUNы и хосты:
Create, затем Connect LUNs, затем Connect Hosts. Группы хранилищ, собственно, и сопоставляют один или несколько LUNов одному или нескольким хостам. Обратите внимание – подключать к одному LUN несколько хостов можно, только если они являются будущими членами кластера. В противном случае, хосты будут повреждать данные друг друга из-за несогласованной записи на диск.
Теперь можно зайти на вкладку Hosts > Initiators и полюбоваться на зелёные галочки напротив всех инициаторов, свидетельствующие о корректном подключении.
На этом настройку дисковой полки можно считать оконченной. На каждом хосте заходим в Disk Management и переводим наши новые диски в online, не назначая букву. Форматируем в NTFS, поднимаем кластер, и цепляем диски к нему. Можно работать. Кластер я поднимал на Windows Server 2012, отличия в процессе от Server 2008 косметические. Но, если кому интересно, могу описать.
Уф. Вот вроде бы и «всё, что я хотел сказать о войне во Вьетнаме» (с)
P.S. Большое спасибо хабраюзерам litweg и track за интересные и полезные дополнения.
Дисковая полка VNX 5100 – это СХД начального уровня, конструктивно состоит из собственно массива дисков и SPS (Stanby Power Supply)-модуля. Массив занимает 3 юнита, и может содержать 15 3,5-дюймовых дисков (мой вариант), или 25 2,5-дюймовых. Первые четыре диска заняты операционной системой, и в работе их использовать не рекомендуется. SPS-модуль занимает 1 юнит, содержит встроенные аккумуляторы, может держать два дисковых массива. Основная его задача – при выключении полки корректно завершить все дисковые операции и выписать содержимое кэша на диски. Больше ничего. В этом кроются не просто грабли – а грабли детские. С соответствующими последствиями в случае наступания. Несмотря на собственную батарейку, система не делает ни малейшей попытки изобразить из себя ИБП, и при пропадании питания спокойно ложится. Так что эту батарейку обязательно нужно включать во внешний бесперебойник, хотя опыт активно протестует.
Упакована система с душой, вес в упаковке чуть более 90 кг, так что на «занос тела» лучше пригласить мускулистых друзей. А если на пути к серверной есть крутые лестницы и узкие двери, то друзья будут особо благодарны за доставленное удовольствие.
Устройство может продаваться как с ПО в комплекте, так и без него. Как бы то ни было, если вы не обнаружили в коробке никаких установочных дисков – не расстраивайтесь. Это нормально.
На монтаже в стойку останавливаться не будем, собирается всё без проблем. Единственно – обратите внимание на шнуры питания, идущие в комплекте. Может мне так повезло с полками, может – со стоечными бесперебойниками, но шнуры из комплекта сидят в разъёмах ИБП достаточно свободно. Из трёх моих полок один комплект шнуров пришлось почти полностью заменить шнурами от ИБП, иначе они просто вываливались.
Перед тем, как приступить к настройке, регистрируемся на сайте производителя emc.com и выкачиваем нужное ПО. В сетях рекомендуют качать установочный пакет VNX Installation Toolbox, который содержит почти всё необходимое, но я бы советовал брать нужные утилиты россыпью. Во-первых, в toolbox входят не все необходимые утилиты, а во-вторых – они созданы инсталлятором InstallAnywere, который некорректно работает под Windows Server 2012. Вам понадобятся последние версии следующих утилит (они уже пережаты инсталлятором InstallAware, который работает нормально):
- EMC PowerPath
- EMC Unisphere Storage System Initialization
- EMC Unisphere Server Utility
- EMC Unisphere VNX Client
- EMC Unisphere Server
- EMC Unisphere Service Manager
Перед установкой на хостах выполняем все необходимые действия – подключение FC, настройка сети, завод в домен и т. д. Для работы некоторых утилит необходима Java, поэтому ставим и её тоже. На время настройки советую погасить внутренние интерфейсы на всех узлах будущего кластера, иначе полка при регистрации может подхватить их, а не внешние. Не то, чтобы это было критично, работать будет и так, и этак, но вдруг когда-то в будущем полке захочется пообщаться по сети со своими хостами. Далее я буду описывать каждую утилиту, указывая её версию. Это не обязательно самая последняя версия на данный момент, но эта версия у меня гарантировано заработала.
EMC Unisphere Storage System Initialization
(UnisphereInitTool-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Эта утилита инициализирует вашу полку. Перед её установкой подключите интерфейс хоста и управляющие интерфейсы дисковой полки в одну подсеть, на одном физическом коммутаторе. Включите полку. Стартует она достаточно медленно, поэтому есть время на чашечку кофе. Устанавливаем, запускаем утилиту, она обшаривает подсеть и показывает все найденные СХД с указанием их серийного номера. Обратите внимание, что на время работы утилиты нужно выключить файрволл, иначе поиск будет неудачным. По номеру определяем нужную, инициализируем, и задаём ip-адреса на управляющих интерфейсах. К сожалению, по этому пункту у меня познания только теоретические, из мануалов, поскольку мои железяки приехали от поставщика уже проинициализированные, с адресами на интерфейсах вида 1.1.1.1. Так что я лишь убедился, что устройство проинициализировано, да определил его ip. Если кто имеет практический опыт этой операции, буду благодарен за уточнения.
EMC Unisphere Server Utility
(UnisphereServerUtil-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Утилита регистрирует хост на дисковой полке, позволяя в будущем назначить ему логические диски. Если iSCSI-инициатор не запущен, то стартует и его. При необходимости регистрацию можно выполнить и руками, из веб-интерфейса – работать будет. Но корректнее всё же, проделать её автоматически. После запуска выбираем пункт Register this server with all connected storage system.
EMC Unisphere Server
(UnisphereServer-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
EMC Unisphere VNX Client
(UnisphereClient-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
Предоставляет доступ к веб-интерфейсу управления полкой. Клиентская часть просит ввести адрес полки, и подключается к нему, серверная предоставляет то же самое на ip-адресе хоста. Работает на Java. Для корректной работы серверной части сконфигурируйте разрешения файрвола. На тот же интерфейс полки можно подключиться, просто введя ip-адрес полки в браузере. Обратите внимание, при первом подключении нужно создать учётную запись администратора.
EMC Unisphere Service Manager
(UnisphereServiceManager-Win-32-x86-en_US-1.2.26.1.0068-1.exe)
Сервисная утилита, используемая для смены прошивки, ОС, апгрейдов аппаратного обеспечения, сбора диагностики и т. д. В обычной работе не используется.
EMC PowerPath
(EMCPower.X64.signed.5.5.b289.exe)
Утилита PowerPath – это отдельный продукт балансировки нагрузки между разными FC, может использоваться с СХД разных производителей, и вообще говоря – вещь лицензируемая и платная. Однако для подключений к системам EMC Clarion и EMC VNX производитель разрешает использовать её без лицензии. Для этого при установке указываем, что «Yes», мы имеем Only Clarion arrays connected to this host. Я использовал версию 5.5 без патча. На сайте есть патч, а в документации встречаются упоминания про версию 5.7. Конструктивно полка содержит два блока, каждый из которых отправляет на хост информацию о назначенных логических дисках. Таким образом, в Computer Manager будет видно два комплекта дисков СХД, один из которых подключается, а второй выбивает ошибку (и не мудрено, ведь диски уже заняты). PowerPath автоматически обрабатывает все FC и скрывает лишний комплект дисков. Работать всё будет и без него, но лучше сделать красиво и корректно.
Утилита поддерживает три режима работы:
Active-active – FC работают одновременно с балансировкой нагрузки.
Active-passive – один FC активен, а остальные стоят в резерве, и подключаются при отказе активного. В каждый момент времени работает только один FC.
ALUA – это протокол выбора предпочтительного пути к данным, размещенным на контроллерах с разным приоритетом, например один из двух — более предпочтителен как путь доступа, чем другой. Так что с использованием протокола ALUA (если OS его умеет использовать) из нескольких путей выбирается тот, который для доступа к данной порции данных (например LUN-у) выгоднее. Если контроллер, приоритетный для этих данных, недоступен, то доступ пойдет через тот контроллер, который имеет «второй сверху» приоритет, и так далее. Но тем не менее оба они активны, хотя в данный конкретный момент времени, для конкретного LUN используется преимущественно один (в этом отличие от Active-Passive). (с) track
Именно этот режим поддерживает наше устройство, в отличие от двух предыдущих, с которыми могут работать только старшие модели.
Итак, весь софт установлен, и теперь можно заняться непосредственно полкой.
Подключаемся к веб-интерфейсу, и идём на вкладку Hosts > Host List. Поскольку регистрацию мы уже провели, в этой вкладке видим свои сервера. На вкладке Hosts > Initiators перечислены инициаторы, связывающие сервера с блоками СХД. Инициатор можно дерегистрировать и вместо него вручную создать новый, выбрав имя сервера из существующих или задав новое. Работать будет. Сейчас все инициаторы в списке представлены с жёлтыми треугольниками предупреждений – потому что они никуда пока не подключены. На вкладке Settings > Network > Edit network settings перенастраиваем ip-адреса на свою сеть.
Поскольку наша система готовится под кластер, будем создавать два LUNа – кворум на 1 Гб, и LUN данных на всё остальное пространство. Сначала готовим пул под размещение этих LUNов. На вкладке Storage > Storage Pools выбираем тип рейда и общий объём пула. Здесь тоже есть особенность – система не умеет создавать рейды на произвольном количестве жёстких дисков. Вместо этого можно выбрать один из предустановленных шаблонов.
Так, 10 дисков в raid5 совершенно не означают схему 9+1. А означают (4+1)+(4+1), с соответствующим падением суммарной ёмкости. А raid5 на 8 дисках означает комбинацию (4+1)+(2+1). Хорошо, если на этом рейде будут просто лежать файловые данные, а если это данные приложений, то поимеем непрогнозируемые проблемы с производительностью. Учитывая, что изначально я могу рассчитывать на 10 дисков (15 минус 4 под операционкой и минус 1 HotSpare), выбирать приходится между raid5 на 10 дисков, и raid6 на 8 дисков плюс два в зеркале. Из соображений дисковой ёмкости решено было остановиться на raid5. Итак – указываем тип рейда, указываем количество дисков, под него отведённых, имя нового пула – и ОК.
Теперь Storage > Luns. Указываем имя пула, на котором будет размещаться новосозданный LUN, его имя и размер.
И наконец, на вкладке Hosts > Storage Groops создаём новую группу хранилищ, связывая между собой LUNы и хосты:
Create, затем Connect LUNs, затем Connect Hosts. Группы хранилищ, собственно, и сопоставляют один или несколько LUNов одному или нескольким хостам. Обратите внимание – подключать к одному LUN несколько хостов можно, только если они являются будущими членами кластера. В противном случае, хосты будут повреждать данные друг друга из-за несогласованной записи на диск.
Теперь можно зайти на вкладку Hosts > Initiators и полюбоваться на зелёные галочки напротив всех инициаторов, свидетельствующие о корректном подключении.
На этом настройку дисковой полки можно считать оконченной. На каждом хосте заходим в Disk Management и переводим наши новые диски в online, не назначая букву. Форматируем в NTFS, поднимаем кластер, и цепляем диски к нему. Можно работать. Кластер я поднимал на Windows Server 2012, отличия в процессе от Server 2008 косметические. Но, если кому интересно, могу описать.
Уф. Вот вроде бы и «всё, что я хотел сказать о войне во Вьетнаме» (с)
P.S. Большое спасибо хабраюзерам litweg и track за интересные и полезные дополнения.
