Процедура развертывания высокодоступного распределённого хранилища
В данной статье описана процедура развертывания высокодоступного распределённого хранилища для хранения дисков, ISO-образов и резервных копий виртуальных машин на локальных накопителях серверов с использованием кластерной файловой системы GlusterFS в инфраструктуре SpaceVM.
Предлагаемое техническое решение обеспечивает устойчивость к одновременному отказу отдельного сервера в кластере, одиночного жесткого диска внутри репликационного блока («брика») на отдельном узле, а также одного сетевого коммутатора без риска утраты данных и прерывания функционирования виртуальных машин в кластере.
Приведенный пример демонстрирует создание пула данных с доступным объемом около 3,5 Гбайт. В реальных условиях объем можно масштабировать, например, до 3,5 Тбайт полезного пространства.
Планирование серверов и дисков
Организация узлов и дисков в кластере
Данное решение предназначено для функционирования в кластере от трёх узлов. Один или два сервера могут выступать в роли Controller+Node. При настройке репликации назначение ролей Master и Slave контроллеру выполняется в соответствии с разделом.
Для организации хранилища потребуется следующее оборудование:
По десять одинаковых SSD-дисков объёмом от 1 ТБайт каждый — предназначены для хранения данных виртуальных машин.
Два SSD-диска от 128 ГБайт — предназначены для хранения метаданных (для раздела арбитра).
При этом пять дисков подключаются к каждому из двух произвольных узлов кластера, а оставшиеся два диска — к третьему произвольно выбранному узлу.
Планирование сетевой инфраструктуры
Организация сетевой инфраструктуры
В файловой системе GlusterFS одна и та же сеть применяется одновременно для передачи служебной информации, обмена данными между блоками (bricks) тома и доступа клиентов (например, виртуальных машин), если клиентские машины расположены на другом физическом сервере относительно самого хранилища.
Общие рекомендации
Пропускная способность сети для повышения производительности кластера — от 10 Гбит/с.
Два от 10G-коммутатора:
основной;
резервный.
Два от 1G-коммутатора:
для встроенной сети управления mgmt SpaceVM;
резервный.
Дополнительно на основном от 1G-коммутаторе создать:
внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;
внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.
Рекомендуемая схема сетевой инфраструктуры

Использование двух 10G-коммутаторов
Возможно использование только двух 10G-коммутаторов (основного и резервного). Но при этом необходимо создать следующие сети:
встроенную сеть управления mgmt в отдельном VLAN;
внешнюю сеть для КТ Gluster в отдельном VLAN;
внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;
внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.
Cоздание агрегированных интерфейсов и внешней сети
Порядок действий
Создать на контроллере внешнюю сеть
glusterдля подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса:Перейти в раздел основного меню Сети - Внешние сети Web-интерфейса SpaceVM.
Нажать кнопку Создать.
На первом этапе создания сети указать название сети
glusterи адрес10.0.20.0/24.На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.
Второй этап создания внешней сети

На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.
Создать для каждого сервера внутренний интерфейс во внешней сети
gluster:Перейти на вкладку Подключённые серверы созданной сети
gluster.Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой

Окно создания внутреннего интерфейса внешней сети

Созданная внешняя сеть

Cоздание кластерного транспорта Gluster
Порядок действий
Для создания кластерного транспорта необходимо:
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты Web-интерфейса SpaceVM.
Кластерные транспорты

Нажать кнопку Создать.
Создание кластерного транспорта

В открывшемся окне заполнить следующие поля:
Название.
Тип.
Указать тип файловой системы:
Gluster.
Внимание
В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.
Создание КТ Gluster

В меню Хранилища - Кластерные хранилища - Кластерные транспорты проверить правильность создания КТ.
Информация о КТ

Создание zfs-бриков
Порядок действий
На трех узлах необходимо создать три репликационного блока (брика, brick).
Два брика - для полезных данных и один брик - арбитр.
Перейти в раздел основного меню Хранилища - ZFS Web-интерфейса SpaceVM, нажать кнопку Добавить ZFS и создать брик для арбитра
zfs_arbiterна первом узле (два диска типаmirrorс полной избыточностью; отказ одного диска не приведет к отказу брика).В открывшемся окне заполнить поля следующим образом:
Выбрать сервер.
Указать первый узел.
Выбрать тип пула.
Установить значение:
mirror.Выбрать локальные устройства.
Ввести название.
Название арбитра:
zfs_arbiter.Нажать кнопку ОК.
Пример создания zfs_arbiter

Нажать кнопку Добавить ZFS и создать основной брик полезных данных
zfs_brick_1на втором узле (два диска типаraidz1по схеме 4+1; отказ одного диска не приведет к отказу брика).В открывшемся окне заполнить поля следующим образом:
Выбрать сервер.
Указать второй узел.
Выбрать тип пула.
Установить значение:
raidz1.Выбрать локальные устройства.
Ввести название.
Название брика:
zfs_brick_1.Нажать кнопку ОК.
Пример создания zfs_brick_1

Нажать кнопку Добавить ZFS и создать дополнительный брик полезных данных для зеркала
zfs_brick_2на третьем узле (два диска типаraidz1по схеме 4+1; отказ одного диска не приведет к отказу брика).В открывшемся окне заполнить поля следующим образом:
Выбрать сервер.
Указать третий узел.
Выбрать тип пула.
Установить значение:
raidz1.Выбрать локальные устройства.
Ввести название.
Название брика:
zfs_brick_2.Нажать кнопку ОК.
Пример создания zfs_brick_2

Перейти в раздел основного меню Хранилища - ZFS и проверить правильность создания zfs-бриков.
Информация о zfs-бриках

Создание gluster-тома (на примере реплики с арбитром)
Порядок действий
Внимание
Не рекомендуется использование томов типа Dispersed и Distributed Dispersed в связи с потенциальной возможностью потери данных при ограждении узлов SpaceVM.
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Тома Web-интерфейса SpaceVM, нажать кнопку Создать и создать gluster-том.
В открывшемся окне заполнить поля следующим образом:
Выбрать тип тома.
Установить значение:
Реплицированный.Разделы (ZFS пулы).
Выбрать два брика, на которых будут храниться полезные данные. Брик-арбитр не участвует.
Размер записи.
Установить значение: 128 Кбайт.
Значение репликации тома.
Установить значение: 2.
Нажать кнопку ОК.
Пример создания тома

Внимание
Фактически занятое на томе место зависит от типа zpool-бриков, входящих в том, и размера записи тома. Особое внимание требуется при выборе малых размеров записи во время создания томов из бриков (или содержащих хотя бы один брик) с типом raidz, raidz2 (пример в табице ниже).
raidz1, raidz2 из 4 дисков:
Размер записи, Кбайт
Объём полезных данных, Мбайт
Занятый объём, Мбайт
8
500
760
16
500
757
32
500
574
64
500
574
128
500
528
В разделе основного меню Хранилища - Кластерные хранилища - Тома выбрать созданный том и проверить, что он состоит из двух бриков с репликацией 2.
Информация о томе

Информация о бриках

Во вкладке Разделы (ZFS пулы) добавить третий брик на третьем узле в качестве арбитра, нажав кнопку
Добавить раздел.В открывшемся окне заполнить поля следующим образом:
Значение репликации тома.
Установить значение: 3.
Наличие раздела арбитра в реплицированном томе.
Установить значение: 1.
Разделы (ZFS пулы).
Выбрать брик-арбитр.
Нажать кнопку ОК.
Добавление разделов

Проверить успешность добавления брика. Данный брик предназначен исключительно для хранения метаданных, обеспечивающих защиту хранилищ от эффекта split-brain в случае потери работоспособности одного из узлов с полезными данными.
Информация о разделах

Проверить тип бриков. Для этого необходимо во вкладке Разделы (ZFS пулы) нажать кнопку Получение расширенных сведений о томе.
В раскрывающемся списке бриков поочередно выбрать:
storages/zfs/zfs_arbiterи проверить тип брика в полеtype.Тип брика zfs_arbiter

Должно быть
Arbiter.storages/zfs/zfs_brick_1и проверить тип брика в полеtype.Тип брика zfs_brick_1

Должно быть
Brick.
Аналогично проверить
storages/zfs/zfs_brick_2.
Добавление gluster-тома в пул ресурсов
Порядок действий
Перейти в раздел основного меню Кластеры - Пулы ресурсов - <целевой пул ресурсов> - Пулы данных и нажать кнопку Добавить пул.
Пулы данных

В открывшемся окне выбрать созданный
gluster_tomи нажать кнопку ОК.Добавление пула данных

Проверить, что пул появился в списке.
Список пулов данных

Нажав на пул данных в списке, перейти к подробной информации о пуле
gluster_tom. Проверить, что он доступен на всех узлах кластера.Информация о пуле данных

По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.
Следите за обновлениями: впереди новые практические руководства по работе со SpaceVM.
