В этой статье мы продолжим рассмотрение файловой системы BTRFS и, в частности, поговорим о том, как работать в этой файловой системе с RAID массивами.
В начале я немного напомню о том, что такое RAID массив и какие они бывают. А то вдруг кто-то забыл или на собеседовании спросят. И затем мы перейдем уже к непосредственной настройке этого функционала в BTRFS.
Какие RAID бывают
Итак RAID (Redundant Array of Independent Disks, избыточный массив независимых дисков) – технология объединения нескольких дисков в единый логический элемент для избыточности и повышения производительности. Бывают несколько типов RAID, но мы будем говорить только о тех, которые поддерживаются в BTRFS. Взаимодействие с RAID в данной файловой системе осуществляется с помощью профилей, поэтому говоря об уровнях RAID мы будем использовать термин профиль.
RAID 0 не является отказоустойчивым решением, но данный вид дисковых массивов востребован там, где требуется поддержка высокоскоростного режима чтения и записи. Чередование дисков без избыточности данных, используемое в RAID 0 также может быть использовано для временных данных или в ситуациях, когда основная копия данных легко восстанавливается с другого устройства. Мы можем использовать 100% дискового пространства каждого из устройств хранения, добавленных в файловую систему, но, если одно из устройств хранения данных выйдет из строя, вся файловая система будет повреждена. Для настройки файловой системы Btrfs в профиле raid0 вам потребуется как минимум два устройства хранения данных.
RAID 1 и его вариации
RAID 1 это один из самых распространенных видов построения отказоустойчивых дисковых хранилищ. В данном случае происходит зеркальное отображение дисков, составляющих единый массив, с последующей синхронизацией. В профиле BTRFS RAID 1 две копии данных/метаданных будут храниться на устройствах хранения, добавленных в файловую систему. Такая архитектура, с одной стороны позволит нам сохранить все данные при потере одного диска, но с другой мы можем использовать только половину от всего дискового пространства, в отличие от RAID 0 где нам были доступны для записи оба диска.
В BTRFS можно использовать специальные профили для работы с RAID 1, состоящих из нескольких дисков. Так в профиле raid1c3 три копии данных будут храниться на устройствах хранения, добавленных в файловую систему. Для данного профиля вам потребуется не менее трех дисков, вы можете позволить себе потерять два из них, но и использовать вы сможете только 33% от общего объема.
Аналогично, можно использовать профиль raid1c4. В нем имеются уже четыре копии данных, которые хранятся на дисках. Соответственно, здесь мы можем потерять уже три диска, но эффективность использования дискового пространства будет только 25%. Количество необходимых для использования этого профиля дисков начинается от четырех.
RAID 10 (RAID 1+0) – еще одна довольно распространенная архитектура организации дисковых массивов. Этот тип массивов представляет собой объединение зеркалирования и чередования дисков. Для реализации такой архитектуры требуется не менее четырех дисков, в которых данные чередуются на зеркальных парах. Пока один диск в каждой зеркальной паре функционирует, данные могут быть извлечены. В BTRFS профиле raid10 две копии данных будут храниться на устройствах хранения, добавленных в файловую систему, как и в профиле raid1. Кроме того, данные будут распределены по устройствам хранения, как в профиле raid0. Как и в RAID 1 здесь вы можете использовать 50% от общего дискового пространства в конфигурации raid10. Для настройки файловой системы Btrfs в профиле raid10 вам потребуется как минимум четыре устройства хранения данных.
RAID 5 и 6
Конфигурация RAID 5 получила широкое распространение в различных системах хранения и серверах с большим количеством дисков. В BTRFS профиле RAID5 одна копия данных будет разделена между устройствами хранения, таким образом, что единая четность будет вычислена и распределена между устройствами хранения RAID-массива.
Формула расчета эффективного дискового пространства здесь будет несколько сложнее, чем в предыдущих случаях. Полезный объем равен 100x(N-1)/N %, где N – это количество дисков одинакового размера. В конфигурации RAID5 файловая система может пережить один сбой диска. Если диск выходит из строя, вы можете добавить новый диск в файловую систему, и потерянные данные будут рассчитаны на основе распределенной четности запущенных дисков. Соответственно, в профиле BTRFS RAID5 вам потребуется как минимум три устройства хранения данных.
RAID 6 — массив из четырёх или более дисков с проверкой чётности, разработанный для защиты от потери данных при выходе из строя сразу двух жестких дисков в массиве. В профиле RAID6 одна копия данных/метаданных будет разделена между устройствами хранения. Будут рассчитаны два соотношения и распределены между устройствами хранения RAID-массива.
В конфигурации raid6 файловая система может пережить два сбоя диска одновременно. Если диск выходит из строя, вы можете добавить новый диск в файловую систему, и потерянные данные будут рассчитаны на основе двух распределенных соотношений запущенных дисков.
Здесь эффективное пространство рассчитывается по следующей формуле 100x(N-2)/N % от общего дискового пространства в конфигурации raid6, где N - количество устройств хранения, добавленных в файловую систему. Для настройки файловой системы Btrfs в профиле raid6 вам потребуется как минимум четыре устройства хранения данных.
Бочка дегтя в ложке меда
Однако с поддержкой RAID5 и RAID6 в BTRFS все не так просто, как хотелось бы. На текущий момент на странице англоязычной википедии режимы RAID 5 и RAID 6 имеют статус реализованы, но не рекомендованы (Implemented but not recommended for production use). Ну а по мнению многих ИТ блоггеров, высказывающихся по данной проблеме, данные не просто могут быть потеряны, они будут обязательно потеряны.
Поэтому в примерах работы RAID с BTRFS я не буду описывать настройку RAID 5 и RAID 6. Но для тех, кто все-таки хочет рискнуть и использовать эти архитектуры вот несколько советов:
никогда не используйте raid5 для метаданных. Используйте raid1 для метаданных (raid1c3 для raid6).
почаще используйте команду btrfs scrub. Данная команда проходит по всем данным файловой системы и метаданным и проверяет контрольные суммы. Если доступна действительная копия (реплицированные профили группы блоков), то поврежденная копия восстанавливается.
выполняйте очистку btrfs scrub на одном диске за раз.
когда диск выходит из строя, используйте "btrfs replace", чтобы заменить его.
Планируйте восстановление таким образом, чтобы файловая система не использовалась, во время восстановления.
Ну и следует помнить, что btrfs raid5 не обеспечивает такой полной защиты от повреждения данных на диске, как btrfs raid1. Если вы планируете использовать запасные диски, не добавляйте их в файловую систему до возникновения сбоев одного из основных дисков. Возможно, вам не удастся перераспределить данные с отсутствующих дисков по существующим дискам с помощью удаления устройства. Держите запасные диски пустыми и активируйте их с помощью "btrfs replace", если активные диски выходят из строя.
И если подводить итоги приведенному в этом разделе, то не доверяйте RAID 5 и RAID 6, а если доверяете, убедитесь, что у вас есть резервные копии!
Немного настроек RAID
Теперь мы можем перейти к практической части, а именно, к настройке различных видов RAID массивов в BTRFS. Начнем с RAID-0. Я, как обычно использую Ubuntu 22.04 к которой будут подключены три диска sdb, sdc,sdd.
lsblk -e7
Для создания RAID любой архитектуры в BTRFS достаточно одной команды mkfs.btrfs. Так для RAID эта команда будет иметь следующий вид:
mkfs.btrfs -L bt_raid -d raid0 -m raid0 -f /dev/sdb /dev/sdc /dev/sdd
На скриншоте представлен результат успешного выполнения этой команды. Далее подмонтируем наш раздел /dev/sdb к каталогу /bt_raid и посмотрим сколько свободного места у нас есть.
mount /dev/sdb /bt_raid
df -h /bt_raid
Как видно, мы можем использовать объем всех трех дисков для хранения данных.
Далее, развернем “зеркало” RAID-1. Здесь у нас будут участвовать два диска /dev/sdb и /dev/sdc.
mkfs.btrfs -L bt_raid -d raid1 -m raid1 -f /dev/sdb /dev/sdc
Как и предполагалось полезный объем равен половине дискового пространства.
И напоследок посмотрим построение RAID-1C3 массива. Как можно понять из названия, здесь у нас будут участвовать три диска.
mkfs.btrfs -L bt_raid -d raid1c3 -m raid1c3 -f /dev/sdb /dev/sdc /dev/sdd
В результате успешного выполнения команды мы получили раздел, размером в 33% от общего объема дискового пространства.
Заключение
В этой статье мы рассмотрели возможности BTRFS по работе с RAID массивами различной структуры. К сожалению, не все поддерживаемые в этой файловой системе виды RAID являются надежными, однако основные виды RAID 0, 1 и их вариации вполне можно использовать.
В конце статьи, традиционно приглашаю вас на бесплатный вебинар. Тема вебинара: "Мини-лаборатория: Vagrant".
Поговорим о том как сделать тестовый стенд на своем локальном компьютере и какие компоненты для этого понадобится, обсудим разницу между контейнеризацией и виртуализацией, посмотрим какие системы виртуализации и контейнеризации существуют, а также рассмотрим работу с инструментом автоматизации vagrant, его особенностях и принципах работы.