@BarsMonster12 апр 2011 в 23:08

Добавление диска в MDADM RAID 5/6 «на лету»

3 мин

45K

Системное администрирование *

+37

Комментарии 42

@Ventura 12 апр 2011 в 23:46

Реквестую статью по «правильному» созданию JBOD-массива из дисков разного размера )

@BarsMonster 12 апр 2011 в 23:48

И не страшно? :-) Мне лично страшно :-)

@Ventura 12 апр 2011 в 23:52

Для файлопомойки из старых дисков сойдет.
Для хранения личных документов/фотографий — я за RAID1 )

@BarsMonster 12 апр 2011 в 23:55

raid-1 расширить нельзя, и после смерти первого диска у вас несколько часов (а то и дней, если не сразу замену найти), когда можно потерять все ;-)

@Ventura 13 апр 2011 в 00:04

Вам действительно нужно больше 1-2 Тб под документы/фото? Если когда нибудь понадобится — можно взять 2 новых больших диска и перегнать туда информацию.
В RAID5 аналогично, пока не синхронизируется новый диск, вы можете потерять все. RAID6 — да, луче, но нужно хотя-бы 4 диска.

@BarsMonster 13 апр 2011 в 00:14

Да, я в целом согласен с вами.

Впрочем, чего это я придираюсь, для MDADM — RAID-1 — это частный случай RAID-4/5 :-) А нормальный RAID-6 можно и из 3 дисков собрать (из одного — в качестве жесткого извращения, и все даже будет работать) :-)

@Ventura 13 апр 2011 в 00:24

Да, можно. Можно сделать несколько разделов на одном диске и объединить их в RAID6, только какой смысл? Если вылетит диск, на котором было два раздела, ситуация та же, массив будет жить, если во время добавления нового винта, не вылетит кто-то еще )

@BarsMonster 13 апр 2011 в 00:30

Я не предлагал делать несколько разделов на диске )

@Ventura 13 апр 2011 в 00:32

А как вы предлагаете сделать RAID6 на 3 или 1 дисках? )

@BarsMonster 13 апр 2011 в 00:36

Из 3-х — совершенно нормальный массив, с емкостью одного диска. Из 1-го — degraded, и потом можно добавлять диски.

@Ventura 13 апр 2011 в 00:52

Хмм, а разве можно RAID5/6 создавать с одним блоком stripe?
У них как бы минимум 2 блока stripe и 1(или 2 для RAID6) блока parity.

@BarsMonster 13 апр 2011 в 00:57

degraded можно, создается массив из 3-х дисков с отсутствующими 1 или 2 дисками, и это будет работать.

@Ventura 13 апр 2011 в 01:03

Что-то тут не вяжется. Из 3-х — это нормальный RAID6? Как по мне, degraded.
А из одного диска можно сделать degraded RAID1.

@BarsMonster 13 апр 2011 в 03:17

Посыпаю голову пеплом:

@BarsMonster 13 апр 2011 в 03:18

РРРРР!

if (raiddisks < 4 && level == 6) {

 fprintf(stderr,

 Name ": at least 4 raid-devices needed for level 6\n");

 return 1;

 }

Патч для поддержки 3-х дисковых RAID6 есть, но текущая версия действительно требует 4 :-)

@Ventura 13 апр 2011 в 08:50

Ок, осталось разобраться, что вы имели ввиду под degraded RAID6 на 1 диске.

@BarsMonster 13 апр 2011 в 09:00

mdadm --create /dev/md2 --level=raid6 --raid-devices=4 /hdd1 /hdd2 missing missing

С одним очевидно не выйдет без поддержки 3-х дисковых RAID-6 )

@Ventura 13 апр 2011 в 09:07

Ок, я уж думал все сильно изменилось, а я не в курсе )

@zanudische 13 апр 2011 в 05:38

raid1 (впрочем, любой другой тоже) никто не мешает использовать в качестве физического тома LVM. А уж уровнем выше можно обрасширяться хоть до посинения.

@akshakirov 13 апр 2011 в 06:14

Почему «после смерти первого диска у вас несколько часов»?

Времени ровно столько, сколько проживет второй диск из массива.

@BarsMonster 13 апр 2011 в 06:48

Тут имеется ввиду, что есть несколько часов, когда массив не защищен от повреждения диска.

@guglez 15 апр 2011 в 07:32

Посмотрите на mhddfs. В дебиан/убунту есть в репозиториях. Не совсем JBOD, но по сути почти тоже самое. И не так страшно, т.к. в случае выхода из строя какого-либо диска, терям инфу только с него.

@mihmig 13 апр 2011 в 05:30

Подскажите, а для того что бы поэкспериментировать c mdadm обязательно 3+ физических дисков? Можно обойтись образами, созданными с помощью dd? если да, то как?

@BarsMonster 13 апр 2011 в 05:52

Только что проверил — на файлах нельзя, так что придется брать какое-то мелкое устройство, и разбивать на кучку разделов. Может еще какие способы есть.

@mihmig 13 апр 2011 в 06:46

Жаль, что mdadm не работает с файлами — теряется некая свобода. Было бы неплохо держать части рейда в виде файлов (на отдельных конечно же физических дисках): надо расширить рейд — скопировал файл на другой носитель, перезапустил демона и все…

@zanudische 13 апр 2011 в 07:05

[занудным голосом] LVM, LVM, LVM…

@bergen1975 13 апр 2011 в 10:04

Попробуйте использовать механизм loopback устройств, посмотрите «man losetup». Позволяет связывать файл с блочным устройством и работать, соответственно, с ним как с блочным устройством. С высокой вероятностью должно сработать.

@akshakirov 13 апр 2011 в 06:12

для того чтобы поэкспериментировать с mdadm идеально подходит Virtualbox.

Когда появляется нестандартная задача, я стараюсь в виртуалке её эмулировать. Удобно очень, сколько дисков надо столько и создаешь :)

@mihmig 13 апр 2011 в 07:27

можно ли как-то virtual-box-у подсунуть результат работы dd?

@akshakirov 13 апр 2011 в 07:32

Да, можно.

VBoxManage convertfromraw ImageFile.dd OutputFile.vdi

@dorne 26 ноя 2013 в 23:35

mdadm позволяет добавлять в массив разделы, а не только диски целиком.

mdadm позволяет создавать массивы из томов lvm

@drunken 13 апр 2011 в 06:38

SATA6 диск оказался не очень совместим с SATA1 контроллером

тут где-то ошибочка :)

@BarsMonster 13 апр 2011 в 06:50

SATA I, SATA II, SATA 6Gb :-)

@BarsMonster 13 апр 2011 в 06:50

Using the terms SATA III or SATA 3.0 to refer to a SATA 6 Gbit/s product is unclear and not preferred.

@mihavxc 15 апр 2011 в 10:21

Проясните один вопрос. Куча саппортов утверждает, что этот программный рейд стабильно работает полько под ЦентОС. Может кто поделиться опытом?

@BarsMonster 15 апр 2011 в 10:58

У меня Ubuntu, за 1.5 года нареканий нет.

@easy_john 17 апр 2011 в 21:39

«этот программый рейд» идентичен на всех линукс-дистрибутивах и является стабильным для продакшена уже лет 10. не слушайте саппорт, который выучил только как мышкой возить в одном единственно дистрибутиве.

@009b 17 мая 2011 в 06:01

если у вас на генте/убунте не сыпался продакшн при решарпе массива, то рано или поздно палка выстрелит.

за что они выделили центос и не выделили рхел — вот этот вопрос интереснее.

@fakedream 22 апр 2011 в 19:41

>>Сначала проверка e2fsck -f /dev/md0
нужно еще добавить, что исправление ошибок в случае их нахождения на смонтированной фс крайне не рекомендуется делать.

@Pavel_Pronskiy 29 апр 2011 в 15:39

Можно создать несколько RAID1 либо RAID1+0 и объединить все в aufs2.
Пример: mount -t aufs none -o br=/media/RAID10_1=rw:/media/RAID10_2=rw:/media/RAID10_3=rw /media/STORAGE
Также можно и NFS объединять, особенно характерно если имеется несколько 1U серверов с RAID1+0 по 4 диска в каждом.

@009b 17 мая 2011 в 05:43

заезженная тема уже к 2007-2008 году.

сейчас ещё сохраняется проблема с добавлением дисков в 6 рейды в центосе из-за 2.6.18 и «нового» функционала с ядра 2.6.21. И обход этой проблемы известен, да и 6 центос близок.

правильный набор команд просто элементарно гуглится.

@dorne 30 ноя 2013 в 03:53

Операция изменения размера в среднем происходит со скоростью самого медленного диска.

Позвольте не согласиться… Примерно в два раза медленнее скорости самого медленного диска (ибо половину времени он читает, а половину пишет)…

Зарегистрируйтесь на Хабре, чтобы оставить комментарий