BarsMonster Apr 12 2011 at 23:08

Добавление диска в MDADM RAID 5/6 «на лету»

3 min

42K

System administration*

+37

Comments 42

Ventura Apr 12 2011 at 23:46

Реквестую статью по «правильному» созданию JBOD-массива из дисков разного размера )

BarsMonster Apr 12 2011 at 23:48

И не страшно? :-) Мне лично страшно :-)

Ventura Apr 12 2011 at 23:52

Для файлопомойки из старых дисков сойдет.
Для хранения личных документов/фотографий — я за RAID1 )

BarsMonster Apr 12 2011 at 23:55

raid-1 расширить нельзя, и после смерти первого диска у вас несколько часов (а то и дней, если не сразу замену найти), когда можно потерять все ;-)

Ventura Apr 13 2011 at 00:04

Вам действительно нужно больше 1-2 Тб под документы/фото? Если когда нибудь понадобится — можно взять 2 новых больших диска и перегнать туда информацию.
В RAID5 аналогично, пока не синхронизируется новый диск, вы можете потерять все. RAID6 — да, луче, но нужно хотя-бы 4 диска.

BarsMonster Apr 13 2011 at 00:14

Да, я в целом согласен с вами.

Впрочем, чего это я придираюсь, для MDADM — RAID-1 — это частный случай RAID-4/5 :-) А нормальный RAID-6 можно и из 3 дисков собрать (из одного — в качестве жесткого извращения, и все даже будет работать) :-)

Ventura Apr 13 2011 at 00:24

Да, можно. Можно сделать несколько разделов на одном диске и объединить их в RAID6, только какой смысл? Если вылетит диск, на котором было два раздела, ситуация та же, массив будет жить, если во время добавления нового винта, не вылетит кто-то еще )

BarsMonster Apr 13 2011 at 00:30

Я не предлагал делать несколько разделов на диске )

Ventura Apr 13 2011 at 00:32

А как вы предлагаете сделать RAID6 на 3 или 1 дисках? )

BarsMonster Apr 13 2011 at 00:36

Из 3-х — совершенно нормальный массив, с емкостью одного диска. Из 1-го — degraded, и потом можно добавлять диски.

Ventura Apr 13 2011 at 00:52

Хмм, а разве можно RAID5/6 создавать с одним блоком stripe?
У них как бы минимум 2 блока stripe и 1(или 2 для RAID6) блока parity.

BarsMonster Apr 13 2011 at 00:57

degraded можно, создается массив из 3-х дисков с отсутствующими 1 или 2 дисками, и это будет работать.

Ventura Apr 13 2011 at 01:03

Что-то тут не вяжется. Из 3-х — это нормальный RAID6? Как по мне, degraded.
А из одного диска можно сделать degraded RAID1.

BarsMonster Apr 13 2011 at 03:17

Посыпаю голову пеплом:

BarsMonster Apr 13 2011 at 03:18

РРРРР!

if (raiddisks < 4 && level == 6) {

 fprintf(stderr,

 Name ": at least 4 raid-devices needed for level 6\n");

 return 1;

 }

Патч для поддержки 3-х дисковых RAID6 есть, но текущая версия действительно требует 4 :-)

Ventura Apr 13 2011 at 08:50

Ок, осталось разобраться, что вы имели ввиду под degraded RAID6 на 1 диске.

BarsMonster Apr 13 2011 at 09:00

mdadm --create /dev/md2 --level=raid6 --raid-devices=4 /hdd1 /hdd2 missing missing

С одним очевидно не выйдет без поддержки 3-х дисковых RAID-6 )

Ventura Apr 13 2011 at 09:07

Ок, я уж думал все сильно изменилось, а я не в курсе )

zanudische Apr 13 2011 at 05:38

raid1 (впрочем, любой другой тоже) никто не мешает использовать в качестве физического тома LVM. А уж уровнем выше можно обрасширяться хоть до посинения.

akshakirov Apr 13 2011 at 06:14

Почему «после смерти первого диска у вас несколько часов»?

Времени ровно столько, сколько проживет второй диск из массива.

BarsMonster Apr 13 2011 at 06:48

Тут имеется ввиду, что есть несколько часов, когда массив не защищен от повреждения диска.

guglez Apr 15 2011 at 07:32

Посмотрите на mhddfs. В дебиан/убунту есть в репозиториях. Не совсем JBOD, но по сути почти тоже самое. И не так страшно, т.к. в случае выхода из строя какого-либо диска, терям инфу только с него.

mihmig Apr 13 2011 at 05:30

Подскажите, а для того что бы поэкспериментировать c mdadm обязательно 3+ физических дисков? Можно обойтись образами, созданными с помощью dd? если да, то как?

BarsMonster Apr 13 2011 at 05:52

Только что проверил — на файлах нельзя, так что придется брать какое-то мелкое устройство, и разбивать на кучку разделов. Может еще какие способы есть.

mihmig Apr 13 2011 at 06:46

Жаль, что mdadm не работает с файлами — теряется некая свобода. Было бы неплохо держать части рейда в виде файлов (на отдельных конечно же физических дисках): надо расширить рейд — скопировал файл на другой носитель, перезапустил демона и все…

zanudische Apr 13 2011 at 07:05

[занудным голосом] LVM, LVM, LVM…

bergen1975 Apr 13 2011 at 10:04

Попробуйте использовать механизм loopback устройств, посмотрите «man losetup». Позволяет связывать файл с блочным устройством и работать, соответственно, с ним как с блочным устройством. С высокой вероятностью должно сработать.

akshakirov Apr 13 2011 at 06:12

для того чтобы поэкспериментировать с mdadm идеально подходит Virtualbox.

Когда появляется нестандартная задача, я стараюсь в виртуалке её эмулировать. Удобно очень, сколько дисков надо столько и создаешь :)

mihmig Apr 13 2011 at 07:27

можно ли как-то virtual-box-у подсунуть результат работы dd?

akshakirov Apr 13 2011 at 07:32

Да, можно.

VBoxManage convertfromraw ImageFile.dd OutputFile.vdi

dorne Nov 26 2013 at 23:35

mdadm позволяет добавлять в массив разделы, а не только диски целиком.

mdadm позволяет создавать массивы из томов lvm

drunken Apr 13 2011 at 06:38

SATA6 диск оказался не очень совместим с SATA1 контроллером

тут где-то ошибочка :)

BarsMonster Apr 13 2011 at 06:50

SATA I, SATA II, SATA 6Gb :-)

BarsMonster Apr 13 2011 at 06:50

Using the terms SATA III or SATA 3.0 to refer to a SATA 6 Gbit/s product is unclear and not preferred.

mihavxc Apr 15 2011 at 10:21

Проясните один вопрос. Куча саппортов утверждает, что этот программный рейд стабильно работает полько под ЦентОС. Может кто поделиться опытом?

BarsMonster Apr 15 2011 at 10:58

У меня Ubuntu, за 1.5 года нареканий нет.

easy_john Apr 17 2011 at 21:39

«этот программый рейд» идентичен на всех линукс-дистрибутивах и является стабильным для продакшена уже лет 10. не слушайте саппорт, который выучил только как мышкой возить в одном единственно дистрибутиве.

009b May 17 2011 at 06:01

если у вас на генте/убунте не сыпался продакшн при решарпе массива, то рано или поздно палка выстрелит.

за что они выделили центос и не выделили рхел — вот этот вопрос интереснее.

fakedream Apr 22 2011 at 19:41

>>Сначала проверка e2fsck -f /dev/md0
нужно еще добавить, что исправление ошибок в случае их нахождения на смонтированной фс крайне не рекомендуется делать.

Pavel_Pronskiy Apr 29 2011 at 15:39

Можно создать несколько RAID1 либо RAID1+0 и объединить все в aufs2.
Пример: mount -t aufs none -o br=/media/RAID10_1=rw:/media/RAID10_2=rw:/media/RAID10_3=rw /media/STORAGE
Также можно и NFS объединять, особенно характерно если имеется несколько 1U серверов с RAID1+0 по 4 диска в каждом.

009b May 17 2011 at 05:43

заезженная тема уже к 2007-2008 году.

сейчас ещё сохраняется проблема с добавлением дисков в 6 рейды в центосе из-за 2.6.18 и «нового» функционала с ядра 2.6.21. И обход этой проблемы известен, да и 6 центос близок.

правильный набор команд просто элементарно гуглится.

dorne Nov 30 2013 at 03:53

Операция изменения размера в среднем происходит со скоростью самого медленного диска.

Позвольте не согласиться… Примерно в два раза медленнее скорости самого медленного диска (ибо половину времени он читает, а половину пишет)…