Иногда бывает, что наступает EndOfLife систем хранения данных (СХД) и их нужно выводить из работы, т.к. заканчиваются запчасти.
В нашем случае оказалось, что неcколько хостов с Enterprise Linux загружены с этой СХД и необходимо их плавно перевести на другую.
Подключить две СХД через SAN к серверам достаточно просто, но как перетащить систему так, чтобы это прошло с минимальным влиянием на бизнес-процессы?
В прошлой статье в блоге Bercut я знакомил читателя с утилитой fsarchiver, сегодня мы рассмотрим другой вариант миграции с pvmove и qaucli.
Начнем.
Перед работами обязательно проверяем, что у нас есть актуальный бэкап.
Будем мигрировать системный том с устройства mpatha на устройство mpatham, расположенное на другой СХД. Целевое устройство для миграции должно быть равного или бóльшего размера, чем исходное. Так получилось, что мне презентовали немного больше.
Подходит.
Так выглядит схема миграции:
Осмотримся на сервере.
# multipath -ll
mpatha (360060e80100cf1600530471e0000026e) dm-10 HITACHI ,DF600F
size=400G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=0 status=active
|- 7:0:0:0 sdb 8:16 active ready running
|- 7:0:1:0 sdc 8:32 active ready running
|- 16:0:0:0 sdn 8:208 active ready running
`- 16:0:1:0 sdo 8:224 active ready running
...
mpatham (3600a098038314751455d536d38464c6c) dm-19 NETAPP ,LUN C-Mode
size=416G features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 7:0:3:17 sdz 65:144 active ready running
| `- 16:0:3:17 sdab 65:176 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 7:0:2:17 sdaa 65:160 active ready running
`- 16:0:2:17 sdac 65:192 active ready running Система запущена в Legacy BIOS режиме, это видно по отсутствию директории /sys/firmware/efi
# ls /sys/firmware/efi
ls: cannot access /sys/firmware/efi: No such file or directoryНа устройстве mpatha обнаруживаем MBR разметку.
# fdisk -l /dev/mapper/mpatha
Disk /dev/mapper/mpatha: 429.5 GB, 429496729600 bytes, 838860800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes
Disk label type: dos
Disk identifier: 0x0003324c
Device Boot Start End Blocks Id System
/dev/mapper/mpatha1 * 2048 2099199 1048576 83 Linux
/dev/mapper/mpatha2 2099200 2623487 262144 6 FAT16
/dev/mapper/mpatha3 2623488 838860799 418118656 8e Linux LVMУстройство mpatha1 - ФС /boot для загрузчика GRUB.
# df -h -t ext3
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/mpatha1 976M 185M 740M 20% /bootУстройство mpatha2 - ФС /boot/efi для UEFI режима загрузки. Как мы уже видели выше, UEFI не используется, это раздел на будущее (на всякий случай).
# df -h -t vfat
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/mpatha2 256M 6.5M 250M 3% /boot/efi Устройство mpatha3 - все системные тома на LVM.
# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpatha3 bercutvg lvm2 a-- <398.75g 0
# vgs
VG #PV #LV #SN Attr VSize VFree
bercutvg 1 5 0 wz--n- <398.75g 0
# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
home bercutvg -wi-ao---- <14.65g
root bercutvg -wi-ao---- <29.30g
swap bercutvg -wi-ao---- <29.30g
u01 bercutvg -wi-ao---- <310.86g
var bercutvg -wi-ao---- <14.65gLVM позволит нам сделать онлайн-миграцию данных.
Новое системное устройство будем размечать меткой GPT (старый диск размечен в MBR), поэтому будем использовать gdisk, а не fdisk.
# gdisk /dev/mapper/mpatham
GPT fdisk (gdisk) version 0.8.10
Partition table scan:
MBR: not present
BSD: not present
APM: not present
GPT: not present
Creating new GPT entries.
Command (? for help): p
Disk /dev/mapper/mpatham: 872415232 sectors, 416.0 GiB
Logical sector size: 512 bytes
Disk identifier (GUID): BD6A4CFE-76F5-4087-95EB-36C62E67223C
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 872415198
Partitions will be aligned on 2048-sector boundaries
Total free space is 872415165 sectors (416.0 GiB)
Number Start (sector) End (sector) Size Code Name
Command (? for help): n
Partition number (1-128, default 1): 1
First sector (34-872415198, default = 2048) or {+-}size{KMGTP}:
Last sector (2048-872415198, default = 872415198) or {+-}size{KMGTP}: +900M
Current type is 'Linux filesystem'
Hex code or GUID (L to show codes, Enter = 8300): 8300
Changed type of partition to 'Linux filesystem'
Command (? for help): n
Partition number (2-128, default 2): 2
First sector (34-872415198, default = 1845248) or {+-}size{KMGTP}:
Last sector (1845248-872415198, default = 872415198) or {+-}size{KMGTP}: +1M
Current type is 'Linux filesystem'
Hex code or GUID (L to show codes, Enter = 8300): EF02
Changed type of partition to 'BIOS boot partition'
Command (? for help): n
Partition number (3-128, default 3): 3
First sector (34-872415198, default = 1847296) or {+-}size{KMGTP}:
Last sector (1847296-872415198, default = 872415198) or {+-}size{KMGTP}: +249M
Current type is 'Linux filesystem'
Hex code or GUID (L to show codes, Enter = 8300): EF00
Changed type of partition to 'EFI System'
Command (? for help): n
Partition number (4-128, default 4):
First sector (34-872415198, default = 2357248) or {+-}size{KMGTP}:
Last sector (2357248-872415198, default = 872415198) or {+-}size{KMGTP}:
Current type is 'Linux filesystem'
Hex code or GUID (L to show codes, Enter = 8300): 8E00
Changed type of partition to 'Linux LVM'
Command (? for help): p
Disk /dev/mapper/mpatham: 872415232 sectors, 416.0 GiB
Logical sector size: 512 bytes
Disk identifier (GUID): BD6A4CFE-76F5-4087-95EB-36C62E67223C
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 872415198
Partitions will be aligned on 2048-sector boundaries
Total free space is 2014 sectors (1007.0 KiB)
Number Start (sector) End (sector) Size Code Name
1 2048 1845247 900.0 MiB 8300 Linux filesystem
2 1845248 1847295 1024.0 KiB EF02 BIOS boot partition
3 1847296 2357247 249.0 MiB EF00 EFI System
4 2357248 872415198 414.9 GiB 8E00 Linux LVM
Command (? for help): w
Final checks complete. About to write GPT data. THIS WILL OVERWRITE EXISTING
PARTITIONS!!
Do you want to proceed? (Y/N): y
OK; writing new GUID partition table (GPT) to /dev/mapper/mpatham.
Warning: The kernel is still using the old partition table.
The new table will be used at the next reboot.
The operation has completed successfully.Обратите внимание на раздел в 1Мб, он необходим, чтобы у нас заработал BIOS-загрузчик c GPT-разметки.
Считываем новую таблицу разделов.
# partprobe /dev/mapper/mpathamСоздаем новый PV.
# pvcreate /dev/mapper/mpatham4
Physical volume "/dev/mapper/mpatham4" successfully created.Расширяем на этот PV имеющуюся VG.
# vgextend bercutvg /dev/mapper/mpatham4
Volume group "bercutvg" successfully extended
# vgs
VG #PV #LV #SN Attr VSize VFree
bercutvg 2 5 0 wz--n- <813.62g 414.87g
# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpatha3 bercutvg lvm2 a-- <398.75g 0
/dev/mapper/mpatham4 bercutvg lvm2 a-- 414.87g 414.87gЗапускаем онлайн-миграцию данных.
# pvmove /dev/mapper/mpatha3
/dev/mapper/mpatha3: Moved: 0.01%
/dev/mapper/mpatha3: Moved: 0.58%
/dev/mapper/mpatha3: Moved: 1.13%
...По её завершению отключаем старый PV и удаляем его из системы (на нем больше нет данных).
# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpatha3 bercutvg lvm2 a-- <398.75g <398.75g
/dev/mapper/mpatham4 bercutvg lvm2 a-- 414.87g 16.12g
# vgreduce bercutvg /dev/mapper/mpatha3
Removed "/dev/mapper/mpatha3" from volume group "bercutvg"
# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpatha3 lvm2 --- <398.75g <398.75g
/dev/mapper/mpatham4 bercutvg lvm2 a-- 414.87g 16.12g
# pvremove /dev/mapper/mpatha3
Labels on physical volume "/dev/mapper/mpatha3" successfully wiped.
# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpatham4 bercutvg lvm2 a-- 414.87g 16.12gПроверяем, что у нас есть утилиты dump/restore, если нет, то инсталлируем их.
# yum install -y dumpОтцепляем старые ФС /boot и /boot/efi и делаем их копию с новыми UUID
# umount /boot/efi
# umount /bootНачнем с ФС /boot
# mkfs.ext3 /dev/mapper/mpatham1
# blkid /dev/mapper/mpatham1 -o export | grep ^UUID=
UUID=b1e9b915-00b9-4461-8fcc-f8dad4ab57b5Новый UID вписываем взамен старого в файле /etc/fstab
# vim /etc/fstab
# mount /boot
# cd /boot
# dump -0u -f - /dev/mapper/mpatha1 | restore -rf -Продолжим с ФС /boot/efi
# mkfs.vfat /dev/mapper/mpatham3
# blkid /dev/mapper/mpatham3 -o export | grep ^UUID=
UUID=9B63-787B
# vim /etc/fstab
Новый UID вписываем взамен станого в файле /etc/fstab
# mount /boot/efi
# mount /dev/mapper/mpatha2 /mnt/
# cp -a /mnt/EFI /boot/efi/
# umount /mnt Т.к. за /etc/fstab следит systemd, надо его попросить перечитать конфигурацию (чтобы в будущем не было непонятных глюков):
# systemctl daemon-reload Исправляем friendly-name системного диска на mpatha (опционально):
# vim /etc/multipath/bindings#mpatha 360060e80100cf1600530471e0000026e #комментируем старое загрузочное устройство
#mpatham 3600a098038314751455d536d38464c6c #комментируем новое загрузочное устройство
mpatha 3600a098038314751455d536d38464c6c #вписываем новое загрузочное устройство, как mpathaПроверить наличие настроек dracut для multipath загрузки из SAN. Если этих строк там нет - надо добавить.
# egrep -v "^#|^$" /etc/dracut.conf
add_dracutmodules+="multipath"
add_drivers+="qla2xxx lpfc"Пересобираем initramfs для текущего ядра (UEK) и ванильного.
# cd /boot
# ls -l
# dracut -f
# dracut -f initramfs-3.10.0-1160.el7.x86_64.img 3.10.0-1160.el7.x86_64Ядро старое, как и сама ОС, но на новых ОС процесс такой же.
Настройка загрузчика grub
# grub2-mkconfig -o /boot/grub2/grub.cfg
# grub2-install /dev/mapper/mpathamПосмотрим, какой FC HBA установлен в нашей системе.
# cat /sys/class/fc_host/host*/symbolic_name
QML2692 FW:v8.08.231 DVR:v10.00.00.13-k
QML2692 FW:v8.08.231 DVR:v10.00.00.13-kОбнаружен QLogic. Желательно установить утилиту по его онлайн-администрированию, необходимая утилита называется "Marvell QConvergeConsole CLI".
Документация Marvell QConvergeConsole CLI находится тут.
Саму утилиту я почему-то на сайте Marvel на нашел, зато она есть у других вендоров, использующих их устройства, например, HPE Storage x64 QLogic QConvergeConsole Command Line (QCC CLI) for Linux можно взять тут.
Устанавливаем утилиту и проверяем ее работу.
# yum localinstall QConvergeConsoleCLI-3.1.0-6.x86_64.rpm
# cd /opt/QLogic_Corporation/QConvergeConsoleCLI/
# ./qaucli -pr fc -gПросмотрим текущие настройки загрузочного устройства в bios режиме. Утилитой можно пользоваться как интерактивно, так и задавая сразу точную команду.
# ./qaucli -pr fc -e all info --bios
--------------------------------------------------------------------------------
HBA Instance 0: QML2692 Port 1 WWPN 21:00:f4:e9:d4:58:75:e2 PortID 2f:02:06
Link: Online (FEC)
--------------------------------------------------------------------------------
Boot Settings:
-----------------------------------
Adapter BIOS : Enabled
Selectable Boot : Enabled
-----------------------------------
Drive 0 WWPN LUN
------------------------- ------
50:06:0e:80:10:0c:f1:69 0
-----------------------------------
Drive 1 WWPN LUN
------------------------- ------
50:06:0e:80:10:0c:f1:61 0
-----------------------------------
Drive 2 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0
-----------------------------------
Drive 3 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0
--------------------------------------------------------------------------------
HBA Instance 1: QML2692 Port 2 WWPN 21:00:f4:e9:d4:58:75:e3 PortID 2e:02:10
Link: Online (FEC)
--------------------------------------------------------------------------------
Boot Settings:
-----------------------------------
Adapter BIOS : Enabled
Selectable Boot : Enabled
-----------------------------------
Drive 0 WWPN LUN
------------------------- ------
50:06:0e:80:10:0c:f1:6a 0
-----------------------------------
Drive 1 WWPN LUN
------------------------- ------
50:06:0e:80:10:0c:f1:62 0
-----------------------------------
Drive 2 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0
-----------------------------------
Drive 3 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0Перед тем как продолжить, отключим старое устройство mpatha (360060e80100cf1600530471e0000026e) dm-10 HITACHI ,DF600F из системы.
Мы с него взять все, что нам нужно, на нем остались только старые копии /boot и /boot/efi.
# multipath -l mpatha
mpatha (360060e80100cf1600530471e0000026e) dm-10 HITACHI ,DF600F
size=400G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=0 status=active
|- 7:0:0:0 sdb 8:16 active undef running
|- 7:0:1:0 sdc 8:32 active undef running
|- 16:0:0:0 sdn 8:208 active undef running
`- 16:0:1:0 sdo 8:224 active undef runningУбедимся в том, что устройство отключится без ошибок:
# multipath -f mpathaЗатем отключим его sd-пути (их sd-имена видно из предыдущей команды multipath -l mpatha):
# echo 1 > /sys/block/sdb/device/delete
# echo 1 > /sys/block/sdc/device/delete
# echo 1 > /sys/block/sdn/device/delete
# echo 1 > /sys/block/sdo/device/delete Теперь можно удалять зоны на SAN-доменах (этот процесс тут опущен, для SAN администратора там все обыденно).
Проверяем, что старое загрузочное устройство больше не доступно, с интервалом в 90 секунд посылаем LIP последовательно на оба FC порта.
# echo 1 > /sys/class/fc_host/host16/issue_lip
# sleep 90
# echo 1 > /sys/class/fc_host/host7/issue_lipОсталось сконфигурировать FC-HBA для загрузки с WWN 600a098038314751455d536d38464c6c. Важная особенность в том, что там загрузочный LUN 17 (так получилось, лучше бы, конечно, нулевой).
Это можно сделать либо с перезагрузкой, нажав Ctrl+Q для Qlogic (или Ctrl+E для Emulex) сразу после инициализации BIOS сервера, либо с помощью утилиты qaucli.
Запустим qaucli ы интерактивном режиме. Напоминаю, что она инсталлирована в /opt/QLogic_Corporation/QConvergeConsoleCLI, в которой находится CWD.
Тут я привожу выбираемые в интерактивном режиме пункты меню и соблюдаю отступы, чтобы легко было ориентироваться:
# ./qaucli
2: Adapter Configuration
6: Configure Boot Devices
1: Port 1: WWPN: 21:00:f4:e9:d4:58:75:e2 Online (FEC)
1: Legacy BIOS Boot Mode (на старых FC-HBA этот пункт может отсутствовать)
2: Boot-from-SAN with FCP Storage Device
2: Configure BIOS Boot Drive Mapping
1: Boot Drive 0
1: FCP Disk Drive 0 WWPN: 20:01:d0:39:ea:31:21:b2
18: LUN: 17
2: Boot Drive 1
2: FCP Disk Drive 1 WWPN: 20:03:d0:39:ea:31:21:b2
18: LUN: 17
5: Save
Configuration updated. Changes have been saved to HBA 0
m: Main Menu
2: Adapter Configuration
6: Configure Boot Devices
2: Port 2: WWPN: 21:00:f4:e9:d4:58:75:e3 Online (FEC)
1: Legacy BIOS Boot Mode (на старых FC-HBA этот пункт может отсутствовать)
2: Boot-from-SAN with FCP Storage Device
2: Configure BIOS Boot Drive Mapping
1: Boot Drive 0
1: FCP Disk Drive 0 WWPN: 20:01:d0:39:ea:31:21:b2
18: LUN: 17
2: Boot Drive 1
2: FCP Disk Drive 1 WWPN: 20:03:d0:39:ea:31:21:b2
18: LUN: 17
5: Save
Configuration updated. Changes have been saved to HBA 1
x: QuitТекущие загрузочные устройство изменились:
# ./qaucli -pr fc -e all info --bios
--------------------------------------------------------------------------------
HBA Instance 0: QML2692 Port 1 WWPN 21:00:f4:e9:d4:58:75:e2 PortID 2f:02:1e
Link: Online (FEC)
--------------------------------------------------------------------------------
Boot Settings:
-----------------------------------
Adapter BIOS : Enabled
Selectable Boot : Enabled
-----------------------------------
Drive 0 WWPN LUN
------------------------- ------
20:01:d0:39:ea:31:21:b2 17
-----------------------------------
Drive 1 WWPN LUN
------------------------- ------
20:03:d0:39:ea:31:21:b2 17
-----------------------------------
Drive 2 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0
-----------------------------------
Drive 3 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0
--------------------------------------------------------------------------------
HBA Instance 1: QML2692 Port 2 WWPN 21:00:f4:e9:d4:58:75:e3 PortID 2e:02:28
Link: Online (FEC)
--------------------------------------------------------------------------------
Boot Settings:
-----------------------------------
Adapter BIOS : Enabled
Selectable Boot : Enabled
-----------------------------------
Drive 0 WWPN LUN
------------------------- ------
20:02:d0:39:ea:31:21:b2 17
-----------------------------------
Drive 1 WWPN LUN
------------------------- ------
20:04:d0:39:ea:31:21:b2 17
-----------------------------------
Drive 2 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0
-----------------------------------
Drive 3 WWPN LUN
------------------------- ------
00:00:00:00:00:00:00:00 0Теперь наши система полностью смигрированна на новое системное устройство.
Заключение
На этом можно было бы и остановиться, но желательно убедиться, что система может загрузиться сама и устроить плановую перезагрузку в следующее возможное окно.
Это для того чтобы полностью расслабиться и спать спокойно.
На время перезагрузки можно на всякий случай положить недалеко от себя SystemRescue, о котором я упоминал в предыдущей статье про fsarchiver.
У меня все системы нормально перезагрузились в запланированное время, без приключений.
