Для начала надо удалить диск с кластера.
На ноде управления исполняем:
Где ID это номер osd мертвого диска.
На самой ноде с osd исполняем:
И на головной ноде полностью выводим osd из кластера:
Теперь выключаем сервер, изымаем диск и вводим новый.
Смотрим привязки дисков и определяем где лежат журналы. На ноде с osd исполняем:
Так мы увидим какой журнал подключен к какому диску.
Удаляем партицию с журналом с диска с журналами.
Заводим диск в кластер.
Замечание: после создания новой ceph-osd номер партиции журнала будет не прежним а больше на 1 самого большого номера на диске с журналом. То есть, если на диске с журналами было 10 партиций, мы удаляем например 1-ю, то новая партиция будет на месте 1-й партиции но с номером 11 (появится дырка в нумерации разделов).
Замечание: также обнаружится, что вывод команд ceph osd tree и ceph osd df tree теряет сортировку. На самом деле там сортировка происходит по порядку создания osd-шек и вывод группируется по серверам.
Чтобы номер osd совпадал с тем, который у него был, нумерация должна быть сквозной и непрерывной, если у нас есть дырки в нумерации, то на момент ввода диска в кластер надо их закрыть. То есть сделать липовые osd:
Потом надо будет их удалить!
Далее, на новом диске должна быть partition table типа gpt.
Теперь можно создавать новый ceph-osd и заводить его в кластер.
С головной ноды запускаем (он сам создаст партицию на диске с журналом):
Все! Мы молодцы, мертвый диск заменен!
На ноде управления исполняем:
ceph osd out IDГде ID это номер osd мертвого диска.
На самой ноде с osd исполняем:
systemctl stop ceph-osd@IDИ на головной ноде полностью выводим osd из кластера:
ceph osd crush remove osd.ID
ceph auth del osd.ID
ceph osd rm IDТеперь выключаем сервер, изымаем диск и вводим новый.
Смотрим привязки дисков и определяем где лежат журналы. На ноде с osd исполняем:
ceph-disk list | grep journalТак мы увидим какой журнал подключен к какому диску.
Удаляем партицию с журналом с диска с журналами.
parted /dev/диск_с_журналом rm номер_партицииЗаводим диск в кластер.
Замечание: после создания новой ceph-osd номер партиции журнала будет не прежним а больше на 1 самого большого номера на диске с журналом. То есть, если на диске с журналами было 10 партиций, мы удаляем например 1-ю, то новая партиция будет на месте 1-й партиции но с номером 11 (появится дырка в нумерации разделов).
Замечание: также обнаружится, что вывод команд ceph osd tree и ceph osd df tree теряет сортировку. На самом деле там сортировка происходит по порядку создания osd-шек и вывод группируется по серверам.
Чтобы номер osd совпадал с тем, который у него был, нумерация должна быть сквозной и непрерывной, если у нас есть дырки в нумерации, то на момент ввода диска в кластер надо их закрыть. То есть сделать липовые osd:
ceph osd create $IDПотом надо будет их удалить!
ceph osd rm $IDДалее, на новом диске должна быть partition table типа gpt.
parted /dev/диск_с_данными mklabel gptТеперь можно создавать новый ceph-osd и заводить его в кластер.
ceph osd reweight $ID 0С головной ноды запускаем (он сам создаст партицию на диске с журналом):
ceph-deploy osd prepare нода:/dev/диск_с_данными:/dev/диск_с_журналомВсе! Мы молодцы, мертвый диск заменен!