Используя сценарий из docs.ceph.com/docs/master/install/manual-deployment/#adding-osds
получается установить lvm только в раздел диска.
loop1
`-loop1p1part
`-ceph--7e5c2d8a…
Иначе возникает ошибка --> RuntimeError: Cannot use device (/dev/loop1). A vg/lv path or an existing device is needed
При ручной разметке диска в lmv проблем не возникает.
В той же инструкции в разделе «длинный путь», используется xfs и ссылка на блочное устройство.
Какую цель преследует продакшн-вариант: предполагается изменять на ходу размеры osd или размазывать на несколько дисков?
Привожу ответ с vasilisc.com/bluestore-ceph-2017: «BlueStore может управлять тремя устройствами: Обязательное основное (main) устройство для хранения объектов, а также (обычно) метаданных. Символическая ссылка block указывает на это устройство. Опциональное устройство db может быть отдано для хранения метаданных (RocksDB)...»
В моём случае создано только основное устройство, поэтому rocksdb хранится на нём.
# file /var/lib/ceph/osd/ceph-0/block
/var/lib/ceph/osd/ceph-0/block: symbolic link to /dev/disk/by-partuuid/d8cc3da6-02
# file /dev/disk/by-partuuid/d8cc3da6-02
/dev/disk/by-partuuid/d8cc3da6-02: symbolic link to ../../sdb2
# file /dev/sdb2 -s
/dev/sdb2: data
В вопросах, где трудно объективно оценить насколько что-то хорошо или плохо, удобно ссылаться на финансовую сторону. К примеру, решение VDI на 1000 рабочих мест, включающее экземпляр Windows, Office, почтовый клиент и браузер какой-нибудь — ничего сверх естественного — это сразу от 4 ТБ оперативки, как минимум 500 ГГц CPU, дисковая подсистема — одновременный старт сотни экземпляров chrome — это 5 млн обращений к системе, из них половина — к реестру, половина — к файловой системе, понятно, что далеко не каждое приведёт к обращению к дискам, но нагрузка будет.
Отсюда вырисовывается громоздкое решение из нескольких мощных серверов, активное охлаждение, беспребойники с огромными батареями… стоимость впечатляет. А теперь подставим цифры из 90-х годов: Система ~16 МБ, 112 МБ под приложения. Для браузера этого хватит чтобы рендерить даже под 4К разрешение, почтовый клиент сможет держать в памяти метаданные более, чем о 100 тысячах письмах, итд. Раз данных меньше, то и операций обработки тоже должно быть меньше. Отсюда получаем: 100 ГБ памяти, 50 Ггц CPU, сетевой интерфейс не 10Гб, 1 Гб хватит,- достаточно купить три, для отказоустойчивости, рабочие станции среднего уровня, по паре SSD в каждую, ИБП на 3000 — чтоб с запасом, а несколько миллионов разницы — положить в карман. И это только один крошечный проект.
Отсюда вопрос, вы всё ещё считаете, что в софте всё в порядке?
получается установить lvm только в раздел диска.
loop1
`-loop1p1part
`-ceph--7e5c2d8a…
Иначе возникает ошибка --> RuntimeError: Cannot use device (/dev/loop1). A vg/lv path or an existing device is needed
При ручной разметке диска в lmv проблем не возникает.
В той же инструкции в разделе «длинный путь», используется xfs и ссылка на блочное устройство.
Какую цель преследует продакшн-вариант: предполагается изменять на ходу размеры osd или размазывать на несколько дисков?
В моём случае создано только основное устройство, поэтому rocksdb хранится на нём.
# file /var/lib/ceph/osd/ceph-0/block
/var/lib/ceph/osd/ceph-0/block: symbolic link to /dev/disk/by-partuuid/d8cc3da6-02
# file /dev/disk/by-partuuid/d8cc3da6-02
/dev/disk/by-partuuid/d8cc3da6-02: symbolic link to ../../sdb2
# file /dev/sdb2 -s
/dev/sdb2: data
В чём я ошибся?
> cat /var/lib/ceph/osd/ceph-0/type
bluestore
btrfs только под системные файлы. А с какой целью OSD использует LVM я пока не понял.
Отсюда вырисовывается громоздкое решение из нескольких мощных серверов, активное охлаждение, беспребойники с огромными батареями… стоимость впечатляет. А теперь подставим цифры из 90-х годов: Система ~16 МБ, 112 МБ под приложения. Для браузера этого хватит чтобы рендерить даже под 4К разрешение, почтовый клиент сможет держать в памяти метаданные более, чем о 100 тысячах письмах, итд. Раз данных меньше, то и операций обработки тоже должно быть меньше. Отсюда получаем: 100 ГБ памяти, 50 Ггц CPU, сетевой интерфейс не 10Гб, 1 Гб хватит,- достаточно купить три, для отказоустойчивости, рабочие станции среднего уровня, по паре SSD в каждую, ИБП на 3000 — чтоб с запасом, а несколько миллионов разницы — положить в карман. И это только один крошечный проект.
Отсюда вопрос, вы всё ещё считаете, что в софте всё в порядке?