Comments 10
В чем смысл создавать osd поверх zfs? Ceph и так обеспечит необходимую вам реплекацию данных. Тем более вы не используете распредленную файловую систему cephFS, а подключаетесь через RBD.
Аналогичный вопрос, конкретно мне не понятно зачем делать zfs mirror. Это где-то так же, как ставить ceph на mdraid1? Вы теряете в гибкости crushmap, а что получаете—я толком даже и не знаю?
Что бы потом рассказывать какой CEPH плохой, кривой и не работает. Какой-то в этом особый смысл.
Ну я вижу, как минимум, два потенциальных довода в сторону OSD на ZFS:
1) Цеф не следит за чексуммами объектов, а ZFS следит.
2) CoW в ZFS позволяет избежать оверхеда двойной записи на диск OSD (сначала в журнал, потом на диск). Для небольших кластеров, где нетденегвозможности юзать SSD под журналы, ZFS отлично подходит.
Why not?
1) Цеф не следит за чексуммами объектов, а ZFS следит.
2) CoW в ZFS позволяет избежать оверхеда двойной записи на диск OSD (сначала в журнал, потом на диск). Для небольших кластеров, где нет
Why not?
1) в ceph контрольные суммы считаются и проверяются во время scrub
2) засовывание osd на zfs со включенным журналом невозможно — ругаться будет (как раз в формате «у меня уже есть журнал, зачем мне еще журнал?»). Встроенный в ceph журнал придется вырубить. Ваш совет теряет смысл.
2) засовывание osd на zfs со включенным журналом невозможно — ругаться будет (как раз в формате «у меня уже есть журнал, зачем мне еще журнал?»). Встроенный в ceph журнал придется вырубить. Ваш совет теряет смысл.
1) Все верно, но Цеф не хранит информацию о чексуммах объектов в кластере, по крайней мере в реализации FileStore, возможно в BlueStore уже это пофикшено. Так или иначе, если у вас фактор репликации 2 и у вас разошлись чексуммы двух реплик объекта, то Цеф вывалит pg inconsistent и сам ничего делать не будет, оставляя решение за админом. То же самое при факторе репликации, например 3, если для объекта в данный момент существует только две копии.
ZFS хранит у себя чексуммы всех файлов и при несовпадении блокирует доступ. Цеф расценивает это как отсутствие объекта и пересоздает реплику.
2) Да ладно, что вы такое говорите. Год назад по приколу сетапил OSD на ZFS и все прекрасно работало. Пришлось опцию «filestore journal parallel» = true выставить, чтобы работало как на btrfs.
Я лично давно задумывался о том, чтобы держать OSD на ZFS. Единственное, что меня останавливает — непонятный статус ZFS on Linux, то ли стабильный, то ли нет.
ZFS хранит у себя чексуммы всех файлов и при несовпадении блокирует доступ. Цеф расценивает это как отсутствие объекта и пересоздает реплику.
2) Да ладно, что вы такое говорите. Год назад по приколу сетапил OSD на ZFS и все прекрасно работало. Пришлось опцию «filestore journal parallel» = true выставить, чтобы работало как на btrfs.
Я лично давно задумывался о том, чтобы держать OSD на ZFS. Единственное, что меня останавливает — непонятный статус ZFS on Linux, то ли стабильный, то ли нет.
Ужас какой. Вы мануал от ceph открывали? Там английским по белому написано:
Один диск — один демон OSD.
А вы что натворили?
Пока все прогрессивное админство с интересом тестирует (в лабе, не на проде) Bluestore (это такой бэкэнд, чтобы ceph работал поверх дисков, а не поверх ФС), вы творите лажу.
We recommend using a dedicated drive for the operating system and software, and one drive for each Ceph OSD Daemon you run on the host
Один диск — один демон OSD.
А вы что натворили?
Пока все прогрессивное админство с интересом тестирует (в лабе, не на проде) Bluestore (это такой бэкэнд, чтобы ceph работал поверх дисков, а не поверх ФС), вы творите лажу.
Sign up to leave a comment.
Ceph в ProxMox на ZFS