«Нулевой» локальный диск. Как запустить облако только с сетевыми дисками и приручить Ceph

[KorP]

они хранят три копии каждого блока данных

Я правильно понимаю, что вы используете Ceph в режиме репликации и не используете EC? Почему? Ведь оверхед такого решения просто огромен. Помимо того, что мы храним 3 копии данных, так ещё и больше 75% заполнения кластера не рекомендуется, а при 80 ему становится очень грустно.

[lodz]

Здравствуйте! А уточните, что вы имеете в виду под EC? Erasure Code?

Если да, то, чтобы записать EC (например, 8+2), надо разбить объект на 10 чанков и записать их в 10 мест. Кажется, запись 10 копий будет длиться в несколько раз дольше, чем трех.

[Fafhrd]

Ceph ванильный? Наверняка сталкивались с какими-то недочётами/неудобствами, которые хочется исправить.

[lodz]

Да, можно назвать ванильным. Конечно, сталкивались) Это обычная история, практически каждый инструмент, особенно open source, чем-то не устраивает. У нас будет отдельный текст про Ceph — расскажем о всех неудобствах!

[13werwolf13]

ceph шикарен, но с его тюнингом надо быть очень аккуратным, в какой-то момент мы дотюнились до того что наша "хранилка" стала стоить дороже всего хостинга вместе взятого. из того что я помню:
1) numa на помойку, однопроцессорные ноды кол-во которых в два раза больше чем планировалось
2) mellanox 100g твой друг
3) недокументированные фичи в конфиге найденные в исходниках но не найденные в документации

ну а из плюсов - просрать данные на ceph нереально (а мы пытались ещё как).

[viras777]

Поделитесь, пожалуйста, фичами из п3

И какой версией ceph баловались? :)

[13werwolf13]

О, спустя 4 года я уже и не вспомню. Но если есть интерес думаю git всё помнит, можете поискать. Я не настолько крут чтобы читать сорцы, я лиш эксперементировал с тем что нашли коллеги. Версия актуальная соответственно на 4 года назад.