Comments 5
Давать тех. советы не буду. Как вариант: В Proxmox VE(Debian 13) Ceph уже встроен и готов к работе “из коробки” Пакеты пилят и обновляют активно. http://download.proxmox.com/debian/ceph-squid/dists/trixie/no-subscription/binary-amd64/
И вариант развертывания: Ceph 3-node cluster on Debian 13 (cephadm) с Proxmox VE
Proxmox VE можно запустить в vm c (nested virtualization) - потестировать
Вы при обновлении учитывали cephx upgrade?
Спасибо за подсказку, посмотрел, возможно в этом и дело. Проблема, что новый алгоритм появился недавно, и доступен только в последних версиях ceph. Я обновлял кластер, когда его еще не было. Попробую поставить самую актуальную версию текущего релиза tentacle и попробую обновить ключи.
Вообщем, оказалось дело в cephx обновлениях. Они совсем недавно закрыли уязвимость и обновили тип ключа для cephx. Важно отметить, что поддержка aes256k появилась только в самых последних версиях ceph, как раз обновления от конца августа 2026 года. Итого, что бы добавить свежий монитор в кластер, все мониторы в кластере должны быть так же обновлены до нее, в моем случау 20.2.0 до 20.2.4. Интересно получилось у них минорные версии стали не совместимы. В Ubuntu 26.04 в репозитории версия только 20.2.0, поэтому она нормально добавлялась в старый кластер, но после обновления остальных до 20.2.4 отвалилась и перестала добавляться. Ротацию ключей можно проводить только для сервисов самого ceph согласно документации, которую вы приложили. Но обновлять клиентские ключи опасно, так как они практически не поддерживаются ни кем. Проверил на ceph-csi-operator, последняя версия 1.0.4 не поддерживает новые ключи. Так что как-то так получается.
Неожиданные проблемы с ceph tentacle на ubuntu 24.04