Как стать автором
Обновить

Комментарии 29

А какова производительность решения Proxmox?
Proxmox — это просто крутая обвязка вокруг проверенных технологий: OpenVZ и KVM. Производительность OpenVZ-контейнеров сравнима с производительностью хоста, так как процессы внутри контейнера выполняются под управлением ядра хоста, и не имеют прослойки гипервизора.
Производительность KVM в целом сравнима с производительностью аналогичных решений — ESXi, VirtualBox, Xen и прочего.
Конечно, везде есть своя специфика. Но общая картина такова.
Спасибо за развёрнутый ответ.
А есть ли CLI команды для управления?
Да, с CLI там все хорошо. OpenVZ так вообще полностью ориентирован на работу с CLI.
Плюс у самого Proxmox есть собственное API, в том числе и для работы с CLI
Производительность отличная. Не хватает только одного — это балансировщика.

В будующим они допилят кластерную файловую систему ceph (точнее когда она допилится), и можно будет не покупать дорогие полки СХД, а использовать обычные компы. Ну и ждем когда они реализуют spice, тогда можно будет отказатся от java в браузере для доступа к виртуалкам.
ceph уже можно использовать! Я еще добавлю про openvz ploop, мы используем обе технологии. Мы тестировали онлайн миграцию и самописный автобалансировщик. Стабильно, но пока медленно. Пока только KVM можно положить на ceph storage, но, чисто теоретически, ничего не мешает сделать тоже самое с контейнером openvz-ploop.

ceph стабильный вроде как, ploop тоже. Для плуп надо лишь пересобрать vzctl, в pve собрали его с ключом --without-ploop.

Ceph стабилен только как block device, cephfs у меня приводил к полному зависанию всего кластера.
Может вы его просто недонастроили? или версия старая. У нас таких проблем сейчас нет.
У них раньше были баги как раз про это, но сейчас все таймауты нормально отрабатывают.

Насколько я заметил, система очень чувствительна к синхронизированному времени между нодами. Если есть расхождения, могут начаться проблемы.
Я пробовал Argonaut. Сейчас думаю что попробовать для небольшого кластера с общим SAN на основе RAID-сервера.
Вам нужна распределенная файлуха? ocfs2 неплохая. Можно тот же проксмокс и использовать его нативную gfs.
Они все какие-то не очень, у всех есть плюсы и минусы )
ceph выглядит немного лучше на фоне остальных.
Я сейчас пользуюсь GlusterFS на тестовом стенде и GPFS в продакшене. Понятно что GPFS всюду не запихнешь, к тому же он денег стоит.

GlusterFS по моим последним исследованиям, не умеет работать с SAN.

Ну т.е. у меня есть дисковая полка с несколькими RAID-массивами, подключенная к нескольким хостам по FC. На хостах настроен multipathing, все массивы видны на всех хостах. Дык вот, GPFS умеет работать с мультипафингом в этом случае, а Gluster похоже нет — я могу экспортировать массив в качестве брика только с одного хоста, никаких фэйловеров и прочего.

Ceph я не помню чтобы умел так делать в том числе. Вот и возникает вопрос, что юзать.
Ceph обеспечит отказоустойчивость своими средствами.
osd экспортирует в пул свой блочный девайс, дальше его мониторы следят за доступностью. Если блочное устройство пропадет, информация с него размажется по остальным из реплик.

У нас из трех блочных устройств вышибало два, все работало все равно. Надо только подумать где размещать метаданные и журналы. Рекаверится все само без ощутимого снижения производительности.
Дело-то в том, что у меня отказоустойчивость уже обеспечена дисковой полкой. Ну представьте что я винчестер (блочное устройство) получаю откуда-то по сети, причем сразу на нескольких серверах одно и тоже. И как мне:
а) Обеспечить максимальную скорость, работая с устройством со всех подключенных серверов.
б) Если один из серверов падает (а это никак не сказывается на блочном устройстве), то трафик продолжает течь через второе.

Ни GlusterFS, ни Ceph, насколько я могу судить, так не умеют… Умеет скорее всего lustre, из бесплатных, но она очень сильно в ядре, только Centos и ни шагу в сторону.
ФС для разных задач. Если надо, что бы множество серверов видили СХД то ваш выбор это OCFS2, самое стабильное, что я видел исключая коммерческие продукты.

Если вы используете proxmox с СХД то используйте CLVM.
У меня пока ничего нет. Рассматриваю возможности на тестовом стенде из относительно старого железа :)
ну тогда ваш путь proxmox и ceph
Можно, но с многими оговорками. Нормально он функционирует вместе с btrfs, на ext4 надо тюнить.
Вот у нас наоборот с btrfs проблемы, когда все физическое блочное устройство делаешь btrfs, ядро крашится. Так происходит что с партицией, что просто raw.
ubuntu 12.04.
Я хотел сказать, что нормальное функционирование планируется с btrfs. Не так написал.
В общем мы в продакшен ceph не пускаем. GlusterFS более законченное решение, хотя то же не без костылей.
А какая у вас кластерная система?
Всему свое время :)
Я не хочу здесь этого говорить, чтобы не провоцировать в комментариях обсуждения темы, которая будет освещена в другой статье.
Что вы более кокретно имеете ввиду под слово
>А какая у вас кластерная система?
Cluster File System.
ну если у вас СХД, то используйте CLVM, это очень удобно. НУ или использовать распределенную ФС типа ceph, с определенными оговорками. Мы пока в продакшен ceph не пускаем.
От себя добавлю, что для Fencing нужно 3 машины.
Для его работы нужен IPMI сделано в supermicro если я не ошибаюсь, в DELL это DRAC, в intel и ibm я уже не помню что.
Если этого всего нет, можно использовтаь блок умных разеток типа AP7921 (собсвтенно на сайте proxmox его и рекомендуют)

Еще надо заметить, что в 1 группе кластера может быть не больше 15 нод (если я опять не ошибаюсь)
Да, про кворум я написать забыл.
Вот здесь все хорошо расписано. Там же сказано про максимальное количество нод в кластере — 16.

При определенных условиях Fencing возможен и на двух нодах, о чем я тоже написать забыл.
Каюсь. Спасибо за дополнения!
>При определенных условиях Fencing возможен и на двух нодах

Можно, но не нужно. Лучше сразу отбросить эту мысль.

Еще от себя добавлю, что если вы используете для backup NFS, то падание NFS сервера приведет к отключению центролизованного управления кластером (по сути он развалится, но все машины будут работать)

Мы уже давольно давно используем proxmox, а 2 версию душим с альфы :)
Имеется в виду хранилище на NFS для бэкапов?
ну это может быть и хранилище NAS (qnap,synology и etc), или обычный комп linux с поднятым nfs.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий