Объединение узлов Proxmox в кластер при помощи OpenVPN

[@subvillion]

1. Мультикаст убрать в любом случае.

...
<cman keyfile="/var/lib/pve-cluster/corosync.authkey" transport="udpu">
...

2. Использовать gretap, скрестив, в зависимости от уровня паранойи, с IPsec.

[@ColorPrint]

Да, про юникаст в документации я читал, но завести с ним тоже не получилось.

[@subvillion]

Вероятно проблема с cluster.conf на хостах кластера, хосты не знают про transport=«udpu» и нужно руками поправить конфиги особым способом

[@ColorPrint]

Да нет, udpu скопировалось нормально при инициализации кластера, а дальше все.

[@ColorPrint]

В случае с gretap — я так понимаю и мультикаст будет работать, если серые IP в одной подсетке назначать для всех нод?

[@SergeyD]

Нашел статью, в которой подробно всё описано. Только не про gretap, а GRE-туннель. Надо будет попробовать.

[@Burmuley]

corosync же умеет unicast-heartbeat

[@SergeyD]

Увы, если адреса серверов в разных подсетях, то unicast не поможет. Вот, что говорят люди.

[@igorsd]

Там говорят не про юникаст и разные подсети (хотя… что вы подразумеваете когда говорите «подсеть»?), а про то, что если у вас очень сложная/с непредсказуемым поведением топология транспорта — вы не сможете этот транспорт использовать для надёжного управления кластером.

[@igorsd]

Ну и немного удивляет фраза — «настроить кластер, чтобы мигрировать нагруженные контейнеры на новый сервер»…
Вы только для переноса контейнеров поднимаете туннели и собираете кластер поверх них?

[@SergeyD]

Туннели поднимаем, чтобы заработал кластер.
Кластер поднимаем, чтобы переносить контейнеры встроенными средствами Proxmox.
Что в этом удивительного?

[@merlin-vrn]

Забекапить средствами проксмокс, переписать хотя бы scp, а потом развернуть средствами проксмокс недостаточно? Тоннель-то зачем городить?

Даунтайм-то при таком переносе всё равно будет.

[@igorsd]

«Встроенные средства Proxmox» для переноса контейнеров — это веб интерфейс к vzdump/vzrestore.

Если вам всего лишь надо перенести конейнеры — openvz.org/Checkpointing_and_live_migration

Удивителен тот факт, что за время пока вы придумывали и тестировали способы поднятия кластера, можно было уже всё давно перенести… Очень у вас какой-то тернистый путь решения простейшей задачи.

[@karabanov]

Некоторые коммутаторы дропают мультикаст. У меня возникали проблемы c OSPF из-за этого. Проблема решается отключение IGMP Snooping в вилане по которому ходит служебный трафик.

[@SergeyD]

Ну и в дополнение — частое кворумление приводит вот к такому ожирению у corosync:

график из zabbix

[@mobilesfinks]

Что делать если упадёт OpenVPN сервер?
Смысл такого кластера когда есть Единая точка отказа.

[@merlin-vrn]

Проксмокс сам по себе глючит гораздо чаще, чем падает openvpn, так что подобный сбой будет в пределах погрешности

[@mobilesfinks]

Сейчас у меня используется tinc для VPN. Настройка максимально проста. После этого я на openvpn смотрю с ужасом. А ведь я когда то OpenVPN пользовался.

[@alexkuzko]

Кстати, зря заминусовали человека. tincvpn и правда весьма интересный. У него минус основной один — он не кроссплатформенный (в настоящее время это означает что нет поддержки в Android, железе). Зато почти полноценный mesh. Также требует некоторой усидчивости при написании конфигов, ведь конфиги и ключи должны быть идентичны на всех членах сети. Решается разными способами: git, ansible, etc. или просто руками, особенно для случаев вроде «кластера» выше, всего два члена сети. Ну и доступные IP крайне желательны (что в серверах уже присутствует).

А еще из тинков можно сделать такой боооольшой бонд интерфейс ;)

[@alexkuzko]

UP: уже есть неофф. программы и для андроида с ios! Еще бы к микротику прикрутить — но это фантастика.

[@mobilesfinks]

да, жду реализации для микротика — мечта )))

[@alexkuzko]

В определенном смысле уже можно пользоваться на тех устройствах, куда можно OpenWRT установить (Tinc and OpenWRT). На микротики точно можно установить OpenWRT, например на 951G, 951Ui. Но, во-первых, непонятно будет ли tinc работать на mips, во-вторых, чистый ROS мне ближе. Думаю что нужно написать в Mikrotik и предложить рассмотреть такую возможность. Хотя бы в варианте сервер (к микротику) + клиент (микротик к одному-двум клиентам), т.е. получить небольшой сегмент. Чем черт не шутит! OpenVPN они так и не допилили, может tinc сделают!

[@DaylightIsBurning]

tinc прекрасно работает на openWRT/mips, у меня несколько NETGEAR WNDR3700 так работают.

[@SergeyD]

100% merlin-vrn

Уже заглючил и замочил свой же кластер. Хорошо конфиги в бекапах были.
При этом туннели работали.

К этому времени уже успели переключиться на туннели на GRE.
Так как openvpn вносил задержки, существенные для corosync (график чуть выше).

mobilesfinks, увы, единая точка отказа — сам proxmox.

[@whoim]

rm /etc/cluster/cluster.conf rm -rf /var/lib/pve-cluster rm -rf /var/lib/corosync
после этого не могу снова добавить ноду, cman не стартует (молча), pvecm add говорит unable to copy ssh ID
Сможете подсказать?

[@whoim]

отбой, переустановка

[@whoim]

А я вот не могу поднять кластер между двумя соседними серверами, соединенными кабелем между дополнительными сетевками.
Сеть есть, из hosts имена нод пингуются, кластер на мастере создается, дополнительная нода добавляется без ошибок.
И даже в гуи дополнительная нода — зелененькая!
Но статус ее получить не удается — communication failure (0) или (596).
В конфиге udpu есть, конфиг сам подтянулся на вторую ноду.
Логи по теме пусты.
Вебморда второй ноды НЕ отвечает. Хотя netstat показывает листинг на 0.0.0.0 и pveproxy запущен.
Куда еще копнуть?

[@SergeyD]

Возможно что-то с route? Что показывает route -n на обоих серверах?

[@whoim]

прошу прощения, давно не появлялся. Я не помню, в чем трабла. Сейчас все работает без сбоев :)