filatof Sep 2 at 18:08

Развертывание кластера Kubernetes с помощью Cluster API + Proxmox VE провайдер на Orange Pi 5 Plus (ARM64)

Medium

18 min

5.5K

DevOps * IT Infrastructure * Kubernetes * Virtualization *

Tutorial

Comments 14

q2digger Sep 3 at 07:47

Спасибо, классное руководство. Одну вещь добавлю - при подготовке виртуалки к преобразованию в шаблон, одним из последних шагов стоит очистить (не удалить, именно очистить) файл /etc/machine-id . Без этого действия я ловил проблемы с некоторыми сервисами после того как использовал такой шаблон для массовой генерации новых виртуалок.

bloomeatt Sep 3 at 08:26

Я вот таким пользуюсь. Иначе DHCP сервер подсовывает адрес шаблона.

```

echo -n >/etc/machine-id
rm /var/lib/dbus/machine-id
ln -s /etc/machine-id /var/lib/dbus/machine-id

q2digger Sep 3 at 08:28

Именно оно, да.

А можно вот так

truncate -s0 /etc/machine-id

filatof Sep 3 at 14:59

Спасибо за дополнение! Я поправил)

Elaugaste Sep 3 at 23:08

Статья клевая, однако... Если у нас есть proxmox, а в нем есть шаблон вм подготовленный к развертыванию кластера.. разве не логично просто собирать кластеры из этого шаблона.. Сие конечно не так модно/молодежно, зато не нужно держать кластер для управления другими кластерами. Только ради того чтобы использовать kubectl.. Особенно это кажется актуальным для развертывания в условиях ограниченных ресурсов

filatof Sep 4 at 06:45

Да, согласен — если ресурсов немного и задача просто поднять один кластер, то логичнее брать готовый шаблон ВМ в Proxmox и собирать из него. Это реально быстрее и без лишних «прослоек». Cluster API в моём случае — скорее про инфраструктуру «как код»: когда нужно описывать кластеры декларативно, поднимать несколько окружений, обновлять/масштабировать их автоматом и встраивать всё это в GitOps-подход.

filatof Sep 4 at 06:50

И еще забыл сказать что Cluster API работает не только с Proxmox, а ещё и с разными облачными провайдерами. Это позволяет описывать кластеры декларативно и одинаково управлять ими в любой среде. В статье акцент что я запустил эту технологию на arm64

Zhuravlev-A-E Sep 5 at 04:42

про ресурсы: можете подсказать, вариант Orange Pi 5 plus с 4 гигами потянет на такой кластер?

filatof Sep 5 at 12:44

На Orange Pi 5 Plus с 4 ГБ будет очень тесно: сам Proxmox забирает около 1 ГБ, и на пару ВМ по 2 ГБ памяти места почти не остаётся. Если вместо «тяжёлого» Kubernetes использовать k3s, то потребление памяти заметно ниже — для тестов и пары нод этого может хватить, если цель просто посмотреть, как всё запускается. У меня, например, кластер Proxmox из двух Orange Pi 5 Plus по 16 ГБ. Жалею, что не взял по 32 ГБ. Поднял 3 control-plane и 3 worker-ноды, все ВМ запускаются на одном устройстве. Итог: одна ВМ так и не вышла из Provisioning, своп быстро вырос, идёт постоянная борьба за память https://drive.google.com/file/d/1cjgkdGBA47yzQgS5-SBOn6i0hSqEU5dK/view?usp=sharing . По CPU ещё есть запас, но RAM упирается. В LXC нагрузка распределяется лучше и всё работает нормально, но, например, IONOS LXC не поддерживает, поэтому остаются только ВМ.

1Kovalevskiy Sep 13 at 09:30

"кластер Proxmox из двух Orange Pi 5 Plus по 16 ГБ" и "все ВМ запускаются на одном устройстве" немного противоречит друг другу. Не хочешь попробовать сделать 1 компьютер - 1 мастер нода и 2 воркера и так на двух компьютерах? С радостью почитал бы, как ты это сделаешь с помощью кода :)

Понятно, что для кворума нужно 3 мастер-ноды, но лучше бы их все распределять на разных устройствах, а то весь смысл теряется.

filatof Sep 13 at 18:58

Да, согласен, звучит немного противоречиво)) На практике получилось так: обе Orange Pi стоят в кластере Proxmox, но большую часть ВМ я держал на одном устройстве, просто ради эксперимента проверить пределы по памяти. Второй узел при этом был больше как резерв и для тестов миграций.

1Kovalevskiy Sep 13 at 09:14

Очень кстати данная статья, только сегодня получил неттоп, чтобы поставить на него proxmox с k8s, а тут уже есть готовая инструкция, пошел пробовать

1Kovalevskiy Sep 14 at 14:41

Спустя полутора суток попыток установки отвечаю на незаданный вопрос:

colima как заменитель docker плохо подойдет для запуска clusterctl, потому что у colima есть бажок и он не позволяет подключаться к адресам в локальной сети без определенных танцов с бубнами. Перешел на docker desktop и за 10 минут все доделал

filatof Sep 15 at 17:38

Если не хочется заморачиваться с docker desktop можно было бы попробовать драйвер vfkit (Virtualization.framework kit) — это легковесная утилита командной строки, которая использует встроенный в macOS фреймворк Virtualization.frameworк. $minikube start --driver vfkit

При условии если у вас macOS.