Talos Linux & VirtualBox: готовим свой Kubernetes

[andreynekrasov]

1. talosctl bootstrap достаточно на самом первом мастере.

2. для удобства работы нужно сразу завести директорию ~/.talos/ и там сделать симлинк на текущий talosconfig -> config.
   добавил туда ноды контролплейнов отдельно и все ноды
   talosctl config endpoint 10.10.0.11 10.10.0.12 10.10.0.13
   talosctl config node 10.10.0.11 10.10.0.12 10.10.0.13 10.10.0.14 10.10.0.15

3. Потом гораздо проще, можно просто писать "talosctl команда" в большинстве случаев, без кучи ключей. Иногда нужно будет указать конкретную ноду для команд, которые умеют работать только с одной нодой.

4. Ну и самое интересное, что в итоге можно кажется развернуть Deckhouse CE на этот новый пустой кластер. Вот как раз сейчас буду это пробовать.

В талосе одна из классных фишек - это kubeprism (встроенный балансировщик на каждой ноде для доступа к conrtolplane). У них на сайте есть ролик с объяснениями, как работает.

[Dmitry_Kaznacheev]

если не сложно поделитесь о развертывание Deckhouse CE - интересует каким путем Вы все же пошли - уменьшали версию куба(ведь версия 1.62 DH поддерживающая 1.30 сейчас в Early Access)?

[andreynekrasov]

Сам dh поставился, проблема началась в их модуле ingress nginx, где то ему там не хватило прав и он не запустился совсем.

Для теста я DH beta ставил.

[AzamatKomaev]

Спасибо за комментарий, про bootstrap вы правы, отредактирую в статье. Про ~/.talos я как раз узнал уже на финишной прямой, это и правда удобнее, особенно когда нужно довольно часто выполнять команды с утилитой talosctl.

[vainkop]

Не нужно Deckhouse

[Dmitry_Kaznacheev]

Как я понимаю при таком пути установки ip получаются по dhcp и есть вероятность что ip будут изменены. Как переживет такой кластер смену ip?

[AzamatKomaev]

Такой кейс я не рассматривал, поэтому точный и верный ответ дать не смогу. Как минимум возникнут проблемы с TLS-сертификатами + конфигурационными файлами на стороне клиента. Но думаю, что это лишь часть неприятностей :)

Я перезагружал узлы несколько раз в процессе написания статьи, IP-адреса оставались статичными.

[Artarik]

Как шарить доступ к Апи Талоса внутри команды? Например, вы в отпуске и нужен другой девопс для управления Талосом. Как выглядит процедура обновления/удаления/добавления контрол плейна?

[andreynekrasov]

Удалить ноду - просто грохаем виртуалку, всё, удалилось.

Добавить - поднять виртуалку с пустым talos linux и применить к ней "talosctl apply -n айпи_ноды -i -f ~/.talos/controlplane.yaml"

Обновить в смысле версии кубера? "talosctl upgrade-k8s --to 1.30.3" Пройдется по нодам и обновит там где нужно.

[greengrunt]

Советую автору ещё посмотреть в сторону rancher и clusterapi решений

[saibaneko]

@AzamatKomaev а был ли опыт прикручивания к такому k8s oidc, типа keycloak или dex?

[AzamatKomaev]

Пробовал прикручивать в качестве oidc Keycloak по документаций.

Но так и не пригодилось

[saibaneko]

о! но возможно подскажите такой момент?
Для конфигурации нам в конфиг кластера нужно добавить что-то вроде:

spec:
  containers:
  - command:
    - --oidc-issuer-url=https://keycloak.local/auth/realms/local
    - --oidc-client-id=gatekeeper
    - --oidc-username-claim=email
    - --oidc-groups-claim=groups
    - --oidc-ca-file=/etc/kubernetes/ssl/keycloak.crt

В варианте с talos это добавляется в:

cluster:
  apiServer:
    extraArgs:

Но вопрос, а как быть с - --oidc-ca-file=/etc/kubernetes/ssl/keycloak.crt если у нас нет доступа к системе в классическом представлении?