Многие пользователи Яндекс облака применяют сервис Managed Service for Kubernetes. При этом учетные записи сотрудников организаций хранятся на контроллерах домена Windows. Удобно и правильно логиниться в Kubernetes учетными записями из Windows-домена, оптимизируя ресурсы DevOps и сисадминов. Но без специального инструмента сделать это нельзя.
Меня зовут Дмитрий Глушков, я системный инженер эксплуатации в Lamoda Tech. Мои поиски удобного решения задачи привели к программе Pinniped. Она поможет использовать учетные записи Windows AD для предоставления и контроля доступа сотрудников в Kubernetes. Разберемся, как ее установить и использовать.
Что такое Pinniped
Pinniped (Пиннипед) – это программа, которая позволяет логиниться в Kubernetes-кластеры, в которых у вас нет доступа к их мастер-нодам (пользуясь программой kubectl и специальным файлом-шаблоном кубконфига). Вы можете использовать учетки от разных провайдеров учетных записей (identity providers), например, MS Windows Active Directory. Это подходящее решение, например, в Яндекс облаке для их управляемых куб-кластеров.
Pinniped состоит из двух частей – супервизора и консьержа. Супервизор нужен, чтобы можно было залогиниться с учеткой из Active Directory, а консьерж принимает все запросы в куб-апи и проверяет, что они корректно авторизованы супервизором, и если да, то проксирует их в куб-апи. Обе части – это просто поды в кубе.
Чтобы получить работающую систему, необходимо:
подготовить необходимые ресурсы;
установить и настроить Pinniped;
настроить права в куб-кластере;
создать файл шаблона кубконфига;
научить пользователей работать с Pinniped.
Звучить объемно, но выполнимо. Поехали!
1. Подготовка к установке
Предполагается, что у вас есть следующие ресурсы, и вы можете ими управлять:
аккаунт в Яндекс облаке, в котором есть работающий managed куберкластер;
контроллер домена Windows, к которому есть сетевой доступ из Яндекс облака;
tls-certificate, который вы можете создать;
DNS-запись, которую вы можете создать, и которая будет работать у вас в сети и показывать на IP-адрес в Яндекс облаке.
2. Установка
Просто создаем в нашем куб-кластере объекты из ямл-файлов от создателей Pinniped:
kubectl apply -f https://get.pinniped.dev/v0.32.0/install-pinniped-supervisor.yaml
kubectl apply -f https://get.pinniped.dev/v0.32.0/install-pinniped-concierge-crds.yaml
kubectl apply -f https://get.pinniped.dev/v0.32.0/install-pinniped-concierge-resources.yaml
2.1 Load balancer для консьержа
После выполнения этих трех команд в куб-кластере в неймспейсе pinniped-concierge появится сервис с именем pinniped-concierge-impersonation-proxy-load-balancer. Мы будем использовать этот сервис как лоад-балансер, который будет принимать запросы для Pinniped-консьержа. Чтобы этот сервис стал работать как лоад-балансер в Яндекс облаке, надо в его конфиге добавить две аннотации:
yandex.cloud/load-balancer-type: internal
yandex.cloud/subnet-id: id-подсети
Тут internal – это тип лоад-балансера NLB в ЯО, такой как в документации Яндекс облака, а id-подсети – это подсетка в Яндекс облаке, в которой будет создан лоад-балансер, как только мы добавим эти две аннотации и сохраним конфиг. Покажу только важную для нас сейчас часть конфигурации, неважные строки пропущены. Вот что должно получиться в итоге:
apiVersion: v1
kind: Service
metadata:
annotations:
. . .
yandex.cloud/load-balancer-type: internal
yandex.cloud/subnet-id: id-подсети
labels:
app: pinniped-concierge
name: pinniped-concierge-impersonation-proxy-load-balancer
namespace: pinniped-concierge
. . .
spec:
. . .Как только облако создаст лоад-балансер, у него появится IP-адрес, и можно проверить, что он работает. Вот ожидаемый ответ:
% curl -k https://ip-addr-of-load-balancer-of-concierge
{
"kind": "Status",
"apiVersion": "v1",
"metadata": {},
"status": "Failure",
"message": "forbidden: User \"system:anonymous\" cannot get path \"/\": decision made by impersonation-proxy.concierge.pinniped.dev",
"reason": "Forbidden",
"details": {},
"code": 403
}2.2 Load balancer для супервизора
Делаем сервис+NLB для супервизора в той же подсетке, что и у консьержа:
apiVersion: v1
kind: Service
metadata:
annotations:
yandex.cloud/load-balancer-type: internal
yandex.cloud/subnet-id: id-подсети-из-пункта-2.1
name: pinniped-supervisor-loadbalancer
namespace: pinniped-supervisor
spec:
ports:
- targetPort: 8443
port: 443
protocol: TCP
selector:
app: pinniped-supervisor
type: LoadBalancerКак только облако создаст лоад-балансер для супервизора, у него появится IP-адрес. Надо сделать DNS-запись, указывающую на этот IP-адрес:
pinniped-supervisor.ваш_домен.да → ip-адрес лоад-балансера супервизора.
2.3 Куб-секрет с TLS-сертификатом супервизора
Супервизор обязательно требует использовать TLS-защищенное подключение к нему, поэтому создадим куб-секрет, и положим туда сертификат и приватный ключ. TL-сертификат надо создать, он должен удостоверять url pinniped-supervisor.ваш_домен.да.
apiVersion: v1
data:
tls.crt: LS0tLS1CRUdJTiBDRVJUS...
tls.key: LS0tLS1CRUdJTiBQUkl...
kind: Secret
metadata:
name: supervisor-lb-tls-cert
namespace: pinniped-supervisor
type: kubernetes.io/tls2.4 FederationDomain
Создаем объект, который нужен для указания url, на котором будет работать Cупервизор, и тут же указываем секрет с TLS-сертификатом для этого url.
apiVersion: config.supervisor.pinniped.dev/v1alpha1
kind: FederationDomain
metadata:
name: my-fd
namespace: pinniped-supervisor
spec:
issuer: https://pinniped-supervisor.ваш_домен.да
tls:
secretName: supervisor-lb-tls-certПосле этого шага выполнение запроса типа:
% curl https://pinniped-supervisor.ваш_домен.да должно показывать, что TLS-сертификат правильный.
2.5 Секрет для подключения в домену Active Directory
Создаем секрет для подключения в домену AD. Пароль обязательно должен быть в кавычках. В домене Windows надо создать учетку, которая может читать учетные записи и группы, и использовать её.
apiVersion: v1
kind: Secret
metadata:
name: active-directory-bind-credentials
namespace: pinniped-supervisor
type: kubernetes.io/basic-auth
stringData:
# The dn (distinguished name) of your Active Directory bind account.
username: CN=s-pinniped,OU=Service Accounts,DC=office,DC=ru
# The password of your Active Directory bind account.
password: "ТУТПАРОЛЬОТУЧЁТКИ..."2.6 ActiveDirectoryIdentityProvider
Продолжаем: делаем ActiveDirectoryIdentityProvider. В этом, например, LDAP-фильтр проверяет, что учетка юзера есть в AD группе admins и/или в AD группе developers. В поле certificateAuthorityData надо записать сертификат контроллера домена, только открытую часть. Используйте подсказку по фильтрам LDAP.
apiVersion: idp.supervisor.pinniped.dev/v1alpha1
kind: ActiveDirectoryIdentityProvider
metadata:
name: ad-idp
namespace: pinniped-supervisor
spec:
host: ad-dc1.office.ru
userSearch:
base: "OU=Users,OU=Offices,DC=office,DC=ru"
filter: "&(objectClass=person)(userPrincipalName={})(|(memberOf=CN=admins,OU=Groups,DC=office,DC=ru)(memberOf=CN=developers,OU=Groups,DC=office,DC=ru))"
attributes:
username: "sAMAccountName"
groupSearch:
base: "ou=Groups,DC=office,DC=ru"
filter: "&(objectClass=group)(member={})"
tls:
certificateAuthorityData: LS0t...
bind:
secretName: active-directory-bind-credentials2.7 JWTAuthenticator
Идем дальше. В issuer пишем url лоад-балансера супервизора. В audience не принципиально, что будет написано, но нужно, чтобы для разных куб-кластеров это значение было разным. В certificateAuthorityData кладем сертификат от супервизора, только открытую часть.
apiVersion: authentication.concierge.pinniped.dev/v1alpha1
kind: JWTAuthenticator
metadata:
name: jwt-auth
spec:
issuer: https://pinniped-supervisor.ваш_домен.да
audience: from-pinniped
tls:
certificateAuthorityData: LS0t...Установка закончена.
3. Конфигурация Kubernetes
Допустим, мы хотим, чтобы после успешного логина сотрудник мог в кубере успешно выполнять команды типа k get pods, k logs и подобные им – в некоторых заранее разрешенных неймспейсах.
Для этого создадим в нашем кубе ClusterRole, и будем её назначать (bind) на неймспейсы и группы AD.
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: pinniped-view
rules:
- apiGroups: [""]
resources: ["pods", "configmaps"]
verbs: ["get", "list"]
- apiGroups: ["apps"]
resources: ["deployments"]
verbs: ["get", "list"]
- apiGroups: [""]
resources: ["pods/log"]
verbs: ["get"]2. Для каждого неймспейса, доступ в который мы хотим разрешить, делаем RoleBinding, который будет связывать кластер-роль с неймспейсом и с AD-группой, например, для неймспейса, который называется "util" и группы AD developers.
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: pinniped-view-util-developers
namespace: util
subjects:
- kind: Group
name: developers@office.ru
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: pinniped-view
apiGroup: rbac.authorization.k8s.ioЧтобы наши пользователи могли логиниться в кубер-кластер, им надо предоставить файл – шаблон кубконфига, который будет направлять логин в Pinniped.
Чтобы сделать этот файл, на свой комп ставим Pinneped-CLI. Логинимся в целевой куб-кластер как обычно, например:
kubectl config use-context ваш_кластерЗатем выполняем команду:
pinniped get kubeconfig > kubeconfig-template.yml Теперь в kubeconfig-template.yml файле у нас есть шаблон для авторизации. Этот файл раздаем коллегам, коллеги устанавливают себе Pinniped и используют этот файл как обычный куб-конфиг файл. В файле нет никакой конфиденциальной информации типа паролей и токенов.
5. Пользуемся логином
Для работы с кластером коллеги будут выполнять подобную команду:
kubectl -n util get pods --kubeconfig kubeconfig-template.yml Появится приглашение на ввод имени пользователя Username – тут надо написать свою почту с доменом.
Дальше появится приглашение на ввод пароля – пишем свой пароль домена Windows.
Если все работает правильно, то должен показаться список подов в неймспейсе util, примерно такой:
Всё, мы настроили логин в кубернетес с учеткой из домена Windows.
Заключение
Описанный инструмент помогает избавиться от рутинной операции создания новых учеток для использования в Kubernetes. При этом Pinniped оказался не самым популярным – чтобы его найти, пришлось спуститься в самые глубины CNCF Landscape. Тем ценнее навык работы с ним.
Надеюсь, эта инструкция была для вас полезной. Если вы решали подобную задачу иначе – поделитесь в комментариях.
