Привет! Столкнулся с тем, что быстро не нашел простой инструкции, как с использованием SSL и SASL настроить безопасный кластер из нескольких Linux узлов Zookeeper, и решил это исправить.
В этой статье поговорим о том, как:
Настроить Zookeeper в кластере из трех узлов без шифрования (Plain);
Добавить шифрование во внутрикластерное взаимодействие (Quorum TLS);
Создать сертификаты для подключения к узлам Zookeeper клиентов (Server TLS);
Создать сертификаты для подключения клиентов к узлам (Client TLS);
Добавить авторизацию в шифрованный кластер (SASL with MD5);
Показать на примере, как работают ACL, посмотреть, чем отличается суперпользователь super от всех остальных (как работает ACL в действии).
Plain
Для понимания, какая настройка за что отвечает, начнем установку с простой кластерной конфигурации, а потом усложним ее.
Возьмем три узла с Linux, например AlmaLinux 9.2.
Важно, чтобы они знали свои имена, поэтому нужно либо настроить DNS, либо добавить информацию об их именах в /etc/hosts на всех трех узлах:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.1.11 zoo1.local zoo1 192.168.1.12 zoo2.local zoo2 192.168.1.13 zoo3.local zoo3
Ниже мы будем использовать команду hostname -f, для которой будет важно, в каком порядке определены имена в /etc/hosts (сначала zoo1.local, а только потом zoo1, но не наоборот).
В документации Zookeeper(Zk) говорится, что он хорошо работает на стабильной JDK11 LTS (в списке JDK 8 LTS, JDK 11 LTS, JDK 12 ), установим её на все узлы:
sudo dnf install -y java-11-openjdk.x86_64
Скачаем стабильный дистрибутив Zk, сейчас это версия 3.8.3:
wget https://dlcdn.apache.org/zookeeper/stable/apache-zookeeper-3.8.3-bin.tar.gz
Стабильные версии Zk можно найти тут.
На всех трех узлах сразу создадим отдельного пользователя zookeeper:
sudo useradd -m -d /opt/zookeeper -s /bin/bash zookeeper
После того, как все настроим, можно будет поменять шелл пользователя на /bin/false. Команда создаст папку /opt/zookeeper.
Распакуем в нее скачанный файл, а также создадим папки для сертификатов, данных и настроек для подключения клиентов:
sudo tar -xf apache-zookeeper-3.8.3-bin.tar.gz --directory /opt/zookeeper sudo chown -R zookeeper:zookeeper /opt/zookeeper sudo su - zookeeper mv apache-zookeeper-3.8.3-bin/{bin,conf,lib,docs} . rm -r apache-zookeeper-3.8.3-bin mkdir -m 700 ssl client-settings data .ssh
На всех узлах сразу запишем простую стартовую конфигурацию в файл /opt/zookeeper/conf/zookeeper.properties:
dataDir=/opt/zookeeper/data # zoo cluster node info #server.id=hostname:port1:port2 # id - The ID of the Zookeeper cluster node. # hostname - The hostname or IP address where the node listens for connections. # port1 - The port number used for intra-cluster communication. # port2 - The port number used for leader election. server.1=zoo1.local:2888:3888 server.2=zoo2.local:2888:3888 server.3=zoo3.local:2888:3888 ## Metrics Providers # https://prometheus.io Metrics Exporter metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpHost=0.0.0.0 metricsProvider.httpPort=8006 metricsProvider.exportJvmInfo=true # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial synchronization phase can take initLimit=10 # The number of ticks that can pass between sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. #max client connections number maxClientCnxns=60 # the port at which the clients will connect in plain text (it should be commented and disabled) clientPort=2181
И на всех узлах напишем unit file для systemd /etc/systemd/system/zookeeper.service. В этом файле мы установим важную переменную JAVA_HOME, а также через переменную ZK_SERVER_HEAP немного расширим HEAP память:
exit sudo vim /etc/systemd/system/zookeeper.service
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=forking User=zookeeper Group=zookeeper Environment="JAVA_HOME=/usr/lib/jvm/jre-11" #default heap size is 1000 Mb (set in zkEnv.sh) Environment="ZK_SERVER_HEAP=2000" ExecStart=/opt/zookeeper/bin/zkServer.sh start /opt/zookeeper/conf/zookeeper.properties ExecStop=/opt/zookeeper/bin/zkServer.sh stop Restart=always [Install] WantedBy=multi-user.target
Перед первым запуском важно в папке data создать уникальные идентификаторы узлов. Это важно, иначе ничего не заработает:
sudo su - zookeeper # Только на первом узле echo 1 > /opt/zookeeper/data/myid # Только на втором узле echo 2 > /opt/zookeeper/data/myid # Только на третьем узле echo 3 > /opt/zookeeper/data/myid exit
На всех узлах читаем unit файл systemd, запускаемся и пробуем подключиться к Zk консольным клиентом. Должно быть все в порядке, но на всякий случай следует заглянуть в лог файлы Zk:
sudo systemctl daemon-reload sudo systemctl enable --now zookeeper sudo systemctl status zookeeper --no-pager sudo su - zookeeper bin/zkCli.sh -server 127.0.0.1:2181 ls /zookeeper #должны увидеть строку #[config, quota] tail -f logs/zookeeper-zookeeper-server-$(hostname -f).out
Если видите кучу ошибок и узлы не подключаются друг к другу — еще раз проверьте, что файлы /opt/zookeeper/data/myid на всех узлах содержат уникальный номер.
Quorum TLS
В предыдущей серии мы уже создали папку /opt/zookeeper/ssl, в ней будут лежать все хранилища ключей. Сейчас мы займемся сертификатами для шифрования данных, передаваемых между узлами кластера.
Перейдем в папку /opt/zookeeper/ssl, создадим на всех узлах еще одну вложенную — Quorum-TLS-CA. В ней будет размещен корневой сертификат, которым мы подпишем ключи для шифрования внутрикластерного трафика:
cd /opt/zookeeper/ssl mkdir -m 700 Quorum-TLS-CA
На одном из узлов создаем CA сертификат для Quorum, со сроком действия в 10 лет:
openssl req -new -newkey rsa:4096 -days 3650 -x509 -subj "/CN=ZooKeeper-Security-CA" -keyout Quorum-TLS-CA/ca-key -out Quorum-TLS-CA/ca-cert -nodes
Для удобства дальнейшей настройки лучше скопировать полученные файлы Quorum-TLS-CA/ca-key и Quorum-TLS-CA/ca-cert на все другие узлы (не нужно генерировать свой CA на каждом узле, он нужен один):
# Только на первом узле ssh-keygen -C zookeeperKey -t ed25519 cat /opt/zookeeper/.ssh/id_ed25519.pub >> /opt/zookeeper/.ssh/authorized_keys chmod 600 /opt/zookeeper/.ssh/authorized_keys cat /opt/zookeeper/.ssh/id_ed25519 #секретный ключ cat /opt/zookeeper/.ssh/id_ed25519.pub #публичный ключ # На втором и третьем узле mkdir .ssh vim /opt/zookeeper/.ssh/id_ed25519 #вставить секретный ключ из сессии первого хоста vim /opt/zookeeper/.ssh/authorized_keys #вставить публичный ключ из сессии первого хоста chmod 600 /opt/zookeeper/.ssh/authorized_keys /opt/zookeeper/.ssh/id_ed25519 # Только на первом узле cd /opt/zookeeper/ssl scp Quorum-TLS-CA/* zoo2.local:/opt/zookeeper/ssl/Quorum-TLS-CA scp Quorum-TLS-CA/* zoo3.local:/opt/zookeeper/ssl/Quorum-TLS-CA
На всех узлах в переменную окружения задаем пароль для хранилищ сертификатов для кворума. Этот пароль будет одинаковым и для сертификата, и для хранилищ сертификатов key/trust:
export QPASS=ChangeMeSecretQpass
На всех узлах создаём хранилище доверенных сертификатов (truststore) для zookeeper-quorum, добавляем в него сертификат CA. Файл хранилища будет называться zookeeper-quorum.truststore.jks:
keytool -keystore zookeeper-quorum.truststore.jks -alias CARoot -import -file Quorum-TLS-CA/ca-cert -storepass $QPASS -keypass $QPASS -noprompt
На всех узлах создаём хранилище ключей (keystore) для zookeeper-quorum. Тут указывается имя узла, предподстановка шелла $(hostname -f) нам в этом поможет. Сгенерированный ключ надо будет подписать:
keytool -genkeypair -alias $(hostname -f) -keyalg RSA -keysize 2048 -dname "cn=$(hostname -f)" -keypass $QPASS -keystore zookeeper-quorum.keystore.jks -storepass $QPASS
На всех узлах создаем CSR (Certificate Signing Request) = запрос на выдачу (подпись) SSL сертификата:
keytool -keystore zookeeper-quorum.keystore.jks -alias $(hostname -f) -certreq -file ca-request-zookeeper-$(hostname -f) -storepass $QPASS -keypass $QPASS
Если вы заранее скопировали Quorum-TLS-CA/ca-key и Quorum-TLS-CA/ca-cert на все узлы, то дальше просто выполните команду по подписи этих CSR, в противном случае вам нужно подписать эти файлы там, где есть CA.
Подписываем все три сертификата. В нашем случае ca-key и ca-cert уже есть на всех узлах кластера:
openssl x509 -req -CA Quorum-TLS-CA/ca-cert -CAkey Quorum-TLS-CA/ca-key -in ca-request-zookeeper-$(hostname -f) -out cert-zookeeper-$(hostname -f)-signed -days 3650 -CAcreateserial -passin pass:$QPASS
На всех узлах добавляем сертификат CA в хранилище ключей Zookeeper (keystore):
keytool -keystore zookeeper-quorum.keystore.jks -import -file Quorum-TLS-CA/ca-cert -storepass $QPASS -keypass $QPASS -noprompt -alias CARoot
На всех узлах добавляем подписанный сертификат Zookeeper в хранилище ключей keystore:
keytool -keystore zookeeper-quorum.keystore.jks -import -file cert-zookeeper-$(hostname -f)-signed -storepass $QPASS -keypass $QPASS -alias $(hostname -f) -noprompt
На всех узлах проверяем, что внутри zookeeper-quorum.keystore.jks есть CA и сертификат ОДНОГО узла (т.е. всего два сертификата, не больше):
keytool -list -v -keystore zookeeper-quorum.keystore.jks -storepass $QPASS
На всех узлах удаляем теперь не нужный файл CSR, удаляем ненужный файл подписанного сертификата Zookeeper (он теперь в keystore):
rm cert-zookeeper-*-signed ca-request-zookeeper-* Quorum-TLS-CA/ca-cert.srl
На всех узлах в /opt/zookeeper/conf/zookeeper.properties добавляем новые строчки конфигурации внутрикластерного взаимодействия. Особое внимание надо уделить паролю: раньше мы его указывали в переменной QPASS, теперь его надо указать дважды.
#Quorum TLS sslQuorum=true serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory ssl.quorum.keyStore.location=/opt/zookeeper/ssl/zookeeper-quorum.keystore.jks ssl.quorum.keyStore.password=ChangeMeSecretQpass ssl.quorum.trustStore.location=/opt/zookeeper/ssl/zookeeper-quorum.truststore.jks ssl.quorum.trustStore.password=ChangeMeSecretQpass
На всех узлах необходимо перезапустить Zookeeper, проверить логи, попробовать подключиться:
exit sudo systemctl restart zookeeper sudo su - zookeeper tail -f logs/zookeeper-zookeeper-server-$(hostname -f).out
Сейчас кластер внутри работает по TLS, но снаружи пока PLAIN:
/opt/zookeeper/bin/zkCli.sh -server 127.0.0.1:2181 ls /zookeeper
Server TLS
В этой серии мы создадим CA для клиентских подключений, а также сертификаты для узлов кластера Zookeeper для внешних подключений. Затем аналогичным образом создадим сертификат для клиента.
На одном узле создаем CA для внешних подключений сроком действия 10 лет, разместим его в папке Client-TLS-CA:
cd /opt/zookeeper/ssl mkdir -m 700 Client-TLS-CA openssl req -new -newkey rsa:4096 -days 3650 -x509 -subj "/CN=ZooKeeper-Client-CA" -keyout Client-TLS-CA/ca-key -out Client-TLS-CA/ca-cert -nodes
Для удобства дальнейшей настройки лучше скопировать полученные файлы Client-TLS-CA/ca-key и Client-TLS-CA/ca-cert на все другие узлы (не нужно генерировать свой CA на каждом узле, он нужен один):
# Только на первом узле cd /opt/zookeeper/ssl for h in zoo2.local zoo3.local; do ssh ${h} mkdir -m 700 /opt/zookeeper/ssl/Client-TLS-CA scp Client-TLS-CA/* ${h}:/opt/zookeeper/ssl/Client-TLS-CA done
На всех узлах в переменную окружения задаем пароль для серверных хранилищ сертификатов. Этот пароль будет одинаковым и для сертификата, и для хранилищ сертификатов key/trust:
export SPASS=ChangeMeSecretSpass
На всех узлах создаём хранилище доверенных сертификатов (truststore) для zookeeper-server, добавляем в него сертификат CA:
keytool -keystore zookeeper-server.truststore.jks -alias CARoot -import -file Client-TLS-CA/ca-cert -storepass $SPASS -keypass $SPASS -noprompt
На всех узлах создаём хранилище ключей (keystore) для zookeeper-server. Тут указывается имя узла, сгенерированный ключ надо будет подписать. Для удобства я использую предподстановку шелла $(hostname -f):
keytool -genkeypair -alias $(hostname -f) -keyalg RSA -keysize 2048 -dname "cn=$(hostname -f)" -keypass $SPASS -keystore zookeeper-server.keystore.jks -storepass $SPASS
На всех узлах создаём CSR (Certificate Signing Request) = запрос на выдачу (подпись) SSL сертификата:
keytool -keystore zookeeper-server.keystore.jks -alias $(hostname -f) -certreq -file ca-request-zookeeper-$(hostname -f) -storepass $SPASS -keypass $SPASS
Теперь подписываем сертификат. В нашем случае ca-key уже есть на всех узлах кластера, поэтому просто выполняем команду подписи:
openssl x509 -req -CA Client-TLS-CA/ca-cert -CAkey Client-TLS-CA/ca-key -in ca-request-zookeeper-$(hostname -f) -out cert-zookeeper-$(hostname -f)-signed -days 3650 -CAcreateserial -passin pass:$SPASS
На всех узлах добавляем сертификат CA в хранилище ключей Zookeeper (keystore):
keytool -keystore zookeeper-server.keystore.jks -import -file Client-TLS-CA/ca-cert -storepass $SPASS -keypass $SPASS -noprompt -alias CARoot
На всех узлах добавляем подписанный сертификат zookeeper в хранилище ключей Zookeeper (keystore):
keytool -keystore zookeeper-server.keystore.jks -import -file cert-zookeeper-$(hostname -f)-signed -storepass $SPASS -keypass $SPASS -alias $(hostname -f) -noprompt
На всех узлах проверяем, что внутри есть CA и сертификат ОДНОГО узла (т.е. всего два сертификата, не больше):
keytool -list -v -keystore zookeeper-server.keystore.jks -storepass $SPASS
На всех узлах удаляем теперь ненужный файл CSR, удаляем ненужный файл подписанного сертификата zookeeper-client (он теперь в keystore):
rm cert-zookeeper-*-signed ca-request-zookeeper-* Client-TLS-CA/ca-cert.srl
На всех узлах необходимо добавить дополнительные настройки в /opt/zookeeper/conf/zookeeper.properties, уделяя внимание паролю ChangeMeSecretSpass:
#Server TLS secureClientPort=2182 authProvider.x509=org.apache.zookeeper.server.auth.X509AuthenticationProvider serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory ssl.trustStore.location=/opt/zookeeper/ssl/zookeeper-server.truststore.jks ssl.trustStore.password=ChangeMeSecretSpass ssl.keyStore.location=/opt/zookeeper/ssl/zookeeper-server.keystore.jks ssl.keyStore.password=ChangeMeSecretSpass ssl.hostnameVerification=false ssl.clientAuth=need
А также в этом файле следует закомментировать уже ненужную строку - поставить перед ней #:
#clientPort=2181
Ранее она отвечала за нешифрованные соединения, теперь они будут невозможны. Благодаря настройке ssl.hostnameVerification=false мы можем выдавать клиентам обезличенный файл с их сертификатом, и нам будет не важен их реальный hostname.
Client-TLS
На один из узлов добавляем обезличенные store файлы для клиентов. CA будет тот же, все команды аналогичны, просто у клиентов будет другой пароль и имя хоста по маске '*.local'. Альтернативно можно пускать всех с настройкой ssl.clientAuth=none (но так я не пробовал).
Для клиентов будет отдельный пароль, но тот же CA.
Для удобства все файлы для подключений клиентов будут отдельно в /opt/zookeeper/client-settings:
cd /opt/zookeeper/client-settings/ export CPASS=ChangeMeSecretCpass #truststore keytool -keystore zookeeper-client.truststore.jks -alias CARoot -import -file ../ssl/Client-TLS-CA/ca-cert -storepass $CPASS -keypass $CPASS -noprompt #keystore keytool -genkeypair -alias zkclient -keyalg RSA -keysize 2048 -dname "cn=*.local" -keypass $CPASS -keystore zookeeper-client.keystore.jks -storepass $CPASS #gen CSR keytool -keystore zookeeper-client.keystore.jks -alias zkclient -certreq -file ca-request-zookeeper-zkclient -storepass $CPASS -keypass $CPASS #sign openssl x509 -req -CA ../ssl/Client-TLS-CA/ca-cert -CAkey ../ssl/Client-TLS-CA/ca-key -in ca-request-zookeeper-zkclient -out cert-zookeeper-zkclient-signed -days 3650 -CAcreateserial -passin pass:$CPASS #import signed keytool -keystore zookeeper-client.keystore.jks -import -file ../ssl/Client-TLS-CA/ca-cert -storepass $CPASS -keypass $CPASS -noprompt -alias CARoot keytool -keystore zookeeper-client.keystore.jks -import -file cert-zookeeper-zkclient-signed -storepass $CPASS -keypass $CPASS -alias zkclient -noprompt #check keytool -list -v -keystore zookeeper-client.keystore.jks -storepass $CPASS #clean up rm cert-zookeeper-*-signed ca-request-zookeeper-* ..srl
Создадим файл с примером конфигурации zkCli.sh /opt/zookeeper/client-settings/zookeeper-client.properties, не забываем менять ChangeMeSecretCpass:
zookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty zookeeper.client.secure=true zookeeper.ssl.client.enable=true zookeeper.ssl.protocol=TLSv1.2 zookeeper.ssl.trustStore.location=/opt/zookeeper/client-settings/zookeeper-client.truststore.jks zookeeper.ssl.trustStore.password=ChangeMeSecretCpass zookeeper.ssl.keyStore.location=/opt/zookeeper/client-settings/zookeeper-client.keystore.jks zookeeper.ssl.keyStore.password=ChangeMeSecretCpass ##client will NOT ignore Zk server hostname #zookeeper.ssl.hostnameVerification=false
Теперь содержимое папки /opt/zookeeper/client-settings можно синхронизировать между узлами кластера Zk, и в дальнейшем просто её выборочно предоставлять клиентам Zk:
scp /opt/zookeeper/client-settings/* zoo2.local:/opt/zookeeper/client-settings/ scp /opt/zookeeper/client-settings/* zoo3.local:/opt/zookeeper/client-settings/
Перезапустим сервис Zookeeper c новой конфигурацией. Мы его остановим, а уже настроенный systemd его запустит:
for h in zoo{1..3}.local ; do echo Reloading Zk on $h ssh $h "pkill -u zookeeper java && sleep 5" done
Попробуем проверить подключение по SSL:
/opt/zookeeper/bin/zkCli.sh -server zoo1.local:2182 -client-configuration /opt/zookeeper/client-settings/zookeeper-client.properties ls /zookeeper
SASL with MD5
Если вам не нужен ACL, то можно было бы остановиться и на этом, т.к. в кластер Zk смогут попасть только те клиенты, которые обладают подписанным сертификатом (аутентификацией), но мы добавим авторизацию.
Добавляем на всех узлах в /opt/zookeeper/conf/zookeeper.properties:
#SASL with Digest-MD5 requireClientAuthScheme=sasl zookeeper.allowSaslFailedClients=false zookeeper.sessionRequireClientSASLAuth=true # You must add the authProvider.<ID> property for every server that is part of the Zookeeper cluster authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider authProvider.2=org.apache.zookeeper.server.auth.SASLAuthenticationProvider authProvider.3=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
authProvider тут три, по числу узлов в кластере 1,2,3.
К сожалению, в Zookeeper есть глюк, и он не считывает нужные переменные, позволяя подключаться к кластеру как с паролем, так и без него, поэтому позже часть настроек вынесем в unit файл systemd, там сработает.
На всех узлах продолжим составление файлов конфигураций.
Создадим новый файл /opt/zookeeper/client-settings/zookeeper-client-jaas.conf. Это клиентская версия конфига с паролем:
Client { org.apache.zookeeper.server.auth.DigestLoginModule required username="bercut" password="ChangeMeSecretBUpass"; };
А /opt/zookeeper/conf/zookeeper-server-jaas.conf - серверные настройки с паролями. Особую роль играет пользователь super, т.к. на него не распространяются права ACL, ему можно все. Вместо пользователей bercut и test могут быть любые другие:
QuorumServer { org.apache.zookeeper.server.auth.DigestLoginModule required user_zookeeper="ChangeMeSecretZUpass"; }; QuorumLearner { org.apache.zookeeper.server.auth.DigestLoginModule required username="zookeeper" password="ChangeMeSecretZUpass"; }; Server { org.apache.zookeeper.server.auth.DigestLoginModule required user_super="ChangeMeSecretSUpass" user_bercut="ChangeMeSecretBUpass" user_test="ChangeMeSecretTUpass"; };
На всех узлах добавим важные переменные окружения в unit systemd /etc/systemd/system/zookeeper.service:
Environment="SERVER_JVMFLAGS=-Djava.security.auth.login.config=/opt/zookeeper/conf/zookeeper-server-jaas.conf \ -Dzookeeper.authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider \ -Dzookeeper.authProvider.2=org.apache.zookeeper.server.auth.SASLAuthenticationProvider \ -Dzookeeper.authProvider.3=org.apache.zookeeper.server.auth.SASLAuthenticationProvider \ -Dzookeeper.allowSaslFailedClients=false \ -Dzookeeper.sessionRequireClientSASLAuth=true"
exit sudo vim /etc/systemd/system/zookeeper.service sudo systemctl daemon-reload sudo systemctl restart zookeeper.service sudo su - zookeeper
Если не добавить опции после jaas, то Zk будет пускать и с паролем, и без пароля по SSL. Эти настройки принудительно разрешают только SSL.
/opt/zookeeper/conf/zookeeper.properties (что получилось в итоге)
# zoo cluster node info #server.id=hostname:port1:port2 # id - The ID of the Zookeeper cluster node. # hostname - The hostname or IP address where the node listens for connections. # port1 - The port number used for intra-cluster communication. # port2 - The port number used for leader election. server.1=zoo1.local:2888:3888 server.2=zoo2.local:2888:3888 server.3=zoo3.local:2888:3888 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial synchronization phase can take initLimit=10 # The number of ticks that can pass between sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. dataDir=/opt/zookeeper/data # the port at which the clients will connect in plain text (it should be commented and disabled) #clientPort=2181 # the maximum number of client connections. increase this if you need to handle more clients maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature autopurge.purgeInterval=1 ## Metrics Providers # https://prometheus.io Metrics Exporter metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpHost=0.0.0.0 metricsProvider.httpPort=8006 metricsProvider.exportJvmInfo=true #Quorum TLS sslQuorum=true serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory ssl.quorum.keyStore.location=/opt/zookeeper/ssl/zookeeper-quorum.keystore.jks ssl.quorum.keyStore.password=ChangeMeSecretQpass ssl.quorum.trustStore.location=/opt/zookeeper/ssl/zookeeper-quorum.truststore.jks ssl.quorum.trustStore.password=ChangeMeSecretQpass ssl.quorum.hostnameVerification=true #Server TLS secureClientPort=2182 authProvider.x509=org.apache.zookeeper.server.auth.X509AuthenticationProvider serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory ssl.trustStore.location=/opt/zookeeper/ssl/zookeeper-server.truststore.jks ssl.trustStore.password=ChangeMeSecretCpass ssl.keyStore.location=/opt/zookeeper/ssl/zookeeper-server.keystore.jks ssl.keyStore.password=ChangeMeSecretCpass ssl.hostnameVerification=false ssl.clientAuth=none #Quorum SASL quorum.auth.enableSasl=true quorum.auth.learnerRequireSasl=true quorum.auth.serverRequireSasl=true quorum.auth.learner.loginContext=QuorumLearner quorum.auth.server.loginContext=QuorumServer quorum.cnxn.threads.size=20 #SASL with Digest-MD5 requireClientAuthScheme=sasl zookeeper.allowSaslFailedClients=false zookeeper.sessionRequireClientSASLAuth=true # You must add the authProvider.<ID> property for every server that is part of the Zookeeper cluster authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider authProvider.2=org.apache.zookeeper.server.auth.SASLAuthenticationProvider authProvider.3=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
/etc/systemd/system/zookeeper.service (что получилось в итоге)
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=forking User=zookeeper Group=zookeeper Environment="JAVA_HOME=/usr/lib/jvm/jre-11" #default heap size is 1000 Mb (set in zkEnv.sh) Environment="ZK_SERVER_HEAP=2000" Environment="SERVER_JVMFLAGS=-Djava.security.auth.login.config=/opt/zookeeper/conf/zookeeper-server-jaas.conf \ -Dzookeeper.authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider \ -Dzookeeper.authProvider.2=org.apache.zookeeper.server.auth.SASLAuthenticationProvider \ -Dzookeeper.authProvider.3=org.apache.zookeeper.server.auth.SASLAuthenticationProvider \ -Dzookeeper.allowSaslFailedClients=false \ -Dzookeeper.sessionRequireClientSASLAuth=true" ExecStart=/opt/zookeeper/bin/zkServer.sh start /opt/zookeeper/conf/zookeeper.properties ExecStop=/opt/zookeeper/bin/zkServer.sh stop Restart=always [Install] WantedBy=multi-user.target
Проверка SASL+SSL
Зайдем в Zk через SSL+SASL и проверим, что мы можем посмотреть дерево:
CLIENT_JVMFLAGS="-Djava.security.auth.login.config=/opt/zookeeper/client-settings/zookeeper-client-jaas.conf" export CLIENT_JVMFLAGS /opt/zookeeper/bin/zkCli.sh -server zoo1.local:2182,zoo2.local:2182,zoo3.local:2182 -client-configuration /opt/zookeeper/client-settings/zookeeper-client.properties ls /
Меняя логин-пароль в /opt/zookeeper/client-settings/zookeeper-client-jaas.conf, мы заходим в Zk под разными пользователями.
Если поменять логин-пароль в zookeeper-client-jaas.conf на заведомо неверный, то команда должна ломаться. Также подключение на несекретный порт 2181 тоже уже не должно работать.
Как работает ACL в действии?
С помощью утилиты zkCli подключимся к Zk пользователем bercut, создадим новый узел /test:
ls / [zookeeper] create /test create /test/1 set /test/1 123456
В корне любой пользователь по умолчанию может делать все что угодно. Проверим:
getAcl / 'world,'anyone : cdrwa getAcl /test 'world,'anyone : cdrwa
Буквы cdrwa означают:
(c) CREATE: можно создавать child node;
(d) DELETE: можно удалять узел;
(r) READ: можно читать узел и просматривать его подузлы;
(w) WRITE: можно записывать в узел;
(a) ADMIN: можно назначать права.
Изменим права. Заберем все права у всех пользователей, кроме bercut, на узел /test:
setAcl /test world:anyone:,sasl:bercut:cdrwa
Проверим изменения:
getAcl /test 'world,'anyone : 'sasl,'bercut : cdrwa getAcl /test/1 'world,'anyone : cdrwa
Подключимся пользователем test. Для этого изменим конфиг для подключения /opt/zookeeper/client-settings/zookeeper-client-jaas.conf:
Client { org.apache.zookeeper.server.auth.DigestLoginModule required username="test" password="ChangeMeSecretTUpass"; };
Он не может посмотреть, изменить или удалить узел /test:
ls / [test, zookeeper] ls /test Insufficient permission : /test
Пользователь test теперь не может посмотреть на узел /test, ACL сработали.
Однако, если подключиться пользователем super (super/ChangeMeSecretSUpass), то ACL работать не будут, повторюсь, пользователю super можно все, он же суперпользователь:
ls / [test, zookeeper] ls /test [1] get /test/1 123456
Мониторинг
Внимательный читатель наверняка заметил в конфигурации необъясненные настройки metricsProvider.xxx. Да, это про мониторинг. Сильно не углубляюсь в то, как, что и зачем - статья не совсем об этом.
Если вам все же это интересно
Пример настройки мониторинга через Prometheus и Grafana
prometheus.yml (основная конфигурация Prometheus)
rule_files: - 'alerts/alerts.zookeeper.yml' ... scrape_configs: - job_name: 'zookeeper' scrape_interval: 10s scrape_timeout: 9s metrics_path: /metrics file_sd_configs: - files: - 'inventory/*.yml' relabel_configs: - source_labels: [jobs] #pick up config if it has 'zookeeper' in comma-separated list in label 'jobs', drop if not regex: '(.*,|^)zookeeper(,.*|$)' action: keep - regex: '^jobs$' #drop unused label 'jobs' action: labeldrop - source_labels: [__address__] #save ip address into 'ip' label regex: '(.*)(:.*)?' replacement: '$1' target_label: ip - source_labels: [__address__] #add port if it is absent in target, save ip:port to '__param_target' label regex: (.*) replacement: ${1}:8006 target_label: __param_target - source_labels: [__param_target] #copy '__param_target' label to 'instance' label target_label: instance - source_labels: [__param_target] #copy '__param_target' label to '__address__' label target_label: __address__ ...
inventory/Bercut1.yml (список узлов)
--- - targets: - 192.168.1.11 labels: jobs: "node_exporter,blackbox-ssh,zookeeper" owner: "habr" os: "linux" hostname: "zoo1.local" zooCluster: "Bercut1" noAlarmOn: "predict" - targets: - 192.168.1.12 labels: jobs: "node_exporter,blackbox-ssh,zookeeper" owner: "habr" os: "linux" hostname: "zoo2.local" zooCluster: "Bercut1" noAlarmOn: "predict" - targets: - 192.168.1.13 labels: jobs: "node_exporter,blackbox-ssh,zookeeper" owner: "habr" os: "linux" hostname: "zoo3.local" zooCluster: "Bercut1" noAlarmOn: "predict"
alerts/alerts.zookeeper.yml (описания алертов)
groups: - name: zk-alerts rules: - alert: ZooKeeper server is down expr: up{job="zookeeper"} == 0 for: 1m labels: severity: critical annotations: summary: "Instance {{ $labels.instance }} ZooKeeper server is down" description: "{{ $labels.instance }} of job {{$labels.job}} ZooKeeper server is down: [{{ $value }}]." - alert: create too many znodes expr: znode_count{job="zookeeper"} > 1000000 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} create too many znodes" description: "{{ $labels.instance }} of job {{$labels.job}} create too many znodes: [{{ $value }}]." - alert: create too many connections expr: num_alive_connections{job="zookeeper"} > 50 # suppose we use the default maxClientCnxns: 60 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} create too many connections" description: "{{ $labels.instance }} of job {{$labels.job}} create too many connections: [{{ $value }}]." - alert: znode total occupied memory is too big expr: approximate_data_size{job="zookeeper"} /1024 /1024 > 1 * 1024 # more than 1024 MB(1 GB) for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} znode total occupied memory is too big" description: "{{ $labels.instance }} of job {{$labels.job}} znode total occupied memory is too big: [{{ $value }}] MB." - alert: set too many watch expr: watch_count{job="zookeeper"} > 10000 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} set too many watch" description: "{{ $labels.instance }} of job {{$labels.job}} set too many watch: [{{ $value }}]." - alert: a leader election happens expr: increase(election_time_count{job="zookeeper"}[5m]) > 0 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} a leader election happens" description: "{{ $labels.instance }} of job {{$labels.job}} a leader election happens: [{{ $value }}]." - alert: open too many files expr: open_file_descriptor_count{job="zookeeper"} > 300 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} open too many files" description: "{{ $labels.instance }} of job {{$labels.job}} open too many files: [{{ $value }}]." - alert: fsync time is too long expr: rate(fsynctime_sum{job="zookeeper"}[1m]) > 100 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} fsync time is too long" description: "{{ $labels.instance }} of job {{$labels.job}} fsync time is too long: [{{ $value }}]." - alert: take snapshot time is too long expr: rate(snapshottime_sum{job="zookeeper"}[5m]) > 100 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} take snapshot time is too long" description: "{{ $labels.instance }} of job {{$labels.job}} take snapshot time is too long: [{{ $value }}]." - alert: avg latency is too high expr: avg_latency{job="zookeeper"} > 100 for: 1m labels: severity: warning annotations: summary: "Instance {{ $labels.instance }} avg latency is too high" description: "{{ $labels.instance }} of job {{$labels.job}} avg latency is too high: [{{ $value }}]." - alert: JvmMemoryFillingUp expr: jvm_memory_bytes_used{job="zookeeper"} / jvm_memory_bytes_max{area="heap"} > 0.8 for: 5m labels: severity: warning annotations: summary: "JVM memory filling up (instance {{ $labels.instance }})" description: "JVM memory is filling up (> 80%)\n labels: {{ $labels }} value = {{ $value }}\n"
Grafana default ZooKeeper dashboard
Послесловие
Я потратил достаточно много времени, чтобы найти описанные выше настройки. Некоторые из них хорошо описаны в официальной документации Zookeeper. Какие-то настройки там раскрыты очень скомкано и их по кусочкам нужно было вытягивать из настроек продуктов, которые работают вместе с Zk. А кое-что вообще пришлось искать на StackOverflow с дальнейшим блужданием по тикетам разработчиков Zk.
Конечно, было бы классно сразу просто выложить сценарий Ansible, который все автоматически настроит, но тогда бы не сложилось понимания, как это все работает.
