Привет, на CKA курсе туторы нарочито вдалбливают последовательность действи: set the cluster, set the namespace, set the pod... И все это происходит в консоли, используя kubectl - консольная утилита для управления k8s кластерами. Мне настолько это вдолбилось что я решил это автоматизировать. У меня уже был интересный проект автоматизации ssh подключений (sshto), не долго думая, я взял его за основу и написал kui. Это bash скрипт, dialog обёртка для kubectl. У диалога есть приятная фича присваивать горячку каждому пункту меню по первому символу. Это очень удобно, в результате весь k8s кластер оказывается у вас на кончиках пальцев.
Я уже упоминал kui в своих публикациях но раз уж сейчас сезон Open source, решился написать самостоятельную статью про kui, OS и вот это вот все.
Зачем делать свое если есть уже много не своего? Да, да, но я недавно побывал в замечательном городе Владимире, в числе прочего зашли в Кузницу-Музей Бородиных. Очень понравилось, дядя кузнец красивым поставленным баритоном рассказал про кузнечное дело что да как, задавал вопросы а за правильные ответы давал сахарок) В кузнице много инструментов: молотков, клещей, оправок... Раньше кузнец все это делал сам, сам делал себе инструменты. Получил заказ, подумал покумекал как делать, сделал инструмент, сделал заказ. Вот так потихоньку в кузнице инструмент и прибывал. Зайдешь в кузницу, посмотришь сколько разного инструмента у кузнеца и сразу понятно опытный кузнец или нет. Вот и я как тот кузнец, инструменты себе делаю сам, не могу не куя.
Будете во Владимире обязательно зайдите в это место, особенно с детьми. Можно самому молотком поколотить, сделать гвоздь на добрую память. К сожалению главная достопримечательность Владимира - Золотые ворота в данный момент на реставрации ну чтож - это повод вернуться и выковать еще один гвоздь.
Так что моя философия - делай своё, делай сам, делай больше, в любом случае будешь вознаграждён опытом и интересно проведешь время, только OS, только хардкор)
Начнем же знакомство с kui'ем. О чем вообще сыр бор, зачем нужен kui? Вот пример обычного рабочего процесса с kubectl, скажем нам надо посмотреть подики в неймспейсе clickhouse-dev, пишем такое:
$ kubectl --kubeconfig=.kube/config_dev -n clickhouse-dev get po
NAME READY STATUS RESTARTS AGE
chi-cluster-dev01-0-0-0 2/2 Running 0 29d
chi-cluster-dev01-0-1-0 2/2 Running 0 29d
chi-cluster-dev01-0-2-0 2/2 Running 0 29dВыглядит просто когда можно скопипастить команду но когда сам тыкаешь кнопки, все несколько скучнее, видосик:
Может я просто медленно печатаю? Но я всегда придерживался мнения что работать должен компьютер а человек должен только контролировать его работу и вмешиться по необходимости. Нажми на кнопку, получишь результат. А иначе зачем это все? Попробуем сделать тоже самое с kui'ем:
Согласитесь с kui'ем повеселее чем без kui'я!) А ведь это просто bash скрипт. При желании вы сможете свой kui заточить под ваши нужды без особых проблем. У меня так и было, сначала потенционал kui'я был совсем маленький, выбрать кластер, неймспейс, посмотреть подики, логи. В какой-то момент появилась задача в которой требовалось пробросить порт в подик, сделал и добавил такую функцию в kui. Клиент никак не мог удалить залипший подик, применил --force и добавил в kui команду Termination. Так потенциал kui постепенно увеличивался и сейчас kui стал очень удобным инструментом. Частенько требуется залезть прямо в под, и потыкать там, вот посмотрите как с помощью kui'я можно бысто пролезть в подик:
Чик-пык и мы внутри. Потом вернулись обратно в kui, выбрали следующий под и пошло-поехало, удобно. Кстати kui запоминает где вы были в последний раз (кластер и неймспейс) и если вы перезапустите kui то начнете там где закончили.
Был забавный диалог с коллегами:
Решил увековечить это в kui, переименовал команды cordone и uncordone вот так:
Получилось очень точно по смыслу, не хочешь плодить поды, надень ... эм, закордонь. И к названию подходит как нельзя лучше. Возможно, разработчики kubectl, придумывая названия команд cordone/uncordone, тоже думали об этом, названия команд подозрительно созвучны моему варианту)
Рассмотрим kui поближе. Как я уже сказал это bash скрипт а в качестве "движка" используется диалог. Чтобы все это работало вам понадобится установить dialog и kubectl. А для доступа к кластерам необходимо конфиги с ключами положить в папку ~/.kube - это путь по умолчанию для конфигов kubectl, файлы должны начинаться со слова config*. Если вы по каким-то причинам используете другую папку/файлы, подкрутите в kui'е вот эту переменную:
CONFILES=$(echo ~/.kube/{config,config*[!~]}) # k8s confiles list.Если у вас уже подгорает добавить что-нибудь, вперед, вот как это все выглядит внутри:
#------------------------{ Dialog creator }------------------------
D(){
local type="$1"
local name="$2"
local oklb="$3"
local nolb="$4"
local opts="$5"
shift 5
case $type in
menu) local size='0 0 0';;
inputbox) local size='10 60';;
esac
dialog $opts \
--no-collapse --output-fd 1 \
--colors --aspect 100 \
--ok-label "$oklb" \
--cancel-label "$nolb" \
--$type "$name" \
$size -- "$@"
}Это функция для упрощеннго создания диалогов. А вот как эта функция используется, простые диалоги ввода данных (inputbox):
#------------------------{ Change ports used in port-forwarding command }--------------------------
local_port(){
new_local=$(D inputbox 'Change local port' CHANGE BACK '--max-input 5' $LOCAL)
LOCAL=${new_local:-$LOCAL}
cmds_regen
}
remote_port(){
new_remote=$(D inputbox 'Change remote port' CHANGE BACK '--max-input 5' $REMOTE)
REMOTE=${new_remote:-$REMOTE}
cmds_regen
}
#------------------------{ Change command to run in pod }------------------------------------------
change_command(){
new_kubcmd=$(D inputbox 'Change command to run in pod' CHANGE BACK '--max-input 255' "$KUBCMD")
KUBCMD="${new_kubcmd:-$KUBCMD}"
cmds_regen
}
...И пример диалога с выбором (menu), в данном случае кластера:
select_cluster(){
cluster=$(D menu "Select cluster:" SELECT EXIT '--no-items --extra-button --extra-label NODES --help-button --help-label TOP' "${!clusters[@]}")
case $? in
0) kubconfig="${clusters[$cluster]}"
select_namespace;;
2) cluster=${cluster//HELP /}
kubconfig="${clusters[$cluster]}"
select_node top;;
3) kubconfig="${clusters[$cluster]}"
select_node;;
1) bye;;
esac
}Диалог и соответственно функция возвращают разные коды завершения в зависимости от нажатой кнопки. Кнопок диалог позволяет создавать максимум 4. По умолчанию это кнопки:
ok, код 0
cancel, код 1
help, код 2
extra, код 3
Названия кнопок можно изменять опцией --<имя_кнопки>-label <новое_название_кнопки>. Для проверки кода используется case. Самый интересный диалог это выбор действия с объектами: под, джоб, деплой и т.д. Но не все команды актуальны для того или иного типа объектов. Поэтому мне пришлось сделать несколько наборов команд:
cmds_regen(){ # Commands to run, list will be updated
#-----------------------+--------------------------------------------------------------+
# Command name | Description |
#-----------------------+--------------------------------------------------------------+
quick_butt=( '' '' "$quickl" "$quickd"
"$F_BUTT" "Filter items "
"$N_BUTT" "Go to namespace selection "
"$T_BUTT" "Go to object type selection"
"$C_BUTT" "Go to cluster selection "
"$D_BUTT" "Go to node selection"
"$P_BUTT" "Go to top node selection"
"$W_BUTT" "Watch for a while how it's going" )
descr_cmds=( Get "Get this $type"
Describe "Describe this $type"
Output "Set output mode: ${outputypes_list%|}" )
label_cmds=( Label "Set this $type as label" )
scale_cmds=( Scale "Change number of replicas in this $type" )
delete_cmds=( Delete "Delete this $type"
Termination "Delete this $type using --force" )
common_cmds=( "${descr_cmds[@]}"
'' '' # delimiter
Logs "Get $type logs"
'Logs all' "Get $type logs from all containers at once!"
Search "Grep something in logs"
Container 'Select container to run command or get logs from'
Edit "Edit this $type"
'' '' # delimiter
"${delete_cmds[@]}" )
top_cmds=( "Top $type" "Show metrics for this $type"
"Top ${type}s" "Show metrics for all ${type}s" )
rollout_cmds=( 'Rollout restart' "Restart this $type"
'Rollout status ' "Show the status of this $type's rollout"
'Rollout pause ' "Mark the provided this $type as paused"
'Rollout resume ' "Resume this paused $type"
'Rollout undo ' "Undo a previous rollout of this $type"
'Rollout history' "View rollout history of this $type" )
exec_cmds=( "Execute $KUBCMD" "Run command '\Z1$KUBCMD\Z0' in this $type"
'Change command' "Change command(\Z1$KUBCMD\Z0)" )
pfwd_cmds=( 'Port-forward' "Forward local port \Z2$LOCAL\Z0 to pods port \Z2$REMOTE\Z0"
'Change local port' "Change local(\Z2$LOCAL\Z0) port"
"Change pod's port" "Change pod's(\Z2$REMOTE\Z0) port" )
shell_cmds=( 'Interactive shell' "Open interactive shell in this $type" )
cron_cmds=( 'Suspend' "Suspend this $type"
'Unsuspend' "Unsuspend this $type"
Delete "Delete this $type"
Edit "Edit this $type" )
node_cmds=( Condom "Make this $type unschedulable"
Uncondome "Make this $type schedulable again"
Drain "Drain this $type in preparation for maintenance"
'Node pods' "Show pods of this node"
'Top node pods' "Show top pods of this node"
'' '' # delimiter
"${top_cmds[@]}" )
pod_cmds=( "${descr_cmds[@]}"
'' '' # delimiter
Logs "Get $type logs"
'Logs all' "Get $type logs from all containers at once!"
Search "Grep something in logs"
Container 'Select container to run command or get logs from'
'' '' # delimiter
"${delete_cmds[@]}"
'' '' # delimiter
"${top_cmds[@]}"
'' '' # delimiter
"${shell_cmds[@]}"
'' '' # delimiter
"${exec_cmds[@]}"
'' '' # delimiter
"${pfwd_cmds[@]}" )
depl_cmds=( "${common_cmds[@]}"
'' '' # delimiter
"${label_cmds[@]}"
'' '' # delimiter
"${scale_cmds[@]}"
'' '' # delimiter
"${rollout_cmds[@]}"
'' '' # delimiter
"${exec_cmds[@]}"
'' '' # delimiter
"${pfwd_cmds[@]}" )
}; cmds_regenИ применять их в зависимости от объекта:
#------------------------{ Play with objects }-----------------------------------------------------
butt_no_filter=("${quick_butt[@]::4}" "${quick_butt[@]:6:10}")
play_with_event (){ WAIT; data=$(kube get $type $ns 2>&1); GO; echo "$data"; pause; select_type; }
play_with_statefulset (){ all_cmds_check "${common_cmds[@]}" "${scale_cmds[@]}" '' '' "${rollout_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_node (){ all_cmds_check "${descr_cmds[@]}" '' '' "${node_cmds[@]}" "${butt_no_filter[@]:0:10}"; }
play_with_daemonset (){ all_cmds_check "${common_cmds[@]}" '' '' "${rollout_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_cronjob (){ all_cmds_check "${descr_cmds[@]}" '' '' "${cron_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_secret (){ all_cmds_check "${descr_cmds[@]}" '' '' "${delete_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_replicaset (){ all_cmds_check "${common_cmds[@]}" "${scale_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_deployment (){ all_cmds_check "${depl_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_pod (){ all_cmds_check "${pod_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_job (){ all_cmds_check "${common_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_componentstatuse (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_serviceaccount (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_podtemplate (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_limitrange (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_configmap (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_endpoint (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_service (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
play_with_ingress (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }А вот этот набор:
quick_butt=( '' '' "$quickl" "$quickd"
"$F_BUTT" "Filter items "
"$N_BUTT" "Go to namespace selection "
"$T_BUTT" "Go to object type selection"
"$C_BUTT" "Go to cluster selection "
"$D_BUTT" "Go to node selection"
"$P_BUTT" "Go to top node selection"
"$W_BUTT" "Watch for a while how it's going" )Пришлось сделать чтобы преодолеть ограничение диалога в 4 кнопки. Можно конечно было добавить подменю, но для вызова подменю нужна кнопка а с ними напряженка. Подменю не удобно и там тоже было бы максимум 4 кнопки. Сделал так, получилось как-бы встроенное подменю. Все дополнительные кнопки/команды на виду и доступны сразу по горячим кнопкам. Да, если основной список длинный они уезжают за экран, но когда долго работаешь с kui'ем горячки запоминаются быстро, достаточно нажать циферку и нужная команда выбрана. Это очень удобно.
Чаще всего приходится возиться с подиками поэтому список команд для подов самый большой:
Можно посмотреть под в разных форматах json|yaml|wide|name. Посмотреть логи. Относительно недавно добавил возможность смотреть логи сразу во всех контейнерах. Когда у пода несколько контейнеров команда kubectl -n.. logs pod/pod_name ругнется если не указан контейнер:
error: a container name must be specified for pod chi-cluster-dev01-0-0-0, choose one of: [clickhouse clickhouse-bulk]Но с kui'ем можно сказать Logs all и получить логи сразу всех контейнеров.
Можно удалить под, выполнить в нем команду открыть порт или открыть интерактивную оболочку.
Теперь с помощью подменю Quick selection изменяем тип на deployment:
И видим что деплойментов тут нет О_о
Да, судя по именам подиков это стайтфулсет, нажимаем 3 > enter S > enter
Ага, стайтфулсет, посмотрим что можно с ним делать:
Основная функция тут конечно рестарт, частенько приходится рестартить какой-нибудь стейтфулсет или деплоймент.
Ну и конечно ноды, жмем 5 > enter
Заго.. закордонивание уже описано, еще можно сделать drain, посмотреть статистику топ нод, выбрать все поды ноды и даже топ поды ноды. И все это на кончиках пальцев. Мышь можно не трогать, хотя dialog её поддерживает, элементы меню можно подсвечивать мышью.
Это опенсорс. Есть идеи? Шлите пулреквесты. Нашли ошибку, создайте issue, возможно когда-нибудь исправлю) Кстати вот на днях некто john9x указал на очепятку, поправил, спасибо.
Почему опенсорс? Ну а как иначе, во-первых как я сказал выше философия, во-вторых в проекте используется открытое ПО: didalog, kubectl. В-третьих практически все что я знаю и умею, я подчерпнул из открытых источников, поэтому стараюсь вернуть долг опенсорс сообществу, пишу код, пишу статьи когда есть время. Надеюсь кому-то это будет полезно.
В блоге нашей компании есть статья про kui на английском она немного оутдатед и написана в более строгом стиле. Но если у вас есть англоязычные коллеги и вы считаете что им стоит посмотреть на kui, отправьте им это.
Только OS, только хардкор!)
Творите, выдумывайте, пробуйте!)
