Привет, на CKA курсе туторы нарочито вдалбливают последовательность действи: set the cluster, set the namespace, set the pod... И все это происходит в консоли, используя kubectl - консольная утилита для управления k8s кластерами. Мне настолько это вдолбилось что я решил это автоматизировать. У меня уже был интересный проект автоматизации ssh подключений (sshto), не долго думая, я взял его за основу и написал kui. Это bash скрипт, dialog обёртка для kubectl. У диалога есть приятная фича присваивать горячку каждому пункту меню по первому символу. Это очень удобно, в результате весь k8s кластер оказывается у вас на кончиках пальцев.
Я уже упоминал kui в своих публикациях но раз уж сейчас сезон Open source, решился написать самостоятельную статью про kui, OS и вот это вот все.
Зачем делать свое если есть уже много не своего? Да, да, но я недавно побывал в замечательном городе Владимире, в числе прочего зашли в Кузницу-Музей Бородиных. Очень понравилось, дядя кузнец красивым поставленным баритоном рассказал про кузнечное дело что да как, задавал вопросы а за правильные ответы давал сахарок) В кузнице много инструментов: молотков, клещей, оправок... Раньше кузнец все это делал сам, сам делал себе инструменты. Получил заказ, подумал покумекал как делать, сделал инструмент, сделал заказ. Вот так потихоньку в кузнице инструмент и прибывал. Зайдешь в кузницу, посмотришь сколько разного инструмента у кузнеца и сразу понятно опытный кузнец или нет. Вот и я как тот кузнец, инструменты себе делаю сам, не могу не куя.
Будете во Владимире обязательно зайдите в это место, особенно с детьми. Можно самому молотком поколотить, сделать гвоздь на добрую память. К сожалению главная достопримечательность Владимира - Золотые ворота в данный момент на реставрации ну чтож - это повод вернуться и выковать еще один гвоздь.
Так что моя философия - делай своё, делай сам, делай больше, в любом случае будешь вознаграждён опытом и интересно проведешь время, только OS, только хардкор)
Начнем же знакомство с kui'ем. О чем вообще сыр бор, зачем нужен kui? Вот пример обычного рабочего процесса с kubectl, скажем нам надо посмотреть подики в неймспейсе clickhouse-dev, пишем такое:
$ kubectl --kubeconfig=.kube/config_dev -n clickhouse-dev get po NAME READY STATUS RESTARTS AGE chi-cluster-dev01-0-0-0 2/2 Running 0 29d chi-cluster-dev01-0-1-0 2/2 Running 0 29d chi-cluster-dev01-0-2-0 2/2 Running 0 29d
Выглядит просто когда можно скопипастить команду но когда сам тыкаешь кнопки, все несколько скучнее, видосик:
Может я просто медленно печатаю? Но я всегда придерживался мнения что работать должен компьютер а человек должен только контролировать его работу и вмешиться по необходимости. Нажми на кнопку, получишь результат. А иначе зачем это все? Попробуем сделать тоже самое с kui'ем:
Согласитесь с kui'ем повеселее чем без kui'я!) А ведь это просто bash скрипт. При желании вы сможете свой kui заточить под ваши нужды без особых проблем. У меня так и было, сначала потенционал kui'я был совсем маленький, выбрать кластер, неймспейс, посмотреть подики, логи. В какой-то момент появилась задача в которой требовалось пробросить порт в подик, сделал и добавил такую функцию в kui. Клиент никак не мог удалить залипший подик, применил --force и добавил в kui команду Termination. Так потенциал kui постепенно увеличивался и сейчас kui стал очень удобным инструментом. Частенько требуется залезть прямо в под, и потыкать там, вот посмотрите как с помощью kui'я можно бысто пролезть в подик:
Чик-пык и мы внутри. Потом вернулись обратно в kui, выбрали следующий под и пошло-поехало, удобно. Кстати kui запоминает где вы были в последний раз (кластер и неймспейс) и если вы перезапустите kui то начнете там где закончили.
Был забавный диалог с коллегами:
Решил увековечить это в kui, переименовал команды cordone и uncordone вот так:
Получилось очень точно по смыслу, не хочешь плодить поды, надень ... эм, закордонь. И к названию подходит как нельзя лучше. Возможно, разработчики kubectl, придумывая названия команд cordone/uncordone, тоже думали об этом, названия команд подозрительно созвучны моему варианту)
Рассмотрим kui поближе. Как я уже сказал это bash скрипт а в качестве "движка" используется диалог. Чтобы все это работало вам понадобится установить dialog и kubectl. А для доступа к кластерам необходимо конфиги с ключами положить в папку ~/.kube - это путь по умолчанию для конфигов kubectl, файлы должны начинаться со слова config*. Если вы по каким-то причинам используете другую папку/файлы, подкрутите в kui'е вот эту переменную:
CONFILES=$(echo ~/.kube/{config,config*[!~]}) # k8s confiles list.
Если у вас уже подгорает добавить что-нибудь, вперед, вот как это все выглядит внутри:
#------------------------{ Dialog creator }------------------------ D(){ local type="$1" local name="$2" local oklb="$3" local nolb="$4" local opts="$5" shift 5 case $type in menu) local size='0 0 0';; inputbox) local size='10 60';; esac dialog $opts \ --no-collapse --output-fd 1 \ --colors --aspect 100 \ --ok-label "$oklb" \ --cancel-label "$nolb" \ --$type "$name" \ $size -- "$@" }
Это функция для упрощеннго создания диалогов. А вот как эта функция используется, простые диалоги ввода данных (inputbox):
#------------------------{ Change ports used in port-forwarding command }-------------------------- local_port(){ new_local=$(D inputbox 'Change local port' CHANGE BACK '--max-input 5' $LOCAL) LOCAL=${new_local:-$LOCAL} cmds_regen } remote_port(){ new_remote=$(D inputbox 'Change remote port' CHANGE BACK '--max-input 5' $REMOTE) REMOTE=${new_remote:-$REMOTE} cmds_regen } #------------------------{ Change command to run in pod }------------------------------------------ change_command(){ new_kubcmd=$(D inputbox 'Change command to run in pod' CHANGE BACK '--max-input 255' "$KUBCMD") KUBCMD="${new_kubcmd:-$KUBCMD}" cmds_regen } ...
И пример диалога с выбором (menu), в данном случае кластера:
select_cluster(){ cluster=$(D menu "Select cluster:" SELECT EXIT '--no-items --extra-button --extra-label NODES --help-button --help-label TOP' "${!clusters[@]}") case $? in 0) kubconfig="${clusters[$cluster]}" select_namespace;; 2) cluster=${cluster//HELP /} kubconfig="${clusters[$cluster]}" select_node top;; 3) kubconfig="${clusters[$cluster]}" select_node;; 1) bye;; esac }
Диалог и соответственно функция возвращают разные коды завершения в зависимости от нажатой кнопки. Кнопок диалог позволяет создавать максимум 4. По умолчанию это кнопки:
ok, код 0
cancel, код 1
help, код 2
extra, код 3
Названия кнопок можно изменять опцией --<имя_кнопки>-label <новое_название_кнопки>. Для проверки кода используется case. Самый интересный диалог это выбор действия с объектами: под, джоб, деплой и т.д. Но не все команды актуальны для того или иного типа объектов. Поэтому мне пришлось сделать несколько наборов команд:
cmds_regen(){ # Commands to run, list will be updated #-----------------------+--------------------------------------------------------------+ # Command name | Description | #-----------------------+--------------------------------------------------------------+ quick_butt=( '' '' "$quickl" "$quickd" "$F_BUTT" "Filter items " "$N_BUTT" "Go to namespace selection " "$T_BUTT" "Go to object type selection" "$C_BUTT" "Go to cluster selection " "$D_BUTT" "Go to node selection" "$P_BUTT" "Go to top node selection" "$W_BUTT" "Watch for a while how it's going" ) descr_cmds=( Get "Get this $type" Describe "Describe this $type" Output "Set output mode: ${outputypes_list%|}" ) label_cmds=( Label "Set this $type as label" ) scale_cmds=( Scale "Change number of replicas in this $type" ) delete_cmds=( Delete "Delete this $type" Termination "Delete this $type using --force" ) common_cmds=( "${descr_cmds[@]}" '' '' # delimiter Logs "Get $type logs" 'Logs all' "Get $type logs from all containers at once!" Search "Grep something in logs" Container 'Select container to run command or get logs from' Edit "Edit this $type" '' '' # delimiter "${delete_cmds[@]}" ) top_cmds=( "Top $type" "Show metrics for this $type" "Top ${type}s" "Show metrics for all ${type}s" ) rollout_cmds=( 'Rollout restart' "Restart this $type" 'Rollout status ' "Show the status of this $type's rollout" 'Rollout pause ' "Mark the provided this $type as paused" 'Rollout resume ' "Resume this paused $type" 'Rollout undo ' "Undo a previous rollout of this $type" 'Rollout history' "View rollout history of this $type" ) exec_cmds=( "Execute $KUBCMD" "Run command '\Z1$KUBCMD\Z0' in this $type" 'Change command' "Change command(\Z1$KUBCMD\Z0)" ) pfwd_cmds=( 'Port-forward' "Forward local port \Z2$LOCAL\Z0 to pods port \Z2$REMOTE\Z0" 'Change local port' "Change local(\Z2$LOCAL\Z0) port" "Change pod's port" "Change pod's(\Z2$REMOTE\Z0) port" ) shell_cmds=( 'Interactive shell' "Open interactive shell in this $type" ) cron_cmds=( 'Suspend' "Suspend this $type" 'Unsuspend' "Unsuspend this $type" Delete "Delete this $type" Edit "Edit this $type" ) node_cmds=( Condom "Make this $type unschedulable" Uncondome "Make this $type schedulable again" Drain "Drain this $type in preparation for maintenance" 'Node pods' "Show pods of this node" 'Top node pods' "Show top pods of this node" '' '' # delimiter "${top_cmds[@]}" ) pod_cmds=( "${descr_cmds[@]}" '' '' # delimiter Logs "Get $type logs" 'Logs all' "Get $type logs from all containers at once!" Search "Grep something in logs" Container 'Select container to run command or get logs from' '' '' # delimiter "${delete_cmds[@]}" '' '' # delimiter "${top_cmds[@]}" '' '' # delimiter "${shell_cmds[@]}" '' '' # delimiter "${exec_cmds[@]}" '' '' # delimiter "${pfwd_cmds[@]}" ) depl_cmds=( "${common_cmds[@]}" '' '' # delimiter "${label_cmds[@]}" '' '' # delimiter "${scale_cmds[@]}" '' '' # delimiter "${rollout_cmds[@]}" '' '' # delimiter "${exec_cmds[@]}" '' '' # delimiter "${pfwd_cmds[@]}" ) }; cmds_regen
И применять их в зависимости от объекта:
#------------------------{ Play with objects }----------------------------------------------------- butt_no_filter=("${quick_butt[@]::4}" "${quick_butt[@]:6:10}") play_with_event (){ WAIT; data=$(kube get $type $ns 2>&1); GO; echo "$data"; pause; select_type; } play_with_statefulset (){ all_cmds_check "${common_cmds[@]}" "${scale_cmds[@]}" '' '' "${rollout_cmds[@]}" "${butt_no_filter[@]}"; } play_with_node (){ all_cmds_check "${descr_cmds[@]}" '' '' "${node_cmds[@]}" "${butt_no_filter[@]:0:10}"; } play_with_daemonset (){ all_cmds_check "${common_cmds[@]}" '' '' "${rollout_cmds[@]}" "${butt_no_filter[@]}"; } play_with_cronjob (){ all_cmds_check "${descr_cmds[@]}" '' '' "${cron_cmds[@]}" "${butt_no_filter[@]}"; } play_with_secret (){ all_cmds_check "${descr_cmds[@]}" '' '' "${delete_cmds[@]}" "${butt_no_filter[@]}"; } play_with_replicaset (){ all_cmds_check "${common_cmds[@]}" "${scale_cmds[@]}" "${butt_no_filter[@]}"; } play_with_deployment (){ all_cmds_check "${depl_cmds[@]}" "${butt_no_filter[@]}"; } play_with_pod (){ all_cmds_check "${pod_cmds[@]}" "${butt_no_filter[@]}"; } play_with_job (){ all_cmds_check "${common_cmds[@]}" "${butt_no_filter[@]}"; } play_with_componentstatuse (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_serviceaccount (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_podtemplate (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_limitrange (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_configmap (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_endpoint (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_service (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; } play_with_ingress (){ all_cmds_check "${descr_cmds[@]}" "${butt_no_filter[@]}"; }
А вот этот набор:
quick_butt=( '' '' "$quickl" "$quickd" "$F_BUTT" "Filter items " "$N_BUTT" "Go to namespace selection " "$T_BUTT" "Go to object type selection" "$C_BUTT" "Go to cluster selection " "$D_BUTT" "Go to node selection" "$P_BUTT" "Go to top node selection" "$W_BUTT" "Watch for a while how it's going" )
Пришлось сделать чтобы преодолеть ограничение диалога в 4 кнопки. Можно конечно было добавить подменю, но для вызова подменю нужна кнопка а с ними напряженка. Подменю не удобно и там тоже было бы максимум 4 кнопки. Сделал так, получилось как-бы встроенное подменю. Все дополнительные кнопки/команды на виду и доступны сразу по горячим кнопкам. Да, если основной список длинный они уезжают за экран, но когда долго работаешь с kui'ем горячки запоминаются быстро, достаточно нажать циферку и нужная команда выбрана. Это очень удобно.
Чаще всего приходится возиться с подиками поэтому список команд для подов самый большой:
Можно посмотреть под в разных форматах json|yaml|wide|name. Посмотреть логи. Относительно недавно добавил возможность смотреть логи сразу во всех контейнерах. Когда у пода несколько контейнеров команда kubectl -n.. logs pod/pod_name ругнется если не указан контейнер:
error: a container name must be specified for pod chi-cluster-dev01-0-0-0, choose one of: [clickhouse clickhouse-bulk]
Но с kui'ем можно сказать Logs all и получить логи сразу всех контейнеров.
Можно удалить под, выполнить в нем команду открыть порт или открыть интерактивную оболочку.
Теперь с помощью подменю Quick selection изменяем тип на deployment:
И видим что деплойментов тут нет О_о
Да, судя по именам подиков это стайтфулсет, нажимаем 3 > enter S > enter
Ага, стайтфулсет, посмотрим что можно с ним делать:
Основная функция тут конечно рестарт, частенько приходится рестартить какой-нибудь стейтфулсет или деплоймент.
Ну и конечно ноды, жмем 5 > enter
Заго.. закордонивание уже описано, еще можно сделать drain, посмотреть статистику топ нод, выбрать все поды ноды и даже топ поды ноды. И все это на кончиках пальцев. Мышь можно не трогать, хотя dialog её поддерживает, элементы меню можно подсвечивать мышью.
Это опенсорс. Есть идеи? Шлите пулреквесты. Нашли ошибку, создайте issue, возможно когда-нибудь исправлю) Кстати вот на днях некто john9x указал на очепятку, поправил, спасибо.
Почему опенсорс? Ну а как иначе, во-первых как я сказал выше философия, во-вторых в проекте используется открытое ПО: didalog, kubectl. В-третьих практически все что я знаю и умею, я подчерпнул из открытых источников, поэтому стараюсь вернуть долг опенсорс сообществу, пишу код, пишу статьи когда есть время. Надеюсь кому-то это будет полезно.
В блоге нашей компании есть статья про kui на английском она немного оутдатед и написана в более строгом стиле. Но если у вас есть англоязычные коллеги и вы считаете что им стоит посмотреть на kui, отправьте им это.
Только OS, только хардкор!)
Творите, выдумывайте, пробуйте!)
