Всем привет, меня зовут Иван и я алкоголик системный администратор (OPS).
Я бы хотел рассказать как разворачиваю виртуальные машины на ESXi без vCenter с помощью Terraform.
Довольно часто приходится разворачивать/пересоздавать виртуалки, что бы протестировать то или иное приложение. В силу лени я подумал об автоматизации процесса. Мои поиски привели меня к замечательному продукту компании hashicorp, terraform.
Думаю многие знают что такое Terraform, а кто не знает, это приложение для управления любым облаком, инфраструктурой или службой используя концепцию IasC (Инфраструктура как код).
В качестве среды виртуализации я использую ESXi. Довольно простая, удобная и надёжная.
Предвижу вопрос.
В качестве сервера выступает платформа Intel NUC:
И так, обо всём по порядку.
Пока давайте настроим esxi, а именно откроем VNC порт в настройках файрвола.
По умолчанию, файл защищён от записи. Проводим следующие манипуляции:
дописываем в конец файла следующий блок:
Выходим, сохраняем. Меняем права обратно и перезагружаем сервис:
В данном случае VNC нужен для коннекта к виртуальной машине и указания пути к kickstart файлу.
Актуально до перезагрузки хоста. После же, данную манипуляцию придётся повторить.
Дальше всю работу буду проводить в виртуальной машине на этом же сервере.
Характеристики:
Далее нам потребуется packer, так же продукт компании HashiCorp.
Нужен он, для автоматической сборки «золотого» образа. Который мы будем использовать в будущем.
На шаге packer version может возникнуть ошибка, так как в RedHat-based может находиться пакет с таким же названием.
Для решения можно создать симлинк, либо использовать абсолютный путь /usr/bin/packer.
Теперь нам потребуется ovftool download link. Скачиваем, кладём на сервер и устанавливаем:
Движемся дальше.
На гите я подготовил всё необходимое.
В папку iso нужно положить дистрибутив операционной системы. В моём случае это centos 7.
Так же необходимо отредактировать файл centos-7-base.json:
После всех изменений запускаем сборку:
Если всё настроено и указано верно, то вы увидите картину автоматической инсталляции операционной системы.
Данный процесс у меня занимает 7-8 минут.
После успешного завершения в папке output-packer-centos7-x86_64 будет находится ova файл.
Устанавливаем Terraform:
Так как у Terraform нет провайдера под ESXi, нужно его собрать.
Ставим go:
Далее собираем провайдер:
Мы на финишной прямой. Поехали раскатывать наш образ.
Переходим в папку:
Первым делом, редактируем файл variables.tf. Нужно указать подключение к серверу ESXi.
В файле network_config.cfg содержаться сетевые настройки будущей виртуальной машины. Меняем под свои нужды и запускаем однострочник:
Ну и в файле main.tf меняем путь к ova файлу на свой, если отличается.
Момент истины.
Финиш:
Если всё сделано верно, то через 2-3 минуты будет развёрнута новая виртуальная машина из ранее сделанного образа.
Варианты использования всего этого, ограничиваются только фантазией.
Я всего лишь хотел поделиться наработками и показать основные моменты при работе с данными продуктами.
Благодарю за внимание!
P.S.: буду рад конструктивной критике.
Я бы хотел рассказать как разворачиваю виртуальные машины на ESXi без vCenter с помощью Terraform.
Довольно часто приходится разворачивать/пересоздавать виртуалки, что бы протестировать то или иное приложение. В силу лени я подумал об автоматизации процесса. Мои поиски привели меня к замечательному продукту компании hashicorp, terraform.
Думаю многие знают что такое Terraform, а кто не знает, это приложение для управления любым облаком, инфраструктурой или службой используя концепцию IasC (Инфраструктура как код).
В качестве среды виртуализации я использую ESXi. Довольно простая, удобная и надёжная.
Предвижу вопрос.
Зачем terraform если можно использовать vCenter Server?Можно конечно, но. Во-первых, это дополнительная лицензия, во-вторых, данный продукт очень ресурсоемкий и просто не поместится на моём домашнем сервере, и в-третьих возможность прокачать скиллы.
В качестве сервера выступает платформа Intel NUC:
CPU: 2 CPUs x Intel(R) Core(TM) i3-4010U CPU @ 1.70GHz RAM: 8Gb HDD: 500Gb ESXi version: ESXi-6.5.0-4564106-standard (VMware, Inc.)
И так, обо всём по порядку.
Пока давайте настроим esxi, а именно откроем VNC порт в настройках файрвола.
По умолчанию, файл защищён от записи. Проводим следующие манипуляции:
chmod 644 /etc/vmware/firewall/service.xml chmod +t /etc/vmware/firewall/service.xml vi /etc/vmware/firewall/service.xml
дописываем в конец файла следующий блок:
<service id="1000"> <id>packer-vnc</id> <rule id="0000"> <direction>inbound</direction> <protocol>tcp</protocol> <porttype>dst</porttype> <port> <begin>5900</begin> <end>6000</end> </port> </rule> <enabled>true</enabled> <required>true</required> </service>
Выходим, сохраняем. Меняем права обратно и перезагружаем сервис:
chmod 444 /etc/vmware/firewall/service.xml esxcli network firewall refresh
В данном случае VNC нужен для коннекта к виртуальной машине и указания пути к kickstart файлу.
Актуально до перезагрузки хоста. После же, данную манипуляцию придётся повторить.
Дальше всю работу буду проводить в виртуальной машине на этом же сервере.
Характеристики:
OS: Centos 7 x86_64 minimal RAM: 1GB HDD: 20GB Selinux: disable firewalld: disable
Далее нам потребуется packer, так же продукт компании HashiCorp.
Нужен он, для автоматической сборки «золотого» образа. Который мы будем использовать в будущем.
yum install unzip git -y curl -O https://releases.hashicorp.com/packer/1.5.5/packer_1.5.5_linux_amd64.zip unzip packer_1.5.5_linux_amd64.zip -d /usr/bin && rm -rf packer_1.5.5_linux_amd64.zip packer version Packer v1.5.5
На шаге packer version может возникнуть ошибка, так как в RedHat-based может находиться пакет с таким же названием.
which -a packer /usr/sbin/packer
Для решения можно создать симлинк, либо использовать абсолютный путь /usr/bin/packer.
Теперь нам потребуется ovftool download link. Скачиваем, кладём на сервер и устанавливаем:
chmod +x VMware-ovftool-4.4.0-15722219-lin.x86_64.bundle ./VMware-ovftool-4.4.0-15722219-lin.x86_64.bundle Extracting VMware Installer...done. You must accept the VMware OVF Tool component for Linux End User License Agreement to continue. Press Enter to proceed. VMWARE END USER LICENSE AGREEMENT Do you agree? [yes/no]:yes The product is ready to be installed. Press Enter to begin installation or Ctrl-C to cancel. Installing VMware OVF Tool component for Linux 4.4.0 Configuring... [######################################################################] 100% Installation was successful.
Движемся дальше.
На гите я подготовил всё необходимое.
git clone https://github.com/letnab/create-and-deploy-esxi.git && cd create-and-deploy-esxi
В папку iso нужно положить дистрибутив операционной системы. В моём случае это centos 7.
Так же необходимо отредактировать файл centos-7-base.json:
variables: указать свои данные для подключения iso_urls: указать актуальный iso_checksum: чексумма вашего образа
После всех изменений запускаем сборку:
/usr/bin/packer build centos-7-base.json
Если всё настроено и указано верно, то вы увидите картину автоматической инсталляции операционной системы.
packer-centos7-x86_64 output will be in this color. ==> packer-centos7-x86_64: Retrieving ISO packer-centos7-x86_64: Using file in-place: file:///root/create-and-deploy-esxi/iso/CentOS-7-x86_64-Minimal-1908.iso ==> packer-centos7-x86_64: Remote cache was verified skipping remote upload... ==> packer-centos7-x86_64: Creating required virtual machine disks ==> packer-centos7-x86_64: Building and writing VMX file ==> packer-centos7-x86_64: Starting HTTP server on port 8494 ==> packer-centos7-x86_64: Registering remote VM... ==> packer-centos7-x86_64: Starting virtual machine... packer-centos7-x86_64: The VM will be run headless, without a GUI. If you want to packer-centos7-x86_64: view the screen of the VM, connect via VNC with the password "" to packer-centos7-x86_64: vnc://10.10.10.10:5900 ==> packer-centos7-x86_64: Waiting 7s for boot... ==> packer-centos7-x86_64: Connecting to VM via VNC (10.10.10.10:5900) ==> packer-centos7-x86_64: Typing the boot command over VNC... ==> packer-centos7-x86_64: Waiting for SSH to become available...
Данный процесс у меня занимает 7-8 минут.
После успешного завершения в папке output-packer-centos7-x86_64 будет находится ova файл.
Устанавливаем Terraform:
curl -O https://releases.hashicorp.com/terraform/0.12.24/terraform_0.12.24_linux_amd64.zip unzip terraform_0.12.24_linux_amd64.zip -d /usr/bin/ && rm -rf terraform_0.12.24_linux_amd64.zip terraform version Terraform v0.12.24
Так как у Terraform нет провайдера под ESXi, нужно его собрать.
Ставим go:
cd /tmp curl -O https://dl.google.com/go/go1.14.2.linux-amd64.tar.gz tar -C /usr/local -xzf go1.14.2.linux-amd64.tar.gz && rm -rf go1.14.2.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin go version go version go1.14.2 linux/amd64
Далее собираем провайдер:
go get -u -v golang.org/x/crypto/ssh go get -u -v github.com/hashicorp/terraform go get -u -v github.com/josenk/terraform-provider-esxi export GOPATH="$HOME/go" cd $GOPATH/src/github.com/josenk/terraform-provider-esxi CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -ldflags '-w -extldflags "-static"' -o terraform-provider-esxi_`cat version` cp terraform-provider-esxi_`cat version` /usr/bin
Мы на финишной прямой. Поехали раскатывать наш образ.
Переходим в папку:
cd /root/create-and-deploy-esxi/centos7
Первым делом, редактируем файл variables.tf. Нужно указать подключение к серверу ESXi.
В файле network_config.cfg содержаться сетевые настройки будущей виртуальной машины. Меняем под свои нужды и запускаем однострочник:
sed -i -e '2d' -e '3i "network": "'$(gzip < network_config.cfg| base64 | tr -d '\n')'",' metadata.json
Ну и в файле main.tf меняем путь к ova файлу на свой, если отличается.
Момент истины.
terraform init Initializing the backend... Initializing provider plugins... The following providers do not have any version constraints in configuration, so the latest version was installed. To prevent automatic upgrades to new major versions that may contain breaking changes, it is recommended to add version = "..." constraints to the corresponding provider blocks in configuration, with the constraint strings suggested below. * provider.esxi: version = "~> 1.6" * provider.template: version = "~> 2.1" Terraform has been successfully initialized! You may now begin working with Terraform. Try running "terraform plan" to see any changes that are required for your infrastructure. All Terraform commands should now work. If you ever set or change modules or backend configuration for Terraform, rerun this command to reinitialize your working directory. If you forget, other commands will detect it and remind you to do so if necessary.
terraform plan Refreshing Terraform state in-memory prior to plan... The refreshed state will be used to calculate this plan, but will not be persisted to local or remote state storage. data.template_file.Default: Refreshing state... data.template_file.network_config: Refreshing state... ------------------------------------------------------------------------ An execution plan has been generated and is shown below. Resource actions are indicated with the following symbols: + create Terraform will perform the following actions: # esxi_guest.Default will be created + resource "esxi_guest" "Default" { + boot_disk_size = (known after apply) + disk_store = "datastore1" + guest_name = "centos7-test" + guest_shutdown_timeout = (known after apply) + guest_startup_timeout = (known after apply) + guestinfo = { + "metadata" = "base64text" + "metadata.encoding" = "gzip+base64" + "userdata" = "base64text" + "userdata.encoding" = "gzip+base64" } + guestos = (known after apply) + id = (known after apply) + ip_address = (known after apply) + memsize = "1024" + notes = (known after apply) + numvcpus = (known after apply) + ovf_properties_timer = (known after apply) + ovf_source = "/root/create-and-deploy-esxi/output-packer-centos7-x86_64/packer-centos7-x86_64.ova" + power = "on" + resource_pool_name = (known after apply) + virthwver = (known after apply) + network_interfaces { + mac_address = (known after apply) + nic_type = (known after apply) + virtual_network = "VM Network" } } Plan: 1 to add, 0 to change, 0 to destroy. ------------------------------------------------------------------------ Note: You didn't specify an "-out" parameter to save this plan, so Terraform can't guarantee that exactly these actions will be performed if "terraform apply" is subsequently run.
Финиш:
terraform apply
Если всё сделано верно, то через 2-3 минуты будет развёрнута новая виртуальная машина из ранее сделанного образа.
Варианты использования всего этого, ограничиваются только фантазией.
Я всего лишь хотел поделиться наработками и показать основные моменты при работе с данными продуктами.
Благодарю за внимание!
P.S.: буду рад конструктивной критике.
