Packer: мультисборка, пост-процессоры и пользовательские плагины / Хабр

Привет, Хабр!

Packer — это open-source инструмент для создания идентичных машинных образов для множества платформ из одного исходного файла конфигурации. Т.е с пакером можно автоматизировать создание образов для Amazon EC2, VMware, Docker и т.д, используя единый процесс сборки.

Рассмотрим его возможности мультисборки, пост-процессоров и пользовательских плагинов.

Установка и конфиг. файл

Довольно интуитивная установка здесь.

Конфигурационный файл Packer в HCL2 организован в блоки, аргументы и выражения, которые вместе описывают, как должен быть создан каждый образ.

Блоки — это основные контейнеры для конфигурации в HCL2. Они имеют тип, который определяет их функцию, и тело, содержащее аргументы или даже другие блоки, есть такие блоки:

source определяет базовый образ и настройки для создания нового образа.
build содержит настройки сборки, включая источники и провайдеры.
variable объявляет переменные для параметризации конфигураций.
locals позволяет определять локальные переменные для удобства.

Аргументы внутри блоков присваивают значения определенным свойствам. Например, в блоке source аргумент ami_name может использоваться для определения имени AMI.

Выражения используются для динамического вычисления значений аргументов. HCL2 поддерживает различные типы выражений, включая использование переменных, арифметические операции и вызов функций.

Пример конфигурационного файла на HCL2 для Packer:

variable "region" {
  type    = string
  default = "us-west-2"
}

source "amazon-ebs" "example" {
  ami_name      = "packer-example-${var.region}"
  instance_type = "t2.micro"
  region        = var.region
  source_ami_filter {
    filters = {
      name                = "ubuntu/images/*ubuntu-xenial-16.04-amd64-server-*"
      root-device-type    = "ebs"
      virtualization-type = "hvm"
    }
    owners      = ["099720109477"]
    most_recent = true
  }
}

build {
  sources = [
    "source.amazon-ebs.example"
  ]
}

Здесь мы объявили переменную region, источник amazon-ebs с именем example, который определяет параметры для создания AMI на базе Ubuntu Xenial 16.04. Затем, в блоке build, указывается, что источником для сборки является source.amazon-ebs.example.

Краткий обзор синтаксиса

Язык HCL основной инструмент для работы в Packer.

HCL включает базовые арифм. функции add, subtract, multiply, и divide:

variable "count" {
  type = number
  default = 5
}

locals {
  count_plus_one = add(var.count, 1)
  count_double = multiply(var.count, 2)
}

format, join, split, и replace позволяют манипулировать текстовыми данными:

locals {
  formatted_string = format("This is a %s", "string")
  joined_string = join(", ", ["Hello", "World"])
  splitted_array = split(", ", "Hello, World")
  replaced_string = replace("Hello, World", "World", "Packer")
}

Для работы с коллекциями можно использовать length, element, sort, и merge:

locals {
  list_example = ["one", "two", "three"]
  list_length = length(local.list_example)
  second_element = element(local.list_example, 1)
  sorted_list = sort(local.list_example)
}

file и templatefile, позволяют включать содержимое файлов непосредственно в конфигурацию:

locals {
  user_data = file("${path.module}/user-data.sh")
  rendered_template = templatefile("${path.module}/config.tpl", { name = "world" })
}

timestamp возвращает текущую метку времени:

locals {
  current_timestamp = timestamp()
}

md5, sha1, и bcrypt позволяют исполнять криптографические операции для создания хешей строк:

locals {
  md5_hash = md5("Hello, World")
}

uuid генерирует уникальный идентификатор, а cidrsubnet и cidrhost используются для работы с сетевыми адресами:

locals {
  unique_id = uuid()
  subnet_address = cidrsubnet("10.0.0.0/16", 8, 0)
}

Мультисборка

Мультисборка осуществляется через определение нескольких источников сборки в конфиг файле Packer. Каждый источник сборки указывает на конкретную платформу и содержит необходимые параметры для создания образа для этой платформы.

В процессе сборки пакер запускает каждый источник сборки параллельно или последовательно, в зависимости от конфигурации, создавая образы для каждой целевой платформы.

Мультисборка для Amazon EC2 и Docker:

source "amazon-ebs" "amazon-linux" {
  ami_name      = "packer-example-{{timestamp}}"
  instance_type = "t2.micro"
  region        = "us-west-2"
  source_ami_filter {
    filters = {
      name                = "amzn2-ami-hvm-*-x86_64-gp2"
      root-device-type    = "ebs"
      virtualization-type = "hvm"
    }
    owners     = ["137112412989"]
    most_recent = true
  }
}

source "docker" "ubuntu" {
  image  = "ubuntu:18.04"
  commit = true
}

build {
  sources = [
    "source.amazon-ebs.amazon-linux",
    "source.docker.ubuntu",
  ]
}

Оба образа создаются параллельно, используя общую конфигурацию сборки.

Мультисборка для VirtualBox и VMware:

source "virtualbox-iso" "windows-10" {
  iso_url      = "http://example.com/windows-10.iso"
  iso_checksum = "abc123"
  // доп. параметры для VirtualBox
}

source "vmware-iso" "windows-10" {
  iso_url      = "http://example.com/windows-10.iso"
  iso_checksum = "abc123"
  // доп. параметры для VMware
}

build {
  sources = [
    "source.virtualbox-iso.windows-10",
    "source.vmware-iso.windows-10",
  ]
}

Используя один и тот же исходный ISO-образ, Packer создает два отдельных образа, каждый из которых оптимизирован для своей платформы виртуализации.

Пост-процессоры

Пост-процессоры в Packer конфигурируются в блоке post-processors и могут быть заданы как одиночные задачи или как цепочки задач. Packer выполнит эти пост-процессоры в указанном порядке после успешного создания всех образов.

Загрузка образа в Amazon S3:

post-processors {
  type = "amazon-s3"
  only = ["amazon-ebs.ubuntu"]
  bucket = "my-packer-images"
  region = "us-west-2"
  key = "packer/{{user `version`}}/{{.BuildName}}.ami"
  acl = "private"
}

Пост-процессор amazon-s3 используется для загрузки созданного образа для Amazon EBS в заданный S3 bucket. Параметры конфигурации указывают целевой bucket, регион, путь и ключ доступа.

Создание Vagrant box:

post-processors {
  type = "vagrant"
  only = ["virtualbox-iso.ubuntu"]
  output = "builds/ubuntu-{{user `version`}}.box"
}

Пост-процессор vagrant преобразует образ, созданный для VirtualBox, в формат Vagrant box, сохраняя его в указанной директории.

Минификация образа Docker:

post-processors {
  type = "docker-tag"
  repository = "user/ubuntu"
  tag = "latest"
}
post-processors {
  type = "docker-push"
  only = ["docker.ubuntu"]
}

Пост-процессоры docker-tag и docker-push юзаются для тегирования и последующей загрузки созданного Docker образа в Docker Hub.

Использование цепочек пост-процессоров:

post-processors {
  sequence {
    post-processors {
      type = "vagrant"
    }
    post-processors {
      type = "vagrant-cloud"
      box_tag = "myusername/mybox"
      access_token = "{{user `vagrant_cloud_token`}}"
    }
  }
}

Каждый пост-процессор имеет свой набор конфигурационных параметров:

type: тип пост-процессора (например, vagrant, amazon-s3).
only: определяет, для каких сборок должен быть применен пост-процессор.
except: исключает определенные сборки из использования пост-процессора.
keep_input_artifact: указывает, следует ли сохранять исходный образ после применения пост-процессора.

Пользовательские плагины

Packer предоставляет утилиту packer-sdc для генерации шаблона кода плагина:

packer-sdc plugin new -name=my-custom-plugin -type=[builder|provisioner|post-processor]

Разработка плагина включает реализацию определенного интерфейса в зависимости от типа плагина. Например, для создания нового провайдера вы должны реализовать интерфейс Builder. Packer использует RPC для взаимодействия с плагинами, но большая часть этой работы абстрагирована, т.е можно сфокуситься на бизнес-logic:

package main

import (
    "github.com/hashicorp/packer-plugin-sdk/packer"
    "github.com/hashicorp/packer-plugin-sdk/plugin"
)

type MyCustomBuilder struct {
    // интерфейс Builder
}

func (b *MyCustomBuilder) Prepare(raws ...interface{}) ([]string, []string, error) {
    // логика подготовки
}

// остальная реализация

func main() {
    server, err := plugin.Server()
    if err != nil {
        panic(err)
    }
    server.RegisterBuilder(new(MyCustomBuilder))
    server.Serve()
}

Можно использовать стандартные инструменты Go для написания модульных тестов.

func TestMyCustomBuilder_Prepare(t *testing.T) {
    // тест метода Prepare вашего плагина
}

После разработки и тестирования плагина его нужно собрать и установить в локал директорию Packer.

go build -o packer-plugin-my-custom-plugin .
mkdir -p ~/.packer.d/plugins
mv packer-plugin-my-custom-plugin ~/.packer.d/plugins/

После установки плагина можно использовать его в своих Packer шаблонах, указав его имя в конфигурации:

{
  "builders": [
    {
      "type": "my-custom-plugin",
      "some_parameter": "value"
    }
  ]
}

my-custom-plugin - это тип плагина, а some_parameter - один из параметров, которые определили в его конфигурации.

Далее можно лить на гит свое сокровище или же оставить у себя на хранение.

С официальными плагинами пакер можно ознакомить здесь. А больше про инфраструктуру вы можете узнать в рамках практических онлайн-курсов от экспертов отрасли.

Packer: мультисборка, пост-процессоры и пользовательские плагины

Установка и конфиг. файл

Краткий обзор синтаксиса

Мультисборка

Пост-процессоры

Пользовательские плагины

Публикации

Информация