Распутываясь из циклов Ansible

Написать данный опус навеяла статья на Хабре Распутывая Ansible Loops. Вообще с циклами у ansible на мой взгляд не задалось. Никаких тебе конструкций вида for и while. Официальная документация довольно-таки развернутая, но немного в ней не хватает элементарных примеров. Их и постараюсь привести.

Перебираем списки

Cписок наверное самое простое и частоиспользуемое что можно перебрать в ansible. Перебирать элементы списка можно с использованием loop и Jinja фильтров:

- name: print list, reversed list and sorted list
  debug:
    msg: "List is {{ list_row }} \nReverse list is {{ list_row|reverse }} \nSorted list is {{ list_row|sort }}"

name: print item of sorted and reversesd list
debug:
msg: "{{ item }}"
loop: "{{ list_row|sort|reverse }}"

TASK [print list, reversed list and sorted list]
MSG:
List is ['row51', 'row2', 'row13', 'row4']
Reverse list is ['row4', 'row13', 'row2', 'row51']
Sorted list is ['row13', 'row2', 'row4', 'row51']
TASK [print item of sorted and reversesd list]
MSG:
row51
MSG:
row4
MSG:
row2
MSG:
row13

Перебираем таблицы

Теперь разберемся с простыми циклами по таблице. Ограничения python понятны - это не matlab, заточенный под работу с матрицами, и каждая таблица-матрица-тензор удобнее всего представляется списком из списков из списков... Пробежимся по строкам, столбцам и элементам - слева направо, сверху вниз и изменив порядок.

vars:
  table:
    - ['a', 'b', 'c']
    - ['d', 'e', 'f']
    - ['g', 'h', 'i']

- name: print rows
  debug:
    msg: "{{ item }}"
  loop: "{{ table|list }}"
- name: print column
  debug:
    msg: "{{ item }}"
  loop: "{{ table[0]|zip(*table[1:])|list }}"
- name: print elements left2rigth up2down
  debug:
    msg: "{{ item }}"
  loop: "{{ table|list|flatten(levels=1) }}"
- name: print elements up2down left2rigth
  debug:
    msg: "{{ item }}"
  loop: "{{ table[0]|zip(*table[1:])|list|flatten(levels=1) }}"

Результат

TASK [print rows] *
MSG:
['a', 'b', 'c']
MSG:
['d', 'e', 'f']
MSG:
['g', 'h', 'i']
TASK [print column] *
MSG:
['a', 'd', 'g']
MSG:
['b', 'e', 'h']
MSG:
['c', 'f', 'i']
TASK [print elements left2rigth up2down]
MSG:
a
MSG:
b
MSG:
c
MSG:
d
MSG:
e
MSG:
f
MSG:
g
MSG:
h
MSG:
i
TASK [print elements up2down left2rigth]
MSG:
a
MSG:
d
MSG:
g
MSG:
b
MSG:
e
MSG:
h
MSG:
c
MSG:
f
MSG:
i

Перебираем строки

Почему строки после списков? Да потому что строка в ansible неитерируема из коробки и надо сделать приседание чтобы получить хорошо знакомый нам список.

- debug: var=test_string
- name: Iterate to symvol
  debug:
    msg: "{{ item }}"
  loop: "{{ test_string|list }}"
- name: Iterate to word
  debug:
    msg: "{{ item }}"
  loop: "{{ test_string.split(' ') }}"
TASK [debug]
ok: => {
    "test_string": "hello World!"
}
TASK [Iterate to symvol]
MSG:
h
MSG:
e
MSG:
l
MSG:
l
MSG:
o
MSG:
MSG:
W
MSG:
o
MSG:
r
MSG:
l
MSG:
d
SG:
!
TASK [Iterate to word]
MSG:
hello
MSG:
World!

Перебираем словари

Словари как и списки можно перебрать, сославшись на каждое значение словаря, сортировав словарь, или извлекая из словаря значение key и соответствующее value. Стоит обратить внимание что фильтр dictsort преобразует словарь в список и сортрует его по значению ключей.

vars:
  dict_pass:
    broker : ['pass_11', 'pass_12']
    root : ['pass_21', 'pass_22']
    client : ['pass_31', 'pass_32']

- name: print dict items
  debug:
    msg: "{{ item }}"
  loop: "{{ dict_pass|dict2items }}"
- name: print sorted dict items
  debug:
    msg: "{{ item }}"
  loop: "{{ dict_pass|dictsort }}"
- name: print dict items
  debug:
    msg: "{{ item.key }} and {{ item.value.0 }} and {{ item.value.1 }}"
  loop: "{{ dict_pass|dict2items }}"

результат

TASK [print dict items] *
MSG:
{'key': 'broker', 'value': ['pass_11', 'pass_12']}
MSG:
{'key': 'root', 'value': ['pass_21', 'pass_22']}
MSG:
{'key': 'client', 'value': ['pass_31', 'pass_32']}
TASK [print sorted dict items]
MSG:
['broker', ['pass_11', 'pass_12']]
MSG:
['client', ['pass_31', 'pass_32']]
MSG:
['root', ['pass_21', 'pass_22']]
TASK [print dict items] *
MSG:
broker and pass_11 and pass_12
MSG:
root and pass_21 and pass_22
MSG:
client and pass_31 and pass_32

Перебираем группы

Наш инвентарь будет выглядеть так (не судите строго).

[all]
[all:children]
test
cluster
kafka
[kafka]
kafka-1.my.domain
kafka-2.my.domain
[test]
nginx-1.my.domain
nginx-2.my.domain
kafka-5.my.domain
kafka-3.my.domain
[cluster]
[cluster:children]
postgres
etcd
[postgres]
postgres-1.my.domain
postgres-2.my.domain
postgres-3.my.domain
[etcd_nodes]
etcd-1.my.domain
etcd-2.my.domain
etcd-3.my.domain
[all:vars]
ansible_ssh_port='7722'
ansible_user='ansible-allsudo'
ansible_password='Ansible_pa$$word'

Попробуем вывести значение groups.

- name: print groups
  debug: var=groups
TASK [print groups]
"all": [
"kafka-1.my.domain",
"kafka-2.my.domain",
"nginx-1.my.domain",
"nginx-2.my.domain",
"kafka-5.my.domain",
"kafka-3.my.domain",
"postgres-1.my.domain",
"postgres-2.my.domain",
"postgres-3.my.domain"
],
"cluster": [
"postgres-1.my.domain",
"postgres-2.my.domain",
"postgres-3.my.domain"
],
"etcd_nodes": [
"etcd-1.my.domain",
"etcd-2.my.domain",
"etcd-3.my.domain"
],
"kafka": [
"kafka-1.my.domain",
"kafka-2.my.domain"
],
"postgres": [
"postgres-1.my.domain",
"postgres-2.my.domain",
"postgres-3.my.domain"
],
"test": [
"nginx-1.my.domain",
"nginx-2.my.domain",
"kafka-5.my.domain",
"kafka-3.my.domain"
],
"ungrouped": []
}
}

Итак, имеем:

groups - словарь, элементами которого являются списки. Проверяем:

- name: print groups as dict
  debug:
    msg: "{{ item }}"
  loop: "{{ groups|dict2items }}"
TASK [print groups]
MSG:
{'key': 'all', 'value': ['kafka-1.my.domain', 'kafka-2.my.domain', 'nginx-1.my.domain', 'nginx-2.my.domain', 'kafka-5.my.domain', 'kafka-3.my.domain', 'postgres-1.my.domain', 'postgres-2.my.domain', 'postgres-3.my.domain']}
MSG:
{'key': 'ungrouped', 'value': []}
MSG:
{'key': 'kafka', 'value': ['kafka-1.my.domain', 'kafka-2.my.domain']}
MSG:
{'key': 'test', 'value': ['nginx-1.my.domain', 'nginx-2.my.domain', 'kafka-5.my.domain', 'kafka-3.my.domain']}
MSG:
{'key': 'cluster', 'value': ['postgres-1.my.domain', 'postgres-2.my.domain', 'postgres-3.my.domain']}
MSG:
{'key': 'postgres', 'value': ['postgres-1.my.domain', 'postgres-2.my.domain', 'postgres-3.my.domain']}
MSG:
{'key': 'etcd_nodes', 'value': ['etcd-1.my.domain', 'etcd-2.my.domain', 'etcd-3.my.domain']}

Значит и обращаться с groups надо соответствующим образом - также как и со словарем.

Еще один способ итерироваться по хостам - использовать магическую переменную ansible_play_hosts.

- name: Create virtual group
  add_host:
    name: "{{ item|regex_replace('[.].*','')}}"
    groups:
      - firstnodes
    ansible_host: "{{ item }}"
  when: item | regex_search('.*1')
  loop: "{{ ansible_play_hosts }}"
  register: result

debug:
var: groups.firstnodes
when: result.results[0].changed
run_once: true

TASK [Create virtual group]
omain)
main)
kipping: => (item=kafka-5.my.domain)
skipping: => (item=kafka-3.my.domain)
omain)
kipping: => (item=postgres-3.my.domain)
TASK [debug]
ok: => {
"groups.firstnodes": [
"kafka-1",
"nginx-1",
"postgres-1"
]
}

Стоит обратить внимание на то что первая таска с модулем add_host обрабатывается лишь однажды, несмотря на то что нет run_once: true. А groups.firstnodes является списком.

Ну и посмотрим что внутри вновь созданной группы firstnodes:

- hosts: firstnodes
  gather_facts: false
  tasks:
  - debug:
      msg: "{{ inventory_hostname }} and {{ ansible_host }}"
PLAY [firstnodes]
TASK [debug]
ok: [kafka-1] => {}
MSG:
kafka-1 and kafka-1.my.domain
ok: [nginx-1] => {}
MSG:
nginx-1 and nginx-1.my.domain
ok: [postgres-1] => {}
MSG:
postgres-1 and postgres-1.my.domain

Вложенные циклы

Наконец-то подошли к самому интересному - использованию циклов в циклах. Есть возможность в цикле вызывать playbook и передавать туда переменные. То есть, внешним циклом осуществляем перебор хостов, внутренним - итерируем переменные.

---
- hosts: all
  vars:
    list_path_to_cfg_rgx: ....
  tasks:
  - name: regexp_change
    include: regexp_change.yml
    loop: "{{ list_path_to_cfg_rgx|flatten(levels=1) }}"
    loop_control:
      loop_var: path_to_cfg_rgx
    when: list_path_to_cfg_rgx is defined

Но бывают случаи когда ходить с хоста на хост не хочется, а сформировать переменные для шаблона надо. Тут для совместного использования переменных документация предлагает использовать нам Jinja2 фильтр product. Фильтр product возвращает декартово произведение входных списков. Это примерно эквивалентно вложенным циклам for. Попробуем воспроизвести. Будем перебирать инвентарь совместно с другими переменными. Помним о том, что на вход необходимо передавать списки.

- name: Add hosts
  vars:
    group_patterns:
      - groups:
        - second2group
        regex: ".*2.*"
      - groups:
        - nginx
        regex: "^nginx.*"
  add_host:
    hostname: "{{ item.0 }}"
    ansible_host: "{{ item.0 }}"
    groups: "{{ item.1['groups'] }}"
  when: item.0 | regex_search(item.1['regex'])
  loop: "{{ ansible_play_hosts | product(group_patterns) }}"

debug:
msg: "{{ item.key }} contain {{ item.value }}"
loop: "{{ groups|dict2items }}"
when: item.key == 'second2group' or item.key == 'nginx'
run_once: true

TASK [debug]
skipping: => (item={'key': 'all', 'value': ['kafka-1.my.domain', 'kafka-2.my.domain', 'nginx-1.my.domain', 'nginx-2.my.domain', 'kafka-5.your.domain', 'kafka-3.your.domain', 'etcd-1.my.domain', 'etcd-2.my.domain', 'etcd-3.my.domain', 'postgres-2.my.domain', 'postgres-1.my.domain', 'postgres-3.my.domain']})
skipping: => (item={'key': 'ungrouped', 'value': []})
skipping: => (item={'key': 'kafka', 'value': ['kafka-1.my.domain', 'kafka-2.my.domain']})
skipping: => (item={'key': 'test', 'value': ['nginx-1.my.domain', 'nginx-2.my.domain', 'kafka-5.your.domain', 'kafka-3.your.domain']})
skipping: => (item={'key': 'cluster', 'value': ['postgres-1.my.domain', 'postgres-2.my.domain', 'postgres-3.my.domain']})
skipping: => (item={'key': 'postgres', 'value': ['postgres-1.my.domain', 'postgres-2.my.domain', 'postgres-3.my.domain']})
skipping: => (item={'key': 'etcd_nodes', 'value': ['etcd-1.my.domain', 'etcd-2.my.domain', 'etcd-3.my.domain']})
skipping: => (item={'key': 'kafka2', 'value': ['kafka-1.my.domain', 'kafka-2.my.domain', 'kafka-5.your.domain', 'kafka-3.your.domain']})
ok: => (item={'key': 'second2group', 'value': ['kafka-2.my.domain', 'nginx-2.my.domain', 'postgres-2.my.domain']}) => {}
MSG:
second2group contain ['kafka-2.my.domain', 'nginx-2.my.domain', 'postgres-2.my.domain']
ok: => (item={'key': 'nginx', 'value': ['nginx-1.my.domain', 'nginx-2.my.domain']}) => {}
MSG:
nginx contain ['nginx-1.my.domain', 'nginx-2.my.domain']

И напоследок хотелось сказать что все вышесказанное является мнением автора и может не совпадать с мнением редакции.