Как траблшутить отечественный IPsec VPN. Часть 1

Ситуация

Выходной. Пью кофе. Студент настроил VPN соединение между двумя точками и исчез. Проверяю: туннель действительно есть, но трафика в туннеле нет. На звонки студент не отвечает.

Ставлю чайник и погружаюсь в траблшутинг С-Терра Шлюз. Делюсь своим опытом и методологией.

Исходные данные

Две территориально разделенные площадки связаны GRE туннелем. GRE нужно зашифровать:



Проверяю работоспособность GRE туннеля. Для этого запускаю ping с устройства R1 до GRE интерфейса устройства R2. Это целевой трафик для шифрования. Ответа нет:

root@R1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.

--- 1.1.1.2 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3057ms

Смотрю логи на Gate1 и Gate2. Лог радостно сообщает, что IPsec туннель успешно поднялся, никаких проблем:

root@Gate1:~# cat /var/log/cspvpngate.log
Aug  5 16:14:23 localhost  vpnsvc: 00100119 <4:1> IPSec connection 5 established, traffic selector 172.17.0.1->172.16.0.1, proto 47, peer 10.10.10.251, id "10.10.10.251", Filter 
IPsec:Protect:CMAP:1:LIST, IPsecAction IPsecAction:CMAP:1, IKERule IKERule:CMAP:1

В статистике IPsec туннеля на Gate1 вижу, что туннель действительно есть, но счетчик Rсvd обнулен:

root@Gate1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded

ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1070 1014

IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 3 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 480 0

Я траблшучу С-Терру так: ищу, где теряются целевые пакеты на пути от R1 до R2. В процессе (спойлер) найду ошибку.

Траблшутинг

Шаг 1. Что получает Gate1 от R1

Использую встроенный пакетный сниффер – tcpdump. Запускаю сниффер на внутреннем (Gi0/1 в нотации Cisco-like или eth1 в нотации ОС Debian) интерфейсе:

root@Gate1:~# tcpdump -i eth1

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth1, link-type EN10MB (Ethernet), capture size 262144 bytes
14:53:38.879525 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 1, length 64
14:53:39.896869 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 2, length 64
14:53:40.921121 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 3, length 64
14:53:41.944958 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 4, length 64

Вижу, что Gate1 получает от R1 GRE пакеты. Двигаюсь далее.

Шаг 2. Что Gate1 делает с GRE пакетами

Утилитой klogview смотрю, что происходит с GRE пакетами внутри VPN драйвера С-Терра:

root@Gate1:~# klogview -f 0xffffffff

filtration result for out packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 4 "IPsecPolicy:CMAP", filter 8, event id IPsec:Protect:CMAP:1:LIST, status PASS
encapsulating with SA 31: 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0
passed out packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: encapsulated

Вижу, что целевой GRE трафик (proto 47) 172.16.0.1 -> 172.17.0.1 попал (PASS) под правило шифрования LIST в криптокарте CMAP и зашифровался (encapsulated). Далее пакет смаршрутизировался (passed out). Ответного трафика в выводе klogview нет.

Проверяю списки доступа на устройстве Gate1. Вижу один список доступа LIST, который определяет целевой трафик для шифрования, значит правил МЭ не настроено:

Gate1#show access-lists
Extended IP access list LIST
    10 permit gre host 172.16.0.1 host 172.17.0.1

Вывод: проблема не на устройстве Gate1.

Дополнительно о klogview

VPN драйвер обрабатывает весь сетевой трафик, не только тот, который должен шифроваться. Вот такие сообщение видны в klogview, если VPN драйвер обработал сетевой трафик и передал его в незашифрованном виде:

root@R1:~# ping 172.17.0.1 -c 4

root@Gate1:~# klogview -f 0xffffffff

filtration result for out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: chain 4 "IPsecPolicy:CMAP": no match
passed out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: filtered

Вижу, что ICMP трафик (proto 1) 172.16.0.1->172.17.0.1 не попал (no match) в правила шифрования криптокарты CMAP. Пакет смаршрутизировался (passed out) в открытом виде.

Шаг 3. Что получает Gate2 от Gate1

Запускаю сниффер на WAN (eth0) интерфейсе Gate2:

root@Gate2:~# tcpdump -i eth0
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
16:05:45.104195 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x1), length 140
16:05:46.093918 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x2), length 140
16:05:47.117078 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x3), length 140
16:05:48.141785 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x4), length 140

Вижу, что Gate2 получает ESP пакеты от Gate1.

Шаг 4. Что Gate2 делает с ESP пакетами

Запускаю утилиту klogview на Gate2:

root@Gate2:~# klogview -f 0xffffffff
filtration result for in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: chain 17 "FilterChain:L3VPN", filter 21, status DROP
dropped in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: firewall

Вижу, что ESP пакеты (proto 50) были дропнуты (DROP), правилом (L3VPN) межсетевого экрана (firewall). Убеждаюсь, что к Gi0/0 действительно привязан список доступа L3VPN:

Gate2#show ip interface gi0/0
GigabitEthernet0/0 is up, line protocol is up
  Internet address is 10.10.10.252/24
  MTU is 1500 bytes
  Outgoing access list is not set
  Inbound  access list is L3VPN

Проблему обнаружил.

Шаг 5. Что не так со списком доступа

Смотрю, что из себя представляет список доступа L3VPN:

Gate2#show access-list L3VPN
Extended IP access list L3VPN
    10 permit udp host 10.10.10.251 any eq isakmp
    20 permit udp host 10.10.10.251 any eq non500-isakmp
    30 permit icmp host 10.10.10.251 any

Вижу, что разрешены ISAKMP пакеты, поэтому устанавливается IPsec туннель. А вот разрешающего правила для ESP нет. Видимо, студент перепутал icmp и esp.

Правлю список доступа:

Gate2(config)#
ip access-list extended L3VPN
no 30
30 permit esp host 10.10.10.251 any

Шаг 6. Проверяю работоспособность

Первым делом убеждаюсь, что список доступа L3VPN верный:

Gate2#show access-list L3VPN
Extended IP access list L3VPN
    10 permit udp host 10.10.10.251 any eq isakmp
    20 permit udp host 10.10.10.251 any eq non500-isakmp
    30 permit esp host 10.10.10.251 any

Теперь с устройства R1 запускаю целевой трафик:

root@R1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=35.3 ms
64 bytes from 1.1.1.2: icmp_seq=2 ttl=64 time=3.01 ms
64 bytes from 1.1.1.2: icmp_seq=3 ttl=64 time=2.65 ms
64 bytes from 1.1.1.2: icmp_seq=4 ttl=64 time=2.87 ms

--- 1.1.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 2.650/10.970/35.338/14.069 ms

Победа. GRE туннель установился. Счетчик входящего трафика в статистике IPsec не нулевой:

root@Gate1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded

ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1474 1350

IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 4 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 1920 480

На шлюзе Gate2 в выводе klogview появились сообщения, что целевой трафик 172.16.0.1->172.17.0.1 успешно (PASS) расшифрован (decapsulated) правилом LIST в криптокарте CMAP:

root@Gate2:~# klogview -f 0xffffffff
filtration result for in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 18 "IPsecPolicy:CMAP", filter 25, event id IPsec:Protect:CMAP:1:LIST, status PASS
passed in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: decapsulated

Итоги

Студент подпортил выходной.
Аккуратнее с правилами МЭ.

Анонимный инженер
t.me/anonimous_engineer