MPLS и VPLS на Mikrotik

С одной стороны, желание несколько странное — организация «серьезного» MPLS/VPLS на дешевом железе типа Mikrotik. С другой стороны — за 70 баксов (1500-2000р) за младшую модель RB/750(GL) мы получаем PE/CE-устройство, умеющее (помимо прочего) L2VPN/L3VPN поверх MPLS-среды и способное прокачать через себя порядка 70 мегабит дуплекса (на больших пакетах).
Mikrotik RouterOS умеет как MPLS (L3VPN, Traffic Engeneering), так и L2VPN (l2circuit aka VPWS, VPLS), что покрывает практически все возможные задачи (учитывая производительность железа, разумеется).

Интересно? Прошу под кат!

Для начала, немного теории.

MPLS (multiprotocol label switching) — механизм маршрутизации на основе меток. Каждому пакету, проходящему через MPLS-сеть, независимо от типа этого пакета, назначается определенная метка, на основе которой принимается решение о маршрутизации. Важно отметить, что содержимое при этом не изучается, т.е. внутри MPLS можно гонять абсолютно любой L2/L3 трафик (STP, BPDU и т.д., вплоть до SDH и ATM) без какого-либо влияния на транспортную сеть (флуд, вланы с большим количеством мак-адресов, петли и прочие «радости» становятся вам, как транспорту, глубоко фиолетовы).

Ключевым понятием в MPLS является LSP (Label Switched Path) — путь прохождения пакета, который устанавливается на основе протоколов LDP, RSVP-TE, BGP или CR-LDP. В данной статье я не буду распространяться, по каким критериям устанавливается LSP, а из протоколов остановлюсь на LDP. Литературы по MPLS в сети достаточно, чтобы интересующийся читатель почерпнул для себя много нового, целью же данной статьи является демонстрация вполне конкретных возможностей RouterOS.

Роутер в MPLS-сети может выполнять одну из трех функций:

1. CE-роутер (Client-edge) — не является членом MPLS-сети, и вообще ничего про нее не знает, это просто клиентское устройство, которое имеет L2/L3 связность с роутером провайдера.
2. PE-роутер (Provider-edge) — пограничный MPLS маршрутизатор. Является шлюзом для клиента и пересылает его трафик в MPLS-сеть провайдера. Другое название — LER — label edge router.
3. P-роутер (provider router) — MPLS маршрутизатор, который прозрачно пропускает MPLS-траффик, не занимаясь анализом его содержимого. Другое название — LSR (label-switch router).

VPWS (l2circuit) — канал точка-точка (он же pseudo-wire).
VPLS — многоточечный канал, для клиента выглядит как виртуальный «тупой» свич, прозрачно пропускающий любые пакеты.

Теперь, когда определились с терминологией, рассмотрим конкретные примеры:

1. Mikrotik — Juniper — Mikrotik L2Circuit
Вариант первый: Mikrotik выступает в качестве PE-роутера, Juniper — в качестве P-роутера.

Схема сети

Все картинки кликабельны

Конфигурация Miktorik в качестве PE-роутера

Поднимаем интерфейсы и ip-адреса:

/interface bridge
add name=loopback
add l2mtu=1526 name=vpn

/ip address
add address=10.0.11.24/24 interface=eth2
add address=172.19.238.33/32 interface=loopback network=172.19.238.33

Настраиваем OSPF, анонсируем сети, через которые видим своих соседей + loopback:

/routing ospf instance
set [ find default=yes ] router-id=172.19.238.33
/routing ospf interface
add interface=eth2
/routing ospf network
add area=backbone network=10.0.11.0/24
add area=backbone network=172.19.238.33/32

Настраиваем LDP, не забываем про mpls-mtu (для успешного прохождения тегированных пакетов и QinQ:

/mpls interface
set [ find default=yes ] mpls-mtu=1526
/mpls ldp
set enabled=yes lsr-id=172.19.238.33 transport-address=172.19.238.33
/mpls ldp interface
add interface=eth2

Наконец, поднимаем L2VPN и заворачиваем туда eth5, где будут жить наши клиенты:

/interface vpls
add advertised-l2mtu=1526 cisco-style=yes cisco-style-id=5 disabled=no l2mtu=1526 \
name=junos-l2circuit remote-peer=172.19.238.34

/interface bridge port
add bridge=vpn interface=eth5
add bridge=vpn interface=junos-l2circuit

Cisco-style определяет параметры id, по которому маршрутизаторы узнают друг друга. l2-mtu определяет максимальный размер кадра, который может пройти без фрагментации.

На втором PE-роутере настройки аналогичные:

/interface bridge
add name=loopback
add l2mtu=1526 name=vpn

/ip address
add address=172.19.238.34/32 interface=loopback network=172.19.238.34
add address=192.168.168.2/24 interface=eth2 network=192.168.168.0

/routing ospf instance
set [ find default=yes ] router-id=172.19.238.34
/routing ospf interface
add interface=eth2
/routing ospf network
add area=backbone network=192.168.168.0/24
add area=backbone network=172.19.238.34/32

/mpls interface
set [ find default=yes ] mpls-mtu=1526
/mpls ldp
set enabled=yes lsr-id=172.19.238.34 transport-address=172.19.238.34
/mpls ldp interface
add interface=eth2

/interface vpls
add advertised-l2mtu=1526 cisco-style=yes cisco-style-id=5 disabled=no l2mtu=1526 \
name=junos-l2circuit remote-peer=172.19.238.33

/interface bridge port
add bridge=vpn interface=eth5
add bridge=vpn interface=junos-l2circuit

Конфигурация Juniper SRX в качестве P-роутера

Настраиваем интерфейсы, IP-адреса:

interfaces {
    fe-0/0/6 {
        description mkt.192.168.168.2--pe;
        mtu 1624;
        unit 0 {
            family inet {
                mtu 1500;
                address 192.168.168.1/24;
            }
            family mpls;
        }
    }
    fe-0/0/7 {
        description mkt.10.0.11.24--pe;
        mtu 1624;
        unit 0 {
            family inet {
                mtu 1500;
                address 10.0.11.23/24;
            }
            family mpls;
        }
    }
    lo0 {
        unit 0 {
            family inet {
                address 172.19.238.35/32;
            }
        }
    }
}

Затем поднимаем OSPF:

protocols {
    ospf {
        area 0.0.0.0 {
            interface fe-0/0/6.0 {
                hello-interval 10;
            }
            interface fe-0/0/7.0 {
                hello-interval 10;
            }
            interface lo0.0 {
                passive;
            }
        }
    }
}

Наконец, настраиваем MPLS:

protocols {
    mpls {
        interface all;
    }
    ldp {
        egress-policy CONNECTED-ONLY;
        transport-address 172.19.238.35;
        interface fe-0/0/6.0;
        interface fe-0/0/7.0;
        interface lo0.0;
    }
policy-options {
    prefix-list LOOPBACK-PREFIX {
        172.19.238.35/32;
    }
    policy-statement CONNECTED-ONLY {
        from {
            prefix-list LOOPBACK-PREFIX;
        }
        then accept;
    }
}
security {
    forwarding-options {
        family {
            mpls {
                mode packet-based;
            }
        }
    }
}

В данном случае SRX, как P-роутер, не устанавливает сам никаких MPLS-коннектов, а только лишь пропускает LDP-пакеты.


2. Juniper — Mikrotik — Mikrotik L2Circuit
Другой вариант — теперь Juniper SRX у нас выступает как PE-роутер, а Mikrotik — как P-роутер.

Схема сети

Конфигурация Juniper SRX в качестве PE-роутера

Конфигурация интерфейсов

interfaces {
    fe-0/0/5 {
        description vpws2--pe;
        vlan-tagging;
        mtu 1624;
        encapsulation vlan-ccc;
        unit 0 {
            encapsulation vlan-ccc;
            vlan-id 1806;
        }
    }
    fe-0/0/7 {
        description mkt.10.0.11.24--p;
        mtu 1624;
        unit 0 {
            family inet {
                mtu 1500;
                address 10.0.11.23/24;
            }
            family mpls {
                mtu 1526;
            }
        }
    }
    lo0 {
        unit 0 {
            family inet {
                address 172.19.238.35/32;
            }
        }
    }
}

Из особенностей стоит отметить encapsulation vlan-ccc; который говорит нам, что этот порт заворачивается в кросс-коннект. mpls-mtu должен совпадать с таковым у другого PE-устройства.

Настройка маршрутизации

routing-options {
    static {
        route 0.0.0.0/0 {
            next-hop 172.19.238.1;
            no-readvertise;
            preference 200;
        }
    }
}
protocols {
    mpls {
        interface all;
    }
    ospf {
        area 0.0.0.0 {
            interface fe-0/0/7.0 {
                hello-interval 10;
            }
            interface lo0.0 {
                passive;
            }
        }
    }
    ldp {
        egress-policy CONNECTED-ONLY;
        transport-address 172.19.238.35;
        interface all;
    }
    l2circuit {
        neighbor 172.19.238.34 {
            interface fe-0/0/5.0 {
                virtual-circuit-id 5;
                mtu 1526;
            }
        }
    }
}

Здесь мы строим l2circuit, указываем id и mpls-mtu.

Конфигурация Mikrotik в качестве P-роутера

/interface bridge
add name=loopback

/ip address
add address=10.0.11.24/24 interface=eth3
add address=172.19.238.33/32 interface=loopback network=172.19.238.33
add address=192.168.168.1/24 interface=eth2


/routing ospf instance
set [ find default=yes ] router-id=172.19.238.33

/routing ospf interface
add interface=eth2
add interface=eth3

/routing ospf network
add area=backbone network=10.0.11.0/24
add area=backbone network=172.19.238.33/32
add area=backbone network=192.168.168.0/24


/mpls interface
set [ find default=yes ] mpls-mtu=1526

/mpls ldp
set enabled=yes lsr-id=172.19.238.33 transport-address=172.19.238.33

/mpls ldp interface
add interface=eth2
add interface=eth3

Тут все абсолютно стандартно, vpls-интерфейсы создавать не нужно.


3. Juniper — Mikrotik VPLS
Третий вариант — настройка не L2circuit (он же — CrossConnect Circuit в реализации Juniper), а полноценного многоточечного VPLS.

Конфигурация Mikrotik в качестве P-роутера

/interface bridge
add name=loopback

/ip address
add address=10.0.11.24/24 interface=eth3
add address=10.0.12.24/24 interface=eth5
add address=172.19.238.33/32 interface=loopback network=172.19.238.33
add address=192.168.168.1/24 interface=eth2
add address=192.168.88.1/24 interface=eth4


/routing ospf instance
set [ find default=yes ] router-id=172.19.238.33

/routing ospf interface
add interface=eth2
add interface=eth3
add interface=eth4
add interface=eth5

/routing ospf network
add area=backbone network=10.0.11.0/24
add area=backbone network=10.0.12.0/24
add area=backbone network=172.19.238.33/32
add area=backbone network=192.168.168.0/24
add area=backbone network=192.168.88.0/24


/mpls interface
set [ find default=yes ] mpls-mtu=1526

/mpls ldp
set enabled=yes lsr-id=172.19.238.33 transport-address=172.19.238.33

/mpls ldp interface
add interface=eth2
add interface=eth3
add interface=eth4
add interface=eth5

Конфигурация Miktorik в качестве PE-роутера

/interface bridge
add name=loopback
add l2mtu=1526 name=vpn

/ip address
add address=172.19.238.34/32 interface=loopback network=172.19.238.34
add address=192.168.168.2/24 interface=eth2 network=192.168.168.0

/routing ospf instance
set [ find default=yes ] router-id=172.19.238.34
/routing ospf interface
add interface=eth2
/routing ospf network
add area=backbone network=192.168.168.0/24
add area=backbone network=172.19.238.34/32

/mpls interface
set [ find default=yes ] mpls-mtu=1526
/mpls ldp
set enabled=yes lsr-id=172.19.238.34 transport-address=172.19.238.34
/mpls ldp interface
add interface=eth2

/interface vpls
add advertised-l2mtu=1526 cisco-style=yes cisco-style-id=5 disabled=no l2mtu=1526 \
name=junos-l2circuit remote-peer=172.19.238.33

/interface bridge port
add bridge=vpn interface=eth5 
add bridge=vpn interface=junos-l2circuit horizon=1

Аналогично настройке для l2circuit, но есть пара нюансов:
1. Каналы в одном VPLS-домене должны иметь один vpls-id.
2. Связность должна быть full-mesh (каждый с каждым) для обеспечения наибольшей надежности. Впрочем, это условие не является обязательным.
3. Для избавления от возможности петли нужно использовать следующую опцию:

/interface bridge port set 0 horizon=1

Конфигурация Juniper SRX в качестве PE-роутера

Настройка интерфейсов

interfaces {
    fe-0/0/5 {
        description vpws2--pe;
        mtu 1624;
        encapsulation ethernet-vpls;
        unit 0 {
            family vpls;
        }
    }
    fe-0/0/6 {
        description mkt.192.168.168.2--pe;
        mtu 1624;
        unit 0 {
            family inet {
                mtu 1500;
                address 192.168.168.1/24;
            }
            family mpls;
        }
    }
    lo0 {
        unit 0 {
            family inet {
                address 172.19.238.35/32;
            }
        }
    }
}

Если для кросс-коннекта мы указывали encapsulation vlan-ccc, то для VPLS нам нужно encapsulation ethernet-vpls и указать family vpls в настройках юнита.

Настройка маршрутизации

protocols {
    mpls {
        interface all;
    }
    ospf {
        area 0.0.0.0 {
            interface fe-0/0/6.0 {
                hello-interval 10;
            }
            interface fe-0/0/7.0 {
                hello-interval 10;
            }
            interface lo0.0 {
                passive;
            }
        }
    }
    ldp {
        egress-policy CONNECTED-ONLY;
        transport-address 172.19.238.35;
        interface all;
    }
}
policy-options {
    prefix-list LOOPBACK-PREFIX {
        172.19.238.35/32;
    }
    policy-statement CONNECTED-ONLY {
        from {
            prefix-list LOOPBACK-PREFIX;
        }
        then accept;
    }
}
security {
    forwarding-options {
        family {
            mpls {
                mode packet-based;
            }
        }
    }
}

Настройка VPLS-коннектов

routing-instances {
    vpls-re {
        instance-type vpls;
        interface fe-0/0/5.0;
        protocols {
            vpls {
                no-tunnel-services;
                vpls-id 5;
                mtu 1526;
                neighbor 172.19.238.34;
                neighbor 172.19.238.105;
            }
        }
    }
}

VPLS-коннекты так же строятся, по возможности «каждый с каждым», хотя это не обязательно.


4. Проверка
PE Juniper

snake@srx1> show ldp neighbor
Address            Interface          Label space ID         Hold time
172.19.238.34      lo0.0              172.19.238.34:0          42
10.0.11.24         fe-0/0/7.0         172.19.238.33:0          11

snake@srx1> show l2circuit connections status
Layer-2 Circuit Connections:

Legend for connection status (St)
EI -- encapsulation invalid      NP -- interface h/w not present
MM -- mtu mismatch               Dn -- down
EM -- encapsulation mismatch     VC-Dn -- Virtual circuit Down
CM -- control-word mismatch      Up -- operational
VM -- vlan id mismatch           CF -- Call admission control failure
OL -- no outgoing label          IB -- TDM incompatible bitrate
NC -- intf encaps not CCC/TCC    TM -- TDM misconfiguration
BK -- Backup Connection          ST -- Standby Connection
CB -- rcvd cell-bundle size bad  SP -- Static Pseudowire
LD -- local site signaled down   RS -- remote site standby
RD -- remote site signaled down  XX -- unknown

Legend for interface status
Up -- operational
Dn -- down
Neighbor: 172.19.238.34
    Interface                 Type  St     Time last up          # Up trans
    fe-0/0/5.0(vc 5)          rmt   Up     Nov  9 18:27:45 2012           1
      Remote PE: 172.19.238.34, Negotiated control-word: No
      Incoming label: 300096, Outgoing label: 21
      Negotiated PW status TLV: No
      Local interface: fe-0/0/5.0, Status: Up, Encapsulation: VLAN

PE Mikrotik

[admin@pe-router] /mpls ldp neighbor> print
Flags: X - disabled, D - dynamic, O - operational, T - sending-targeted-hello, V - vpls
 #      TRANSPORT LOCAL-TRANSPORT PEER SEND-TARGETED ADDRESSES
0 DO   172.19.238.33   172.19.238.34 172.19.238.33:0 no 10.0.11.24
                                      172.19.74.2
                                      172.19.238.33
                                      192.168.88.1
                                      192.168.168.1
1 DOTV 172.19.238.35   172.19.238.34 172.19.238.35:0 yes 10.0.11.23
                                      172.19.238.4
                                      172.19.238.30
                                      172.19.238.35
                                      172.19.238.58

[admin@pe-router] /mpls> forwarding-table print
Flags: L - ldp, V - vpls, T - traffic-eng
 #   IN-LABEL OUT-LABELS DESTINATION INTERFACE NEXTHOP
 0   expl-null
 1 L 16 56  172.19.238.56/30 eth2                    192.168.168.1
 2 L 17     10.0.11.0/24    eth2                     192.168.168.1
 3 L 18 57  172.19.238.28/30 eth2                     192.168.168.1
 4 L 19 58  172.19.238.35/32 eth2                     192.168.168.1
 5 L 20     172.19.238.33/32 eth2                     192.168.168.1
 6 V 21     junos-l2circuit

[admin@pe-router] > interface vpls monitor junos-l2circuit once
       remote-label: 300096
        local-label: 21
      remote-status:
          transport: 172.19.238.35/32
  transport-nexthop: 192.168.168.1
     imposed-labels: 58,300096

Если канал не поднялся сразу, то помогает выключение-включение VPLS-интерфейса со стороны Mikrotik. В остальных случаях канал, что называется, «либо работает, либо нет».


На этом, собственно, все.
5. Теория
Мануалы по теме:
1. MPLS
2. MPLS Overview
3. MPLSVPLS
4. L2VPN with Juniper

P.S. Заранее прошу прощения за большой объем и большое количество конфигов, но тут, что называется, лучше один раз увидеть конфиг, чем пускаться в теоретические рассуждения.

P.P.S. Перенес в «Сетевое оборудование»