Архитектура сетей современных операторов связи отлично описана во всяческих мануалах, гайдах по подготовке к сертификациям Cisco и просто умных и хороших книжках. Но многие из них концентрируются именно на MPLS Core с интересными особенностями этой технологии (как то Traffic Engineering, MPLS BGP Multipath и прочее), обходя внимание distribution-access сегмент. Предлагаю поговорить именно об архитектуре сети доступа, принятой в крупных провайдерах. В качестве примеров будем рассматривать сети доступа одного из операторов ОАЭ (назовем его UAE Telecom) и Tier 1 оператора из США (скажем, USA Telecom), с которыми мне посчастливилось работать. По информации, такую же aggregation-access архитектуру имеет IP сеть одного из крупных украинских операторов.
Сеть оператора связи состоит из ядра, как правило, использующего технологию MPLS, и сегментов aggregation-access сетей, которые позволяют подключать пользователей к сети. USA Telecom имеет несколько сетей, одна из которых, впрочем, построена без использования MPLS – технологии аппаратной коммутации пакетов с помощью разделения Routing Plane и Forwarding Plane (Cisco Express Forwarding и аналогичная у Juniper) позволяет маршрутизировать обычные IP пакеты с той же скоростью, с которой его коммутируют MPLS роутеры.
На границе MPLS ядра находятся Provider Edge (PE) роутеры. Они производительнее, чем роутеры ядра (P Routers), потому как им нужно «держать» таблицу BGP. Так USA Telecom использует в качестве PE роутеров GSR 12000 и даже CRS-1 – статус и задачи Tier 1 обязывают.
После PE роутеров идет сеть, состоящая из свичей, к которой подключаются пользователи. Сегодня мы будем говорить о ней.
Основная задача: сделать сеть максимально масштабируемой, так как ресурсы дорожают с каждый следующим «шагом»: порт distribution свича дороже порта access свича, а порт PE роутера дороже порта distribution свича. Применяемая архитектура позволяет расширять сеть наиболее эффективно. Кроме того, такое расширение проводится с обеспечением избыточности связи наиболее эффективным способом.
В качестве distribution устройств UAE Telecom использует Cisco ME 4924, а в качестве access свичей – Cisco 4506. Предлагаю в нашей модели использовать именно их.
Тут важно сказать, что оператор использует несколько архитектурных подходов, и в этой статье описан только один из них. Второй, с аналогичной конфигурацией, подразумевает подключение в каждом кольце два access свича. Это увеличивает количество портов доступа и не влияет на надежность:
Физическим лицам оператор предоставляет Triple Play сервисы, но заказчик может сам определить, какой именно Play из этих Triple ему нужнее. Предприятиям предлагается Layer 2/3 VPN и отдельные конфигурации услуг доступа с избыточным доступом. В этом случае заказчик получает линк к двум разным access кольцам.
Подключая интернет, каждый заказчик получает отдельный VLAN. Весь VoIP трафик всех заказчиков, однако, «ходит» в отдельном VoIP VLAN с соответствующими настройками QoS. Так выглядит конфигу��ация access свича для среднестатистического заказчика:
policy-map mark-voice class class-default set dscp ef ! interface FastEthernet3/47 description 00000000-Customer-Loc switchport access vlan 434 switchport mode access switchport voice vlan 808 logging event link-status qos vlan-based no snmp trap link-status storm-control broadcast level 1.00 tx-queue 3 bandwidth percent 30 priority high spanning-tree portfast spanning-tree bpduguard enable ! interface Vlan808 no ip address service-policy input mark-voice
Использование свичей 3 уровня на access уровне позволяет настраивать гибкие политики QoS и приоретизировать ключевой трафик, такой как VoIP и обновления протоколов маршрутизации, уже на access уровне.
VLANы для типичного набора сервисов терминируются на distribution свичах. Для каждого из них в качестве default gateway выступаем SVI. Тут же – на уровне distribution свичей, обеспечивает шейпинг трафика.
STP в лице PVST поддерживает избыточность линков. Для физических лиц обеспечивается только этот вид избыточности – если линк до «своего» distribution свича «упадет», трафик сможет попасть туда по кольцу через второй свич.
Для организаций же поддерживается избыточность distribution свичей – между парой SVI, выступающих default gateway для организации на каждом distribution роутере, настроен HSRP. Если выйдет из строя один из distribution свичей, физические лица, чьи VLAN «завязаны» на его SVI, останутся без связи, но организации подхватит второй distribution свич, сделав свой SVI default gateway для их VLAN-ов.
router ospf 100 ! passive-interface Vlan333 network 123.102.12.49 0.0.0.3 area 23.123.15.0 ! interface Vlan333 description Customer-SVI ip address 123.102.10.133 255.255.255.252 ip access-group 101 in no ip redirects ip ospf message-digest-key 1 md5 7 0200005700002120 service-policy input TECOM-Policy-2MB service-policy output TECOM-Policy-2MB ! interface Vlan281 description Enterprise-SVI bandwidth 2000 ip address 123.102.12.49 255.255.255.252 ip access-group 101 in no ip redirects ip ospf message-digest-key 1 md5 7 033000070200004D standby 170 ip 123.102.12.48 standby 170 priority 110 service-policy input TECOM-Policy-512K service-policy output TECOM-Policy-4MB
Также на distribution свичах работает OSPF. Это нужно в связи с тем, что маршрутризацией трафика между VLAN-ами в пределах одной пары distribution устройств занимаются эти самые свичи. Но есть исключения: если клиент заказывает Layer 3 VPN, CE роутер должен установить OSPF соседство с PE роутером провайдера. Чтобы обеспечить это, такому клиенту выделяется VLAN, который не терминируется на SVI свича, но пробрасывается дальше, до порта PE роутера, транком. Итого, от distribution свича до PE роутера уходит один Vlan, с трафиком, который свич маршрутизирует в сторону PE, и множество VLAN клиентов, которые используют Layer 3 VPN:
interface GigabitEthernet1/3 description Uplink to PE Router switchport trunk encapsulation dot1q switchport trunk allowed vlan 1,12,19,31-33,36-41,70-79,88,98,112,113,125,126 switchport trunk allowed vlan add 135,143,198,199,314,316,320,322,399,440-444 switchport trunk allowed vlan add 454,456,459,480,490,510,511,530,550,557-559 switchport trunk allowed vlan add 563,567,571,578,579,582,588,602-604,616,626 switchport trunk allowed vlan add 637,660,661,666,670,672,675,677-679,688,699 switchport trunk allowed vlan add 705,713,728,739-749,753,754,757,760,762 switchport trunk allowed vlan add 769-778,783,788-790,793-795,799,806,812,822 switchport trunk allowed vlan add 823,878,888,900,923,925,950,955-958,987,990 switchport trunk allowed vlan add 993-995,998,999,1100,1206,1209,1252,1301 switchport trunk allowed vlan add 1302,1313,1325,1326,1350,1351,1360,1361,1400 switchport trunk allowed vlan add 1705,2100,2400,3432,3900 switchport mode trunk qos trust dscp udld port aggressive mac access-group filtermac in tx-queue 1 bandwidth percent 10 tx-queue 2 bandwidth percent 20 tx-queue 3 bandwidth percent 30 priority high tx-queue 4 bandwidth percent 40 service-policy input police-in-ge
Таким образом каждая пара distribution устройств образует отдельный VLAN домен, и в сети, контролируемой другой парой distribution свичей, можно использовать VLANы с теми же номерами повторно.
В ОАЭ интернет и прочие IP сервисы очень популярны, потому покрытие очень и очень плотное. Так пара distribution свичей может покрывать одно здание. А для одного из крупнейших небоскребов – бизнес центров была выделена даже отдельная пара PE роутеров. Для сравнения, по рассказам, у Киевстар пара PE роутеров обеспечивает покрытие одной области. Хотя, конечно, IP сервисы – не самая большая часть бизнеса этого оператора, сравнение показательно.
P.S. Названия компаний, IP адреса, дескрипшены, MD5 хеши и прочая информация, которая может быть конфиденциальной, изменена. Все технологические нюансы, однако, сохранены в оригинале.
