Brocade, известный большинству как производитель коммутаторов для сетей хранения данных, выпускает и Ethernet-коммутаторы. Некоторый набор таких коммутаторов (ICX и VDX) оказался у нас в руках, и мне хочется сделать короткий обзор и отметить вещи, которые показались интересными. Я постараюсь избежать маркетинговых формулировок и цифр, но для интересующихся укажу ссылки на сайт производителя. Приступим :)
Коммутаторы ICX
Эти коммутаторы предназначены для использования в сети предприятия (Enterprise Campus). Семейство ICX состоит из линеек доступа (7150/7250/7450), агрегации (7450) и агрегации/ядра (7750).
ICX 7150 – младшее и последнее пополнение в семействе ICX. Кроме стандартных моделей на 24 и 48 портов в этой линейке имеется компактный коммутатор на 12 портов (7150-C12P) и коммутатор с портами 802.3bz Multigigabit Ethernet (7150-48ZP). Модели на 12/24/48 портов имеют пассивное охлаждение, а модели на 24/48 портов с PoE могут работать без использования активного охлаждения.
ICX 7250 – стандартные модели на 24 и 48 портов. Основное отличие – 8 uplink/stacking портов.
ICX 7450 – стандартные модели на 24 и 48 портов. Коммутаторы не имеют встроенных uplink/stacking портов, но имеют 3 слота для модулей дополнительных интерфейсов (1GE, 10GE, 40GE). Также в этой линейке есть коммутатор с портами 802.3bz Multigigabit Ethernet (7450-32ZP) и коммутатор агрегации 7450-48F (48x1GE SFP).
ICX 7750 – агрегация/ядро. Доступны 3 модели (48x10BASE-T, 48x1/10GE SFP/SFP+, 26x40GE QSFP), все поддерживают установку дополнительного модуля на 6x40GE QSFP портов. Все порты 40GE поддерживают режим breakout (разделение порта 40GE на 4 порта 10GE).
Коммутаторы линейки ICX поддерживают стандартный для такого позиционирования набор технологий, откровенных пробелов в функционале не замечено. В линейках 7150/7250/7450 некоторые модели в дополнение к PoE+ поддерживают Power over HDBaseT (до 90 Ватт на порт).
ПО для управления и мониторинга коммутаторов – Brocade Network Advisor (работает под Windows или Linux, на отдельном сервере либо в виде виртуальной машины).
Что хочется отметить из особенностей:
А теперь посмотрим, что можно собрать на базе ICX. Кроме обычной двух/трёхуровневой архитектуры (на standalone коммутаторах + Multi-Chassis Trunking) для Enterprise Campus предлагаются два решения.
Первое, с использованием стекирования и, опционально, с учётом long-distance стекирования, может выглядеть таким образом:
Схема, думаю, не требует комментариев.
Второе решение называется Campus Fabric. Фактически это реализация стандарта 802.1BR (Bridge Port Extension) на коммутаторах ICX, где 7750 выступает в роли единой точки контроля (Control Bridge — CB), а остальные коммутаторы в роли выносных линейных карт (Port Extenders — PE).
Какие преимущества даёт такая архитектура?
Но есть и спорные моменты:
По масштабированию/резервированию отмечу следующие вещи:
Стоит ли строить всю сеть на таком решении – вопрос спорный, но как решение для доступа вариант имеет право на жизнь.
Коммутаторы VDX
Напомню, как выглядит folded Clos сеть:
Leaf-коммутаторы обеспечивают подключение серверов, Spine-коммутаторы обеспечивают зарезервированную высокоскоростную связность для leaf-коммутаторов. На картинке изображён 3-stage (leaf-spine-leaf) вариант такой сети, но Brocade в документации рассматривает и 5-stage (leaf-spine-superspine-spine-leaf) вариант.
В семействе VDX я хотел бы остановиться на двух линейках: 6740 и 6940.
VDX 6740 – leaf-коммутаторы с портами 48x10GE (10GBASE-T либо SFP+) + 4x40GE QSFP.
VDX 6940 – leaf/spine-коммутаторы. 6940-36Q – 36x40GE QSFP портов. 6940-144S – 96x10GE SFP+ и 12x40GE QSFP портов (при этом 3 40GE порта можно объединить в один 100GE порт и использовать трансиверы QSFP28).
Эти коммутаторы позиционируются для использования в ЦОД, и имеют соответствующие характеристики:
Не буду отрицать, что сеть ЦОД на скоростях 10GE/40GE немного устарела, но коммутаторы 25GE/100GE у Brocade в другом семействе (SLX), и к нам они не попали.
Из особенностей коммутаторов VDX отмечу следующее:
Архитектуры
Кроме дизайнов на базе VCS-фабрики Brocade, конечно, предлагает дизайны на базе IP-фабрики. Это Clos-сеть (3-stage либо 5-stage), где граница L2/L3 находится на leaf-коммутаторах, а связность leaf-spine и ECMP обеспечивает протокол динамической маршрутизации (как правило это BGP).
IP-фабрика с pervasive eBGP (используем eBGP для всех типов связности).
IP-фабрика с iBGP (eBGP используется только для связности super-spine <-> spine и super-spine <-> edge leaf, iBGP используется в пределах DC POD для spine <-> leaf).
В обоих случая для подключения серверов к двум leaf-коммутаторам (multihoming) используется VCS-фабрика из двух коммутаторов (vLAG pair).
И не забываем про VXLAN. Brocade поддерживает виртуализацию с VXLAN в качестве data-plane, при этом в качестве control plane можно использовать EVPN. Итак, берём дизайны IP-фабрики, прибавляем EVPN VXLAN и получаем варианты:
c eBGP
и с iBGP
Для multihoming’а используется тот же механизм что и в IP-фабрике.
Brocade не настаивает на использовании iBGP или eBGP, оба варианта равнозначны. Brocade поддерживает оба варианта Integrated Routing and Bridging для EVPN VXLAN: asymmetric и symmetric. Из тех реализаций EVPN VXLAN, что я видел, на VDX одна из самых полнофункциональных.
Конечно, кроме VDX существует множество других продуктов Brocade для ЦОД, но в данной статье они не рассматриваются.
В заключение хочу добавить, что каких-то существенных претензий к качеству оборудования и софта не возникло. CLI, как и у многих других производителей, очень похож на Cisco, в некоторых местах он даже удобнее (а мы знаем, что часть CLI у Cisco далека от идеала). Документация по каждому продукту собрана в одном месте (Document Library), и написана эта документация очень правильно. Validated Design вообще одно удовольствие читать. Ну и напомню ещё раз про документы Features and Standards Support Matrix – кое-кому неплохо было бы перенять такой подход. Развитое и активное community, что есть не у каждого производителя. Сложность.
И немного про текущий статус Brocade.
Broadcom покупает весь бизнес Brocade, при этом решения Fibre Channel (т.е. всё для SAN) остаются в портфеле решений Broadcom, а оставшиеся продукты Brocade будут проданы другим компаниям. Сделка Broadcom-Brocade завершится в 3 финансовом квартале (заканчивается 30 июля 2017).
Что будет с остальными продуктами:
Коммутаторы ICX
Эти коммутаторы предназначены для использования в сети предприятия (Enterprise Campus). Семейство ICX состоит из линеек доступа (7150/7250/7450), агрегации (7450) и агрегации/ядра (7750).
ICX 7150 – младшее и последнее пополнение в семействе ICX. Кроме стандартных моделей на 24 и 48 портов в этой линейке имеется компактный коммутатор на 12 портов (7150-C12P) и коммутатор с портами 802.3bz Multigigabit Ethernet (7150-48ZP). Модели на 12/24/48 портов имеют пассивное охлаждение, а модели на 24/48 портов с PoE могут работать без использования активного охлаждения.
ICX 7250 – стандартные модели на 24 и 48 портов. Основное отличие – 8 uplink/stacking портов.
ICX 7450 – стандартные модели на 24 и 48 портов. Коммутаторы не имеют встроенных uplink/stacking портов, но имеют 3 слота для модулей дополнительных интерфейсов (1GE, 10GE, 40GE). Также в этой линейке есть коммутатор с портами 802.3bz Multigigabit Ethernet (7450-32ZP) и коммутатор агрегации 7450-48F (48x1GE SFP).
ICX 7750 – агрегация/ядро. Доступны 3 модели (48x10BASE-T, 48x1/10GE SFP/SFP+, 26x40GE QSFP), все поддерживают установку дополнительного модуля на 6x40GE QSFP портов. Все порты 40GE поддерживают режим breakout (разделение порта 40GE на 4 порта 10GE).
Коммутаторы линейки ICX поддерживают стандартный для такого позиционирования набор технологий, откровенных пробелов в функционале не замечено. В линейках 7150/7250/7450 некоторые модели в дополнение к PoE+ поддерживают Power over HDBaseT (до 90 Ватт на порт).
ПО для управления и мониторинга коммутаторов – Brocade Network Advisor (работает под Windows или Linux, на отдельном сервере либо в виде виртуальной машины).
Что хочется отметить из особенностей:
- Стек коммутаторов. Все коммутаторы ICX поддерживают организацию стека через uplink/stacking порты, собирать стек можно в пределах линейки (т.е. 7250 с 7450, например, не собрать). Максимальное количество коммутаторов в стеке – 12. Для стекирования используются обычные порты 10GE или 40GE, максимальная пропускная способность 480Гбит/с. Максимальная протяжённость соединения для стека – 10 км (long-distance stacking). Поддерживаются как кольцевая, так и линейная топология.
- Для тех, кто не рассматривает стекирование как вариант обеспечения отказоустойчивости, 7750 предлагает альтернативный вариант – Multi-Chassis Trunking (он же MC-LAG). Т.е. пара коммутаторов собирается в кластер, который подключённые к кластеру устройства видят как одно логическое устройство.
- Лицензирование. Для 7150/7250/7450 основными лицензиями являются Port on Demand (лицензия на 10GE порты) и лицензия на L3 функционал (протоколы динамической маршрутизации, PIM, PBR, VRRP и т.д.). 7750 имеет только одну лицензию – L3 – которая не требует активации.
- С точки зрения образов ОС коммутаторов существует два вида: switch image и router image. Каждый коммутатор имеет два flash (primary и secondary) и по умолчанию содержит оба вида image.
- Комбинации OC image и L3 лицензии дают нам следующие варианта feature set: Layer 2 (switch image без лицензии), базовый Layer 3 (router image без лицензии), полный Layer 3 (router image с лицензией). Если вам требуется, например, статическая маршрутизация, то хватит базового Layer 3.
- Поддерживаемые возможности удобно указаны в документе Features and Standards Support Matrix. Я бы даже сказал, что это образцовый документ.
- Функционал Time Domain Reflectometer, который у Brocade называется Virtual Cable Test.
- 7150 – новая линейка, и некоторые вещи в datasheet обозначены как Feature to be supported in a future software release. В июле планируется выпуск ПО, в котором среди прочего будет стекирование и L3-функционал.
А теперь посмотрим, что можно собрать на базе ICX. Кроме обычной двух/трёхуровневой архитектуры (на standalone коммутаторах + Multi-Chassis Trunking) для Enterprise Campus предлагаются два решения.
Первое, с использованием стекирования и, опционально, с учётом long-distance стекирования, может выглядеть таким образом:
Схема, думаю, не требует комментариев.
Второе решение называется Campus Fabric. Фактически это реализация стандарта 802.1BR (Bridge Port Extension) на коммутаторах ICX, где 7750 выступает в роли единой точки контроля (Control Bridge — CB), а остальные коммутаторы в роли выносных линейных карт (Port Extenders — PE).
Какие преимущества даёт такая архитектура?
- Это распределённое шасси, в котором легко можно увеличить портовую ёмкость.
- Все линки активны.
- Централизованный management plane и control plane.
- L3-лицензия, если требуется, нужна только на Control Bridge, что позволяет сэкономить на L3-лицензиях.
Но есть и спорные моменты:
- Централизованный control plane можно рассматривать как недостаток, т.к. вся фабрика – один failure domain.
- Весь трафик идёт через ядро фабрики (Control Bridge). Исключением является multicast и broadcast replication, которые делаются на Port Extender локально.
- На портах доступа Port Extender’ов не поддерживается LAG.
По масштабированию/резервированию отмечу следующие вещи:
- Control Bridge на базе 7750 является стеком из 4х (максимум) коммутаторов, рекомендованная топология стека – кольцо. Используем минимум 2 коммутатора, т.к. нам обязательно нужно резервирование Control Bridge.
- В качестве Port Extenders можно использовать 7450 и 7250. Поддержка 7150 будет позже.
- PoD лицензии всё ещё нужны.
- Максимальное количество Port Extenders – 36. Стек коммутаторов считается как отдельные коммутаторы.
- Возможность подключать Port Extenders по цепочке – до 6 устройств.
Стоит ли строить всю сеть на таком решении – вопрос спорный, но как решение для доступа вариант имеет право на жизнь.
Коммутаторы VDX
Напомню, как выглядит folded Clos сеть:
Leaf-коммутаторы обеспечивают подключение серверов, Spine-коммутаторы обеспечивают зарезервированную высокоскоростную связность для leaf-коммутаторов. На картинке изображён 3-stage (leaf-spine-leaf) вариант такой сети, но Brocade в документации рассматривает и 5-stage (leaf-spine-superspine-spine-leaf) вариант.
В семействе VDX я хотел бы остановиться на двух линейках: 6740 и 6940.
VDX 6740 – leaf-коммутаторы с портами 48x10GE (10GBASE-T либо SFP+) + 4x40GE QSFP.
VDX 6940 – leaf/spine-коммутаторы. 6940-36Q – 36x40GE QSFP портов. 6940-144S – 96x10GE SFP+ и 12x40GE QSFP портов (при этом 3 40GE порта можно объединить в один 100GE порт и использовать трансиверы QSFP28).
Эти коммутаторы позиционируются для использования в ЦОД, и имеют соответствующие характеристики:
- Все порты 40GE поддерживают режим breakout (разделение порта 40GE на 4 порта 10GE).
- Поддерживается как front-to-back, так и back-to-front охлаждение.
- Два блока питания.
- Поддержка FCoE и DCB.
- Поддержка средств автоматизации, возможность интеграции с OpenStack и продуктами VMware.
- Поддержка VXLAN.
Не буду отрицать, что сеть ЦОД на скоростях 10GE/40GE немного устарела, но коммутаторы 25GE/100GE у Brocade в другом семействе (SLX), и к нам они не попали.
Из особенностей коммутаторов VDX отмечу следующее:
- Лицензирование. Есть два вида лицензий – Port on Demand (на 10GE и 40GE порты) и лицензия на FCoE. Лицензии PoD автоматически «привязываются» к активным портам. Т.е. вы достали коммутатор из коробки, включили, и вам не нужно искать в документации, какая группа портов активируется лицензией – можно просто устанавливать трансиверы. Для возврата лицензии в пул свободных лицензий нужно будет выполнить несколько команд в CLI.
- Коммутаторы поддерживают VCS Fabric – TRILL-based Ethernet-фабрика (до 48 коммутаторов). TRILL-based, т.к. от TRILL используется только data-plane, а control-plane используется свой. Вещь неприхотливая к топологии, удобная как в настройке, так и в обслуживании.
Непривычно то, что коммутаторы VDX всегда находятся в режиме Logical Chassis, т.е. фактически каждый коммутатор – это VCS-фабрика из одного коммутатора. И, т.к. в рамках VCS-фабрики конфигурация сохраняется автоматически, на коммутаторах VDX вы не найдёте аналога copy run startup.
VCS является базовым функционалом, но использование VCS-фабрики – вещь опциональная и отключаемая.
- Два flash, но, в отличие от ICX, тут они для отказоустойчивости и удобства обновления ПО. Разделения образов ОС по вариантам тут нет.
- Поддерживаемые возможности всё так же указаны в документе Features and Standards Support Matrix. Подход к написанию документации в этом плане не отличается от ICX.
- Т.к. это Brocade, то вполне ожидаемо, что некоторые технологии SAN-коммутаторов можно встретить на Ethernet-коммутаторах. Например, это MAPS (продвинутый мониторинг) и часть технологий VCS-фабрики.
- Все фирменные DAC (медный direct attach) на 10GE и 40GE – активные.
Архитектуры
Кроме дизайнов на базе VCS-фабрики Brocade, конечно, предлагает дизайны на базе IP-фабрики. Это Clos-сеть (3-stage либо 5-stage), где граница L2/L3 находится на leaf-коммутаторах, а связность leaf-spine и ECMP обеспечивает протокол динамической маршрутизации (как правило это BGP).
IP-фабрика с pervasive eBGP (используем eBGP для всех типов связности).
IP-фабрика с iBGP (eBGP используется только для связности super-spine <-> spine и super-spine <-> edge leaf, iBGP используется в пределах DC POD для spine <-> leaf).
В обоих случая для подключения серверов к двум leaf-коммутаторам (multihoming) используется VCS-фабрика из двух коммутаторов (vLAG pair).
И не забываем про VXLAN. Brocade поддерживает виртуализацию с VXLAN в качестве data-plane, при этом в качестве control plane можно использовать EVPN. Итак, берём дизайны IP-фабрики, прибавляем EVPN VXLAN и получаем варианты:
c eBGP
и с iBGP
Для multihoming’а используется тот же механизм что и в IP-фабрике.
Brocade не настаивает на использовании iBGP или eBGP, оба варианта равнозначны. Brocade поддерживает оба варианта Integrated Routing and Bridging для EVPN VXLAN: asymmetric и symmetric. Из тех реализаций EVPN VXLAN, что я видел, на VDX одна из самых полнофункциональных.
Конечно, кроме VDX существует множество других продуктов Brocade для ЦОД, но в данной статье они не рассматриваются.
В заключение хочу добавить, что каких-то существенных претензий к качеству оборудования и софта не возникло. CLI, как и у многих других производителей, очень похож на Cisco, в некоторых местах он даже удобнее (а мы знаем, что часть CLI у Cisco далека от идеала). Документация по каждому продукту собрана в одном месте (Document Library), и написана эта документация очень правильно. Validated Design вообще одно удовольствие читать. Ну и напомню ещё раз про документы Features and Standards Support Matrix – кое-кому неплохо было бы перенять такой подход. Развитое и активное community, что есть не у каждого производителя. Сложность.
И немного про текущий статус Brocade.
Broadcom покупает весь бизнес Brocade, при этом решения Fibre Channel (т.е. всё для SAN) остаются в портфеле решений Broadcom, а оставшиеся продукты Brocade будут проданы другим компаниям. Сделка Broadcom-Brocade завершится в 3 финансовом квартале (заканчивается 30 июля 2017).
Что будет с остальными продуктами:
- ARRIS покупает Ruckus Wireless и линейку коммутаторов ICX (которые, по всей видимости, будут продаваться как Ruckus ICX). При этом заявлено, что Ruckus Wireless сохранит свою структуру и канал продаж, т.е. будет что-то наподобие сделки Meraki-Cisco. Сделка Broadcom-ARRIS должна завершиться к концу августа 2017.
- Extreme Networks покупает решения для ЦОД, а именно продукты VDX/MLX/SLX, Brocade Workflow Composer и Network Visibility & Analytics. Сделка Broadcom-Extreme должна завершиться к концу сентября 2017.
- Pulse Secure покупает семейство продуктов vADC (virtual Traffic Manager и связанные с ним продукты).
- AT&T покупает платформу Vyatta (Vyatta Network OS и связанные с ней продукты).
