Фотоотчет о подключении самого мощного коммутатора в мире Black Diamond X8

На данный момент компания Extreme Networks имеет в своем портфолио самый мощный коммутатор в мире Black Diamond X8, который имеет действительно впечатляющие характеристики по пропускной способности на шасси (20Tb/s), энергопотреблению, задержкам и при этом занимает 1/3 стандартной стойки. Коммутатор получил множество наград и побил множество рекордов, о чем можно на досуге почитать в отчетах знаменитой компании Lippis www.bradreese.com/lippis-report-dec-2011.pdf или других ресурсах.
Так как устройство имеет довольно специфическое позиционирование и не каждому ИТ-специалисту доведется в своей жизни увидеть или поработать с таким чудом Ethernet техники, хотелось бы поделиться впечатлениями от увиденного под хабракатом:



Само шасси приехало на палете. Вчетвером, а иногда и вдвоем, там где было мало места, мы занесли его довольно легко, сложилось впечатление что общий вес не более 100 кг.



К самому шасси нужно еще много других коробок: фабрики, линейные карты, менеджмент модуля, блоки питания…




Коммутатор построен по ныне набирающей обороты ортогональной архитектуре, когда линейные карты напрямую подключаются в фабрик модуля, никаких ограничений по backplane и midplane у него нет, все готово для 100 Gigabit Ethernet. Фото сделано с уже снятыми блоками вентиляторов и если смотреть сверху вниз, то по порядку расположены: разъемы для подключения питания, ниша для блоков питания, пять небольших разъемов для подключения собственно блоков вентиляторов, а также в самом низу направляющие для четырех фабрик модулей (сверху есть такие же их на фото просто не видно).




У коммутатора пять блоков вентиляторов, которые резервируются по схеме 4+1, в каждом из блоков тоже резервирование 5+1.
Обдув самого железа организован Front-to-Back, что позволяет организовывать необходимое направление тепловых коридоров в датацентрах.






Одна из крайне необходимых вещей при инсталяции такого дорогостоящего оборудования уже идет в комплекте – антистатический браслет.




Фабрики устанавливаются довольно легко, если правильно попасть в направляющие)) Сверху и снизу есть доводчики которые потом необходимо зафиксировать.
Фабрики также зарезервированы 3+1, при этом даже при выходе одной все порты будут работать на полной скорости. Руководство по инсталяции оборудования рекомендует устанавливать платы слева направо в первых три места, оставляя под резерв последнее, если у вас сразу не хватило средств на все фабрики.




Вот так это выглядит после установки фабрик. Каждый такой разъем, как на фото справа, выдает 320Gb пропускной способности, что означает что при установки трех фабрик и линейной карты на 24 порта 40GbE мы получим линейную скорость на всех портах (960 Gbps). Extreme Networks также разработали фабрики у которых в два раза меньше пропускная способность, для тех кому не нужна большая плотность 40GbE на слот и собираются устанавливать карты с поддержкой 12х40GbE и 48x10GbE портов соответственно.


А вот так после установки вентиляторов.




На лицевой стороне под декоративной панелью находиться восемь ячеек для установки блоков питания, которые по традиции резервируются N+1, N+N. После включения питания происходит инициализация установленных плат, и соответственно подсчет необходимого бюджета для их питания. Если в бюджет не попадаешь некоторые линейные карты могут не завестись.






Блоки устанавливаются легко, при этом фиксируясь с помощью небольшой защелки. Места под установку линейных карт закрыты сплошной панелью, которая предназначена только для установки на время транспортирования. Если шасси не полностью заполнено линейными картами, то бланк-панели под каждый слот нужно докупать отдельно, они в комплекте не идут.




Коммутатор имеет мощный Control-plane который управляется с помощью «2GHz Intel i7 Dual Core CPU». Сам менеджмент модуль имеет отличный от линейных карт форм-фактор и занимает только половину ширины слота.




Интересно было увидеть на плате место для распайки элементов поддержки SyncE (синхронного Ethernet), хотя позиционирование устройства абсолютно другое и вендор заявляет, что поддержки нет и не будет)) В данный момент этот функционал поддерживается только на Summit X460 коммутаторах и E4G роутерах.




На линейных картах с поддержкой 48 SFP+ и 24 QSFP+ портов установлено по 2 и 4 ASIC соответственно. Extreme Networks использует в своем оборудовании последние ASIC от Broadcom, что позволяет добиться максимальной производительности при минимальном энергопотреблении, около 5W на порт 10GbE.




После включения сразу попадаем в уже всем полюбившийся (для тех кто в нем работал) интерфейс фирменной операционной системы ExtremeXOS, который абсолютно одинаков с интерфейсом даже самой младшей модели. Также было проверено, коммутатор поддерживает модули SFP+ и QSFP+ ОЕМ производителей.

Впечатления:
Остались приятные впечатления, что настолько мощное железо так легко собирается и запускается, хотелось бы еще посмотреть на его работу под полной нагрузкой. Также приятно удивило то, что у коммутатора довольно небольшой уровень шума и если сравнивать не нагруженный шассийный Black Diamond X8 и стоечный Summit X650-24x, то скорее всего победу получит Summit.

Компания Extreme Networks продолжает не только активно продвигать данный продукт, но и не останавливается на его развитии, о чем свидетельствует недавний анонс (на Интероп 2012) новых линейных карт которые будут поддерживать 48 портов стандарта 10GBase-T. А так как на этом же мероприятии Intel представил CNA адаптеры этого же стандарта, с поддержкой конвергентного Ethernet по меди, то данное решение является еще более привлекательным для ЦОД.



Дистрибуция решений Extreme Networks в Украине и странах СНГ
Авторизованные учебные курсы Extreme Networks



МУК-Сервис — все виды ИТ ремонта: гарантийный, не гарантийный ремонт, продажа запасных частей, контрактное обслуживание
МУК
0,00
Компания
Поделиться публикацией
AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее
Реклама

Комментарии 45

    +3
    Эх, если бы еще ссылки на оригинальный размер картинок.
      0
      Как гик-порн, так и ложкой хайрез?
      +1
      имеет действительно впечатляющие характеристики по пропускной способности на шасси (20Tb/s)


      Если его забить максимально производительными портами, то какое получится значение Gbps per Unit (учитывая размеры всего устройства)? То что у него шина 20Tb/s — чистой воды маркетинг и сделано для продажников. При упоминании о производительность в миллиард петабит у покупателей должны течь слюни.

      • НЛО прилетело и опубликовало эту надпись здесь
        +4
        Монстро… Кандидат в ядро сети MAN масштаба 8)
          –1
          я тоже подумал, что прекрасная замена моему домашнему свитчу… (аж 3 компа в локалке!!1111)
          0
          Максимум возможно установить 768*10G (7.68Tbps) или 192*40G (7.68Tbps). Итого получается около 529 Gbps per 1Unit. Да, на сегодняшний день — лидер.
            0
            Среди модульных коммутаторов — да. Но вот фиксированные лидируют.
            Например, Cisco Nexus 5048 — 48 неблокируемых 10G портов, суммарно 960гб/с на единственный юнит. Правда, это только для L2. С L3 там все более грустно — 160gb/s.
              0
              Екстрим уже давно продает Summit 670V-48x который может в одной юните давать 64 порта 10 GE (48*10GE+4*40GE), а также у многих других вендоров (Arista, Force10, Alcatel… )который используют последние решения от Broadcom, при этом работая как с L2, так и с L3 на полной скорости. 90% вендоров используют ASIC “Trident” Broadcom, тот же Cisco Nexus 3064 etherealmind.com/merchant-silicon-vendor-software-rise-lost-opportunity/, кстати Х670-48х также через себя пропускает FCoE.
              +2
              Ой, я посчитал не для Full Duplex. Нужно все умножить на 2.
              0
              А чем CRS хуже?

              «Ёмкость Cisco CRS-3 достигает 322 Тбит/с.»
              www.cisco.com/web/RU/news/releases/txt/2010/030910d.html
                +4
                В обзоре коммутатор, CRS-3 — мультисервисный маршрутизатор. Железо вообще не сравнимое.

                Для достижения 322 Тбит/с на CRS-3 необходима уйма места (хотя это не проблема) и еще больше денег.
                  +13
                  Для простоты, если вдруг кому-то пригодится:
                  В топике — коммутатор (свитч, только большой, мощный и управляемый),
                  CSR-3 — маршрутизатор (роутер, без встроенного вайфая и торрентов, зато большой и мощный).
                    0
                    Сразу минусовать кинулись. Я не знаю, вот и спрашиваю у знающих людей ради любопытства. Что за радость минус жать сразу?
                      0
                      Я с Вами согласен.
                      0
                      На таком уровне различия между «маршрутизатор» и «коммутатор» очень размыты, и скорее являются маркетинговыми.
                        +1
                        Не соглашусь с Вами.

                        Нынешние L3 коммутаторы умеют многое, но 80% случаев заменить маршрутизаторы они не могут. X8 не реализует даже части функций, которые умеет CRS, а CRS вообще не подходит для того, для чего проектировался X8. Но это тема отдельной статьи: чем отличается L3 коммутатор за пару миллионов денег от маршрутизатора за такую же стоимость.

                        Самый яркий пример маркетинга, лично для меня, это: CISCO 7600 — маршрутизатор, CISCO 6500 — коммутатор.
                          +1
                          Нынешние L3 коммутаторы умеют многое, но 80% случаев заменить маршрутизаторы они не могут.
                          Какая-то странная цифра… Откуда она взялась? Можете дать несколько примеров?
                          В моей сети (ентерпрайз, не сервис-провайдер) если забыть филиальную сеть — количество коммутаторов раз в 5 превышает количество маршрутизаторов, а с филиальной сетью из нескольких сотен точек — всего раза в два. Да и то роутеры используются обычно для двух задач: голос и DMVPN. Т.е. те задачи, которые и на свитче можно реализовать (слава 6500). Просто ставить шеститонник с SPA в бранч явно нецелесообразно. Но технически можно.
                          Ну и пограничные роутеры — именно роутеры. Опять же, ничто не мешает на 6500 слить пару full view, многие так делают, просто это признано нецелесообразным.

                          Могу напомнить, что «packet switching» и «packet forwarding» фактически являются синонимами и могут означать как L2, так и L3 передачу пакетов. Да и L2.5 тоже :)

                          Все-таки обычно принято «роутером» называть более гибкое (более софтовое) решение, а свитчем — нечто с передачей пакетов силами ASICов и программным control plane. Или еще один критерий — «много портов» против «мало портов». Но функционально они крайне схожи.
                            0
                            И кстати, возьмем модную концепцию SDN. Железка, передающая пакеты в соответствии с полученными от контроллера по openflow указаниями, является роутером или свитчем?
                              0
                              Какая-то странная цифра… Откуда она взялась? Можете дать несколько примеров?

                              Можно начать с MPLS/VPLS/H-VPLS (+features, TE, etc.), возможности QoS, гибкости и функционалу обработки пакетов (очереди, shaping и т.д.), «продвинутая» маршрутизация (сравните функционал на классном маршрутизаторе и коммутаторе), MPF, хотите даже терминацию клиентов, NBAR, BRAS, опять же VPN и много, много другое.

                              Выше Вы описали не сходства/отличия коммутаторов и маршрутизаторов, а рассказали как у Вас построена сеть. Если таким образом Вы решаете свои задачи — пожалуйста. У меня вот дома вообще используется ADSL модем, получаю доступ к Интернету даже без шеститонника.

                              Все-таки обычно принято «роутером» называть более гибкое (более софтовое) решение, а свитчем — нечто с передачей пакетов силами ASICов и программным control plane.

                              Вы понимаете как маршрутизатор продвигает пакеты? Вам о чем-то говорит RIB/FIB, CEF, TCAM? Какие методы продвижения пакетов Вы знаете? Какие используются на современных маршрутизаторах?

                              Или еще один критерий — «много портов» против «мало портов». Но функционально они крайне схожи.

                              Это Вы конечно дали. Без комментариев. Почему гигабитный порт на маршрутизаторе стоит в разы дороже гигабитного порта на коммутаторе?
                                +1
                                Можно начать с MPLS/VPLS/H-VPLS (+features, TE, etc.)
                                Cat6500 — влегкую. С Sup2T.
                                возможности QoS
                                Про Nexus 5k/7k и реализацию PFC можете почитать. Там, между прочим, гоняется FCoE трафик… Но да, шейпинга нет.
                                «продвинутая» маршрутизация (сравните функционал на классном маршрутизаторе и коммутаторе)
                                Например? Все control plane протоколы поддерживаются в самом полном объеме. PBR тоже есть. Это я про тот же 6500.
                                MPF
                                Что это?
                                NBAR
                                NAM — и NBAR отдыхает.
                                BRAS, опять же VPN
                                Вставляем SPA, и вот уже свитч отлично VPNит.
                                А нексусы 7к вообще умеют line-rate шифрование. А line-rate значит по 550гб/с на шасси.
                                Выше Вы описали не сходства/отличия коммутаторов и маршрутизаторов
                                Вы же не назвали ни одного «архитектурного» различия. Только «по назначению». Притом, похоже, плохо осознаете возможности свитчей :)
                                Вы понимаете как маршрутизатор продвигает пакеты?
                                Вполне :) А Вам о чем-то говорят аббревиатуры PFC/MSFC?
                                Расскажите на примере роутеров линейки CRS в сравнении с теми же 6-тонниками, чем же роутер отличается от свитча в плане data plane. Ведь «роутер» не обязательно значит «ISR» ;)
                                Почему гигабитный порт на маршрутизаторе стоит в разы дороже гигабитного порта на коммутаторе?
                                Вы про какие порты?
                                В курсе CCNA об этом не говорится, но вообще-то гигабитному порту на L3 коммутаторе можно сказать «no switchport», и он станет вполне себе маршрутизируемым. Ну да, для нижних линеек свитчей — с более примитивными способностями по части QoSа. Зато — с недосягаемой для ISR-образного роутера суммарной производительностью по всем таким портам.

                                По цене. HWIC-1GE-SFP стоит $2k. N7K-M148GS-11L (48 портов) стоит $27k. Что-то не видно никакого «в разы». А если брать etherswitch модули для роутера, то тут роутерные порты будут в разы дешевле.
                                  +2
                                  Все печально…
                                  Не вижу смысла дальше продолжать дискуссию. Пусть будет по Вашему: разницы между L3 коммутаторами и маршрутизаторами нет, а маршрутизаторы как явление произошли случайно в процессе телекоммуникационной эволюции.
                                    +1
                                    Не вижу смысла дальше продолжать дискуссию.
                                    Действительно — о чем говорить с человеком, который даже примерно не представляет себе возможностей L3 свитчей?
                                      +1
                                      Вот кстати неплохая статейка на тему от гуру: blog.ioshints.info/2009/12/lies-damned-lies-and-product-marketing.html (там и в обсуждении немало интересного сказано).

                                      Fast-forward to late 1990’s. ASICs were getting powerful enough to implement decently fast and cheap basic routing functionality. It was possible to build simple cost-effective high-speed routers … only “router” was now a four-letter word. What could the product marketing people do? They invented “layer-3 switches”, which were really routers, but the new invention sounded so much better.

                              • НЛО прилетело и опубликовало эту надпись здесь
                                  +1
                                  Та и есть. Но это следствия того, одну железяку явно прокачивали до маршрутизатора, ограничивая при этом сервисную составляющую, а вторую прокачивали до коммутатора (расширяемого большим набором сервисных модулей), обрезая компоненту маршрутизатора.

                                  Ничего не мешало создать одну волшебную коробку.
                              +3
                              а… торрентов значит нету… )))
                          +1
                          А слабо комментаторам написать статью, в которой рассказать про свитчи, рутеры, маршрутизаторы для чайников? В плане — зачем нужны, почему отличаются, современная ситуация и пр.?
                            –1
                            Можно почитать серию статей habrahabr.ru/post/134892/
                            На таком уровне можете исходить из того, что маршрутизатор передает пакеты в зависимости от IP адреса получателя, а свитч — в зависимости от мака :)
                              0
                              Просто в этих статьях всегда очень много воды (не в обиду автору). А хотелось бы просто понять — зачем нужно то или иное сетевое оборудование. И почему, скажем, нельзя обойтись одним видом — универсальным каким-нибудь.
                                +1
                                Ну почему нельзя? Тот же Catalyst 6500 является исключительно универсальной железкой; существуют лишь единичные случаи, когда он чего-то не может (даже с соответствующими модулями). Вот только дороговато будет затыкать им каждую дырку…
                                  +1
                                  Извините, но вы не местный что ли? Этот как спросить почему нужны экскаваторы, тягачи, бетономешалки, а нет универсального автомобиля для всего. Книг миллионы, статей тоже. Есть желание — читайте. Я читал статьи из серии выше. Воды там нет. Куда еще меньше сжать. Пересказ из серии «родился, женился, умер»?
                                +4
                                Не слабо, просто выходные в недели только одни. И поймите правильно, для чайников столько уже написано, что в сотый раз плодить аналогичную информацию не хочется. В вот залезть в глубину архитектуры — это интересно.
                                0
                                Скажите, а вы для какой задачи этот мегакомбайн купили?
                                  0
                                  Данный коммутатор уже установлен в Украинской точке обмена трафиком UA-IX.
                                  0
                                  Ээээ, не хотелось бы перебивать Ваши высокоинтеллектуальные битвы, но нам чайникам то поясните все таки, в чём цинус разницы между коммутаторами и маршрутизаторами?
                                  +3
                                  А никто не сможет дать внятный ответ, если рассматриваем топовые (действительно топовые — от сотен тысяч до миллионов долларов) железки. Ну вроде той, про которую топик.

                                  С совсем бюджетными все просто. Свитч позволяет очень быстро общаться в пределах подсети, а роутер может гораздо медленнее передавать пакеты из одной подсети в другую. Это максимально просто выражаясь. У свитча за передачу пакетов отвечает специализированная логика (зовется ASIC в цискиной терминологии), а у роутера каждый пакет проходит через обычный процессор общего назначения (MIPS, ARM или даже x86). У свитча такой процессор тоже есть, но он отвечает лишь за конфигурирование ASICов, ну и за доступ с целью администрирования. Сами пакеты минуют процессор.

                                  А затем появляется мутное семейство L3 свитчей. Стоят они куда дороже L2шных, и наделены функционалом роутера, только имеют недосягаемую для роутера производительность и чаще всего меньший функционал (все операции, связанные с передачей пакета, реализованы аппаратно, потому чем больше железка может, тем дороже стоят составляющие ее чипы, тут как правило не обойтись простым добавлением новых фич в прошивку). Топик как раз про L3 свитч.

                                  Но есть и топовые роутеры вроде упомянутой линейки CRS. Архитектурно — не имеет ничего общего с бюджетными роутерами и потому фактически являются L3 свитчами (ибо пакеты передаются ASICами), только с еще более навороченной аппаратной логикой, с еще большим числом возможностей по части манипуляций с пакетами. Но различия все-таки лишь количественные, ничего качественно другого там нет.

                                  Потому обычно разделение «свитч-роутер» происходит по принципу «будут ли к железке подключаться конечные устройства?». Если да, назовем его «свитч», даже если он прекрасно умеет маршрутизировать. Если нет — скорее роутер. Но все это очень условно и имеет массу исключений.
                                    +2
                                    А еще можно добавить, что и L3 свитчи могут обрабатывать пакеты программно. В случае с моим любимым Cat6500 это происходит для всего, что идет либо от свитча, либо к нему. И есть несколько способов накосячить в конфигурации так, что даже транзитные пакеты будут переданы методом process switching (т.е. без содействия аппаратной логики). Думаю, понятно, что это крайне нежелательно — производительность падает радикально. И если процессор перегрузится, то начнется свистопляска.
                                      +1
                                      По поводу производительности L3 свитчей вы заблуждаетесь, это для роутеров недосягаемая производительность по сравнению со свитчами.
                                        0
                                        Мой мозг не осилил осмысление этой фразы. «это для роутеров недосягаемая производительность по сравнению со свитчами» — разве я не это сказал?
                                      0
                                      Где же такое чудо будет использоваться?
                                        0
                                        Устройство работает в одной из украинских точек обмена трафиком (в лондонской LINX также уже стоят такие девайсы)
                                          0
                                          Приятно что UA-IX развивается. Надеюсь, шумиха вокруг организации не повлияет на ее работу.
                                          Неужели при объемах трафика до 300Гбит уперлись в ограничения BlackDiamond 8800?
                                            0
                                            Уперлись в пропускную способность точки, при пиковых нагрузках, а так как точка построена на BD 8800 и Summit Х650-24х, то существовали ограничения на пропускную способность по backplane и SummitStack. Поэтому было принято решение на построение инфраструктуры на полностью неблокируемой платформе.

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                      Самое читаемое