Адронный коллайдер, десятибалльный ветер и коммутаторы

    На Хабре было уже достаточно много топиков на тему ЦОД и вычислительных кластеров, но интересно ли Вам, на каком оборудовании работает гигант facebook или, например, Московский Internet Exchange? Что лежит в основе СКИФ—МГУ «Чебышёв» и какие «железки» в своей сети использует Большой адронный коллайдер? Добро пожаловать под кат, как говорится!

    Осторожно! Много картинок и текста.


    Небольшое исторически-лирическое отступление



    force10
    Своим названием — «Force10»— компания, прежде всего, обязана одному из своих основателей — Сому Сикдару, который, будучи заядлым яхтсменом и любителем больших волн, увековечил свое уважение к ветру силой в 10 баллов по шкале Бофорта. По сути, это очень сильный шторм. С момента основания компания специализировалась на решениях для высокопроизводительных вычислительных кластеров и корпоративных Центрах Обработки Данных (ЦОД). «Биография» длиной всего чуть больше 10 лет, но в ней можно насчитать полтора десятка событий, ставших знаковыми явлениями для мировой сетевой индустрии: первый 5 Тбит/с пассивный backplane, первый мультипроцессорный коммутатор, первый стоечный гигабитный коммутатор для ЦОД, первый модульный коммутатор с 1260 x GE портами, первая фабрика 10/40 GE на основе открытых стандартов, первый коммутатор ядра сети 2,5 Тбит/с размером 2RU.

    Среди клиентов, использующих коммутаторы Force10, крупные интернет- компании, например, соцсеть facebook, и точки обмена интернет-трафиком (немецкий DE-CIX и московский MSK-IX). Отдельный сегмент потребителей Force10 — кластеры высокопроизводительных вычислений, в частности, суперкомпьютерная отрасль. По данным аналитиков, 30% из списка Top40 суперкомпьютеров мира используют оборудование Force10. В частности, в рамках суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства России и Беларуси и национального проекта «Образование» с использованием технологий Force10 был создан суперкомпьютер СКИФ—МГУ «Чебышёв». Эта совместная разработка МГУ, Института Программных Систем РАН и компании «Т-Платформы» осенью 2009 года заняла вторую строчку в списке Тор50 самых мощных компьютеров СНГ. Вообще, «Т-Платформы» — постоянный партнер команды Force10, использующий эти решения высокопроизводительной коммутации во многих своих проектах.

    Кроме того, на продуктах Force10 построены многие корпоративные сети, требующие высокопроизводительной коммутации. Яркий пример — сеть европейского ядерного центра CERN. Эксперименты в 27-километровом туннеле Большого адронного коллайдера, где разгоняются протоны, порождают ежегодно приблизительно 15 Петабайт данных. Все они немедленно распределяются по компьютерным лабораториям, включая приблизительно 500 научных институтов и университетов разных стран мира. Магистраль лабораторного кампуса CERN функционирует на базе ядра, построенного с использованием 10 GE коммутаторов Force10 E-серии.

    В августе 2011 года компанию приобрела корпорация Dell, и соответствующая линейка продуктов получила название Dell Force10, что сделало Dell лидером мирового рынка в передовом сегменте сетей 40 GE. Нынешнее рыночное позиционирование решений Dell Force10, полученное в результате слияния технологий Dell и Force10, можно охарактеризовать следующим образом: высокопроизводительные открытые решения для ЦОДов, достигающие максимальной функциональности, гибкости, масштабируемости и показателей бесперебойной работы любых ЦОДов, независимо от того, обслуживают они небольшую рабочую группу или крупнейший поисковый сайт интернета.



    Открытые решения и архитектура «шторма»



    В определении рыночной ниши продуктов Dell Force10 есть два ключевых слова: «высокопроизводительный» и «открытый». Продукты семейства Dell Force10 представляют собой именно открытые решения высокопроизводительной коммутации для ЦОДов, созданные на основе открытой архитектуры. Она подразумевает поддержку открытых стандартов, возможность интеграции с оборудованием других производителей, обеспечивая тем самым защиту инвестиций заказчика.

    Все коммутаторы Dell Force10 работают под управлением одной модульной операционной системы FTOS (Force Ten Operating System), поддерживающей коммутацию на втором и третьем уровне (Layer 2 и Layer 3), с высокими показателями производительности и отказоустойчивости. В ней реализован уровень абстракции оборудования, который позволяет запускать одни и те же приложения на разных продуктах семейства Force10. Иными словами, есть возможность неоднократно использовать один и тот же код, что ускоряет развертывание приложений и функционала системы.

    ПО FTOS разработано на базе NetBSD, бесплатной ОС с открытым кодом, построенной по модульному принципу, которая отличается высокой гибкостью, надежностью, портируемостью и эффективностью. FTOS — это операционная система операторского класса, работающая даже на самой младшей модели коммутаторов линейки Dell Force10.

    Для управления сетевыми решениями Dell используется Dell OpenManage Network Manager с графическим интерфейсом пользователя. Кроме того, в больших инсталляциях и виртуализированных средах функциональность FTOS дополняется отличным ПО автоматизации операций в ЦОДе под названием Open Automation, что упрощает управление всей системой и повышает ее эффективность.

    С растущим распространением виртуализации ЦОДы должны быстрее реагировать на изменения. Однако при этом задачи управления становятся все более сложными: IT менеджерам приходится иметь дело с сотнями и тысячами виртуальных машин с соответствующими ресурсами хранения и сетями. Инфраструктура ЦОД должна быстро адаптироваться к требованиям приложений, реагировать на них. Кроме того, серверами, системами хранения данных и сетями более нельзя управлять раздельно — нужна единая динамичная среда. Собственно, Open Automation и нацелена на решение этих задач.



    По сути, Open Automation представляет собой набор связанных между собой инструментов сетевого управления, которые можно использовать совместно или по отдельности:
    • Автоматическая конфигурация коммутаторов (Bare Metal Provisioning ) — сокращает время инсталляции, устраняет ошибки конфигурирования и стандартизирует конфигурации за счет автоматической настройки сетевых коммутаторов.
    • Выполнение скриптов на коммутаторе (Smart Scripting) — улучшает мониторинг и управление сетью с помощью мощной среды скриптов Perl/Python .
    • Автоматическая миграция VM/VLAN (Virtual Server Networking) — упрощает управление сетью в виртуализированной среде, обеспечивая автоматическую миграцию виртуальных локальных сетей (VLAN) вместе с виртуальными машинами (VM).
    • Интеграция с системами управления (Programmatic Management) — управление коммутаторами с помощью инструментов сторонних производителей и поддержка стандартных интерфейсов управления.


    Линейка продуктов Dell Force10



    Линейка продуктов Dell Force10 состоит из четырех основных категорий (серий):
    1) модульные коммутаторы E-серии;
    2) модульные коммутаторы C-серии;
    3) стоечные Top-of-Rack коммутаторы S-серии;
    4) Z-серия для построения распределенного ядра.



    E-серия коммутаторов Dell Force10


    В состав E-серии входят модульные коммутаторы уровня High End, которые включают до 140 портов 10 GE без переподписки или 560 10GE с переподпиской 4:1. Примечательно, что в одном шасси можно обеспечить 1260 портов GE — это уникальная цифра в индустрии по масштабированию для модульных коммутаторов. Благодаря высокой плотности портов 10 GE, эти коммутаторы отлично подходят для работы в качестве ядра ЦОД.



    Модульное шасси коммутаторов E-серии ExaScale E1200i в форм-факторе 24RU включает:
    • Пассивный медный backplane 5 Тбит/с.
    • Модульную фабрику коммутации 3,5 Тбит/с.
    • 14 слотов для интерфейсных карт, 125 Гбит/с на слот.
    • 6 блоков питания AC.


    Отказоустойчивость шасси обеспечивается резервированием источников питания и вентиляторов, резервированием процессорных модулей (1+1), резервными модулями фабрики коммутации ( 9+1).

    Шасси построено на базе распределенной архитектуры, предполагающей распределенную обработку на интерфейсных картах, а также отдельные процессоры для протоколов Layer 2, Layer 3 и управления.



    Модульное шасси ExaScale E600i в форм-факторе 16RU обеспечивает пассивный Backplane 2,7 Тбит/с, имеет 7 слотов для интерфейсных карт (125 Гбит/с на слот). Резервируются модули фабрики коммутации (4+1 1,75 Тбит/с), процессорные модули (1+1), блоки питания (3+1 AC).

    C-серия коммутаторов Dell Force10


    C-серия — это модульные шасси для агрегации ЦОД и ядра корпоративной сети. Для них характерна низкая стоимость в расчете на один порт. Способны поддерживать до 64 портов 10 GE и 384 GE без переподписки. Клиенты прозвали этот коммутатор трактором: включили, один раз настроили, и он «пашет», как трактор.

    Модели C150 и C300 имеют пассивный медный backplane, четыре или восемь слотов для интерфейсных карт (96 Гбит/с на слот). Пропускная способность составляет, соответственно, 768 Гбит/с и 1,536 Тбит/с. Резервируются источники питания, процессорные модули с интегрированной фабрикой коммутации, вентиляторы.

    В списке интерфейсных карт для C-серии есть интересный вариант карты FlexMedia с разными типами портов, расположенных на одной карте: 36 портов 10/100/1000, 8 портов GE SFP и 2 порта 10GE SFP+.



    Модульные коммутаторы C-серии прекрасно подходят для использования в ЦОДах в качестве End-of-Row коммутатора и для целей агрегирования. Поскольку все коммутационные системы C-серии поддерживают технологию Power over Ethernet, их можно развертывать в кампусных сетях и коммутационных шкафах.

    S-серия коммутаторов Dell Force10


    S-серию составляют коммутаторы Top-of-Rack с возможностью стекирования, обеспечивающие подключения серверов по каналам Gigabit Ethernet и 10GE.

    Линейка продуктов S-серии состоит из систем фиксированной конфигурации 1/10/40 GE, предназначенных в основном для использования в качестве Top-of-Rack коммутаторов уровня доступа ЦОДа. В составе линейки: модель S55 с 44 портами 10/100/1000Base-T и низкой задержкой коммутации, модель S60 с увеличенным пакетным буфером, а также S4810, ориентированная на обеспечение наивысшей плотности портов коммутатора 1/10 GE Top-of-Rack и поддерживающая 40 GE.

    Модели S55 и S60 — гигабитные коммутаторы Top-of-Rack — имеют 44 медных порта 10/100/1000 для подключения серверов и до 4 портов 10 GE. Модели S55 и S60 поддерживают функционал Open Automation.

    Размер пакетного буфера коммутатора S60 составляет 1,25 Гб — это уникальный показатель для стоечных гигабитных коммутаторов для всей отрасли сетевой индустрии. Коммутатор с такими возможностями особенно хорошо подходит для приложений, которые, с одной стороны, характеризуются большими всплесками трафика, а с другой, критичны к потерям пакетов, как, например, видео, iSCSI, Memcache, Hadoop.

    Стоечный Top-of-Rack коммутатор S4810 c неблокируемой архитектурой обеспечивает пропускную способность 640 Гбит/с (full-duplex) и низкую задержку 700 нс, снабжен 48 портами 10 GE для подключения серверов и 4 портами 40 GE. С помощью кабелей разветвителей порт 40 GE может быть превращен в 4 порта 10 GE, и тогда у коммутатора оказывается 64 порта 10 GE, работающих на полной скорости и без переподписки. Поддерживает 128K MAC-адресов, обеспечивает коммутацию на уровнях Layer 2 и Layer 3, маршрутизацию протоколов IPv4 и IPv6. Реализована встроенная поддержка автоматизации и виртуализации (Open Automation), а также поддержка конвергенции сетей SAN и LAN (DCB, FCoE).



    Коммутаторы S4810 возможно объединить в стек с помощью портов 10 или 40 GE (максимальная полоса пропускания для стекирования — 160 Гбит/с). Поддерживается объединения до 6 коммутаторов в стеке. При этом не требуются специальные стековые модули.

    Поддерживается также технология Virtual Link Trunking (VLT), которая позволяет подключить серверы и коммутаторы с помощью агрегированных каналов к двум коммутаторам S4810, обеспечив тем самым отказоустойчивость и балансировку трафика по всем каналам в сети.



    Блейд-коммутатор Dell Force10 MXL для блейд-шасси Dell PowerEdge M1000e, анонсированный в конце апреля и впервые показанный на выставке Interop 2012 в Лас-Вегасе, — первый в индустрии коммутатор с портами 40 GE, выполненный в блейд-формате. Он создан как составная часть виртуальной сетевой архитектуры, исходя из требований высокой производительности и высокой плотности, и способен поддерживать современные нагрузки как в традиционных, так и в виртуальных сетевых структурах, а также в публичных и частных облачных средах.

    Dell Force10 MXL отличает высокая плотность портов в едином устройстве: 32 порта 1/10 GE для подключения блейд-серверов при условии неблокируемой локальной коммутации для всех блейд-серверов, подключенных к коммутатору. Он масштабируется до шести внешних 40 GE портов или до 24 внешних портов 10GE.

    Коммутатор Dell Force10 MXL поддерживает стекирование, допуская подключение в стек до шести коммутаторов, которые управляются через единый IP-адрес. Для стекирования используются порты 40 GE.

    Кроме того, коммутатор MXL можно легко наращивать с помощью интерфейсных модулей расширения, добавляя порты 40 GE QSFP+, 10 GE SFP+ или 10GBase-T. Использование блейд-коммутатора Dell Force10 MXL — хороший способ построения конвергентной сети SAN/LAN. Он полностью поддерживает конвергентные решения хранения данных на базе DCB и FCoE. Коммутатор MXL доступен к заказу уже сейчас.

    Z-серия коммутаторов Dell Force10


    Коммутатор Z9000 предназначен для построения распределенного ядра. При размере 2RU он способен вместить 32 порта 40 GE или с помощью кабелей-разветвителей — 128 портов 10 GE. Неблокируемая фабрика способна обеспечить пропускную способность 2,5 Тбит/с при задержке менее 3 мкс.



    При этом коммутатор потребляет очень мало энергии — до 800 Вт, что составляет 6,25 Вт на один порт 10 GE. Он представляет собой типовой строительный блок для новой архитектуры распределенного ядра (Distributed Core), разработанной корпорацией Dell.

    Распределенное ядро





    Архитектура распределенного ядра состоит из двух уровней: Spine (тот, что вверху) и Leaf (тот, что снизу). Можно провести аналогию с модульным шасси — представить распределенное ядро в виде большого модульного шасси, у которого роль фабрики коммутации выполняют коммутаторы Spine, роль интерфейсных карт выполняют коммутаторы Leaf.

    Подключения между Spine и Leaf коммутаторами выполняются интерфейсами 40 GE, причем можно использовать и 10 GE с помощью кабелей-разветвителей. Протокол управления этого модульного шасси «живет» на каждом из коммутаторов: и Spine, и Leaf, то есть он является распределенным. Все коммутаторы общаются и взаимодействуют между собой на основе открытых стандартов. Масштабирование происходит путем добавления в фабрику коммутаторов Spine и Leaf по принципу plug-and-play. С использованием распределенного ядра можно построить фабрику Layer 3 на основе протоколов маршрутизации OSPF, BGP и механизма балансировки трафика по нескольким путям ECMP (Equal Cost Multipathing). Таким образом удается задействовать все каналы в фабрике. В будущем планируется также поддержка протокола TRILL (Transparent Interconnection of Lots of Links), который позволит создать Layer 2 фабрику с балансировкой по всем доступным каналам в фабрике.

    В зависимости от задач, стоящих при проектировании фабрики, можно построить распределенное ядро без переподписки и с переподпиской.



    Фабрика для ЦОД любого размера



    Размер фабрики Маленькая Средняя Большая
    Узлы Spine S4810 Z9000 Z9000
    Узлы Leaf S4810 S4810 Z9000
    Число узлов 4 spine/12 leaf 4 spine/32 leaf 16 spine/32 leaf
    Интерконнект фабрики 10 GbE 40 GbE 40 GbE
    Производительность фабрики 3.84 Тбит/с 10.24 Тбит/с 40.96 Тбит/с
    Доступных портов 10GbE 576 с переподпиской 3:1 1,536 с переподпиской 3:1 2,048 неблокируемых


    Такая архитектура обеспечивает высокую надежность. Через каждый узел Spine проходит 100/n процентов полосы пропускания (где n — количество коммутаторов Spine). Значит, для 16 узлов Spine в случае отказа одного из них доступно 93,75% полосы пропускания, по сравнению с 50% для традиционного дизайна, состоящего из двух модульных коммутаторов.

    Кроме того, становится возможным масштабировать систему по мере роста: начать с минимального числа узлов Spine и Leaf и затем добавлять по мере необходимости (до 8192 портов доступа 10 GE без переподписки в фабрике). По сравнению с сетью, построенной на модульных шасси, распределенное ядро имеет меньше энергопотребление и занимает меньше места в стойках.

    Для того чтобы упростить создание распределенного ядра, корпорация Dell разработала специальное ПО Dell Fabric Manager. Оно помогает проектировать и создавать распределенное ядро, а также управлять им. В частности, автоматизируется ряд трудоемких функций, как, например, разработка схемы кабельной разводки для соединения портов между коммутаторами фабрики или конфигурирование системы из множества коммутаторов. Dell Fabric Manager поддерживает также удаленный мониторинг коммутаторов распределенного ядра, используя наглядное графическое представление топологии сети.

    Таким образом, архитектура распределенного ядра обеспечивает сверхмасштабируемую фабрику Leaf-Spine для ЦОДа с минимальной задержкой коммутации на скорости до 160 Тбит/с при умеренных размерах, требованиях по мощности и цене.

    Что будет дальше?



    Очевидно, что тенденция виртуализации теперь распространяется и на сети: в гипервизорные среды начинают встраивать сетевые возможности для виртуальных машин. Первым шагом в реализации этой тенденции стало появление встроенных виртуальных коммутаторов vSwitch (таких, как, например, vDS для VMware ESX). Компания Dell включила поддержку виртуализации в состав своего ПО автоматизации управления ЦОДом Open Automation. Следующий логический шаг в сторону более глубокого внедрения возможностей виртуализации в сеть и поддержки виртуализации между ЦОДами связан с технологиями VxLAN (Virtual Extensible Local Area Network) и NVGRE (Network Virtualization using Generic Routing Encapsulation).

    В августе прошлого года группа компаний, возглавляемая VMware, анонсировала в рамках IETF проект RFC для VxLAN — виртуальных расширяемых локальных сетей. Фактически это предложение стандарта виртуализации, который позволит перемещать виртуальные машины через границы Layer 3, используя абстракцию идентификаторов второго уровня (Layer 2 ID). В сентябре другая группа компаний, возглавляемая Microsoft, анонсировала еще один проект — IETF RFC для NVGRE. Предлагаемая в рамках NVGRE среда виртуализации сети поддерживает безопасный режим использования общих ресурсов (multi-tenancy) и мобильность виртуальных машин в частных и публичных облаках с помощью протокола инкапсуляции Generic Routing Encapsulation (GRE).

    Корпорация Dell намерена поддерживать обе спецификации: VxLAN и NVGRE — и работает над поддержкой соответствующих технологий в своих продуктах Dell Force10. В таком случае заказчики продукции Dell смогут применять те гипервизоры, к которым они привыкли. Более того, Dell предполагает тесно сотрудничать с ведущими вендорами гипервизоров и ОС для дальнейшего совершенствования спецификаций VxLAN и NVGRE.

    Мы считаем, что в дополнение к виртуальным сетям в гипервизорной среде сама физическая сеть также должна эволюционировать в направлении открытых и основанных на стандартах сетей Software Defined Networking (SDN). Сетевая архитектура программно-конфигурируемых сетей SDN основывается на двух фундаментальных архитектурных принципах: (1) разделения уровня управления (control plane) и уровня передачи данных (data plane) и (2) совместимости с виртуальными сетями в гипервизорных средах следующего поколения. Будущая сетевая архитектура, в которой функционируют «знающие» о сети приложения, работает в виртуализированной среде и при необходимости динамически создает логические сети. Эти логические сети являются наложенными, то есть работают поверх программно-управляемой физической сетевой инфраструктуры, и разработаны для того, чтобы доставлять все необходимые данные и приложения, а также дополнительные сервисы любому пользователю, независимо от того, является среда физической или виртуальной.

    В Dell такую архитектуру называют Virtual Network Architecture (VNA) и разрабатывают продукты и решения в соответствии с приоритетным для нашей компании направлением к сетям SDN.

    Что ж, если вам интересно, как коммутаторы Dell Force10 могут помочь в вашем бизнесе, — обращайтесь. Наши специалисты могут и проконсультировать, и выехать к вам посмотреть «что к чему», и вместе с вами подумать о внедрении Force10 для решения ваших задач. Все вопросы вы можете адресовать напрямую Марату Ракаеву из Dell: marat_rakaev@dell.com.

    UPDATE!!! Вся информация в статье полностью актуальна.
    Dell Technologies
    Компания

    Комментарии 60

      +2
      Серьезные железки.
        +13
        на каком оборудовании работает гигант facebook или, например, Московский Internet Exchange? Что лежит в основе СКИФ—МГУ «Чебышёв» и какие «железки» в своей сети использует Большой адронный коллайдер

        Как же надоели эти «заманухи», ради того чтобы показать рекламный буклет.
        Скоро кроме железных гиков в ваши корпоративные блоки никто заходить не будет.
          –2
          Мы решили сделать такую аннотацию к посту не в целях «заманухи», а дабы было интересно нажать «Читать далее». Информация, представленная в статье, достаточно специфична. И, да, facebook и Чебышёв используют Dell Force 10, и мы этим, в принципе, гордимся.
            +9
            Тем, что такие компании импользуют ваше железо, безусловно, можно гордиться, тут нет вопросов.
            Но когда в аннотации на главной написано одно, а под катом — совсем другое, мне кажется, это дешево и глупо. Извините.
              0
              Под катом содержится статья, в которой мы рассказываем «на каком оборудовании работает facebook...» Что не так, извините!?
              Где на главной «одно», а под катом «другое»?
                +5
                Ну нет так тут то, что статья получилась чисто маркетинговой брошюркой. В которой рассказывается о ваших продуктах. В принципе статья сама по себе хорошая. В ней интересно рассказано о ваших продуктах.
                Но про фейсбук и прочие коллайдеры у вас по сути ровно 1 строчка «а еще наше оборудование используют фейсбук и прочие крутые перцы»… а я например открывал статью в надежде прочитать именно про то как они используют ваше оборудование, а не только про факт одной строчкой, что они в принципе его используют…
                0
                Мне вот тоже показалось, что будут рассмотрены и разжеваны инфраструктуры фейсбука и др, а не расписаны достоинства линейки продуктов, которые там использованы.
              +5
              >> не в целях «заманухи», а дабы было интересно нажать «Читать далее»
              так это ж и есть цель заманухи. Если бы в аннотации вы написали «фейсбук использует наши железки ф10. Хотите узнать что это за железки? читайте дальше» — было бы всё честно. А я тоже зашел почитать, как ваши железки встроенны в фейсбук
                0
                не все компании готовы разглашать конфединциальную информации
                по мере возможности Dell публикует Case Studies вот тут:
                www.dell.com/content/topics/global.aspx/casestudies/casestudies?c=us&l=en

                конкретно по CERN вот тут есть видео на английском:
                www.youtube.com/watch?v=oWht3mDnq5k
                  0
                  Про Force10 в MSK-IX дополнительную информацию можно посмотреть на сайте MSK-IX. Топология:
                  www.msk-ix.ru/download/forum2010/Ilin_PF2010_1.pdf
                  Выбор и тестирование:
                  www.msk-ix.ru/download/forum2009/Ilin_PF2009.pdf

                  В суперкомпьютере СКИФ МГУ «Чебышев» используется Force10 C-серия для вспомогательной сети:
                  top50.supercomputers.ru/?page=stat&sub=ext&id=355

                  К сожалению, про фейсбук мы не можем предоставить публичную информацию.

                    0
                    спасибо и на этом :)
                      0
                      Топология:

                      «Ограниченное количество line-rate 10Gbit/sec стыков на Cisco 6500»
                      Ну ёп… А что они еще хотели от железки с 80гб/с на слот, да и то в full duplex? Зачем стариков пинать? Сейчас у циски и нексусы есть. Но да, в 2010-м их считай что не было.
                      В суперкомпьютере СКИФ МГУ «Чебышев» используется Force10 C-серия для вспомогательной сети

                      «На чем построена вспомогательная сеть СКИФ—МГУ «Чебышёв»» звучит куда менее пафосно, чем «Что лежит в основе СКИФ—МГУ «Чебышёв»», согласен :)
                  +2
                  Не понял сути претензии, крайне интересная статья.
                +3
                Жаль, что только коммутаторы. Маршрутизаторов нет, mpls, vpls нет.
                *IX маршрутизация не нужна, у них как раз коммутация, да RS. А вот какому-нибудь ЦОД только коммутаторов мало и иногда дешевле выбить скидку у одного вендора на покупку связки router(s) + firewall(s) + switch(s).

                Я так понимаю, что Dell купила Force 10 в том числе ради конкуренции с HP их их ProCurve. Но про это как-то в статье не сказано :)
                  0
                  Гугл подсказал, что как минимум e-series пару лет назад узнали про существование MPLS. Гугл, а не статья. Ппц.
                    0
                    Надо же, и правда mpls :) Спасибо, не знал. Правда здоровые дуры эти Е. Но хочется-то уже конечно VPLS и вообще маршрутизатор, а не коммутатор :)
                      0
                      Внутри ЦОДа не бывает таких маршрутизаторов, которые не коммутаторы :)
                      Можно вернуться к старому холивару: «являются ли L3 коммутаторы маршрутизаторами?». Я говорю «да, конечно».
                      Ну и некоторые L3 коммутаторы прекрасно поддерживают VPLS, даже с IRB.
                        0
                        Еще как бывают! Juniper MX, например. У нас они не коммутируют на L2 между интерфейсами и сабинтерфейсами.
                        Cisco Catalyst — да, коммутатор с функциями L3. Это коммутаторы со всеми особенностями коммутаторов.
                        Juniper MX — маршрутизатор с хаками и костылями, чтобы он мог где-то как-то просвитчевать. Но можно и без этого их использовать спокойно.
                          +1
                          Juniper MX почему-то называют пограничным маршрутизатором, а мы тут вроде как фабрики обсуждаем :)
                            0
                            Я загнул изначально мысль про желание большего функционала и модельности для ЦОД. Не только свитчи, но и хотя бы маршрутизаторы.
                              0
                              Вот про функционал у меня к ним как раз большие вопросы чуть ниже…

                              Ну и на самом деле VPLS в случае построения ЦОДов применим в одном случае — при L2 DCI. Решение довольно убогое в этом плане, есть куда лучшие варианты. Не знаю как F10 и какие у них есть технологии на этот счет, но нексусы 7k умеют OTV. Цель та же, но через OTV линки не ходит unknown unicast, а броадкасты очень жестко прессуются, ну и для сервера первый хоп всегда будет на той же площадке без всяких костылей, да и обратный трафик по идее должен ходить оптимально. Циска заявляет, что шторм в одном ЦОДе не затронет другой ЦОД…
                              Имея OTV, я не вижу ни одной причины задействовать VPLS. Протянуть L2 между ЦОДом и несколькими площадками с пользователями? Правильный ответ сетевика на такой запрос — «иди на хер, это технически невыполнимо», и тогда запрашивающий всегда найдет более правильное решение.

                              Да и вообще, L2 DCI — зло, от которого стоит держаться подальше вне зависимости от поддерживаемых технологий.
                                0
                                О, OTV! Сколько раз нам пыталась Cisco про него пропеть хвалебные песни :)
                                Предлагаю холливар про OTV vs VPLS на этом и завершить.
                      0
                      E-серия поддерживает MPLS, P функционал. MPLS VPN, VPLS не поддерживается. Поэтому мы и не стали упоминать про MPLS :)
                    +3
                    Гигибиты, порты, снова гигабиты… Это не так интересно. Куда интереснее поддерживаемые технологии, а в статье про это лишь пара слов. Например, в спеках вижу «Hardware support for Transparent Interconnection of Lots of Links (TRILL) and Data Center Bridging (DCB)». То есть на данный момент не реализовано программно ни то, ни другое? Ну ребята, это уже даже не смешно, если железки заявлены как ЦОДовые. От DCB очень здорово выигрывают тяжелые потоки, чувствительные к потерям — iSCSI и тому подобное. А без TRILL или чего-либо на его основе уже как-то и неприлично строить ЦОД с крупными L2 сегментами.

                    «Открытость»? Ну да, в теории здорово, для рекламного лозунга в самый раз. На практике это в сетях не так важно. При крупных инсталляциях не принято плодить зоопарк из вендоров, потому выигрывает тот вендор, у которого решение банально лучшее — даже если полностью проприетарное.
                    В статье я не увидел, чтобы что-либо поддерживалось этими железками. ECMP? Только на L3, то есть упоминать об этом все равно что говорить «наши железки поддерживают протокол IP» — все поддерживают это. На L2 ECMP у вас нет, а у большинства конкурентов есть. Имеется mLAG — опять же, на два шасси его реализовали все. В стеки умеете складываться? Удивили…

                    И поправьте меня, если я ошибаюсь, но вроде бы VXLAN и NVGRE не требуют абсолютно никакой поддержки со стороны физического сетевого железа…

                    Так что просьба в следующий раз поменьше писать про гигабиты и побольше — про технологии. У меня сложилось ощущение, что force10 — безмозглые пакетодробилки — офигительно быстрые, но ничего толком не умеющие.
                      0
                      А, нет, ctrl+f подсказал, что DCB есть, при чтении проглядел… Ну что же, уже хорошо.
                        +1
                        Вот небольшое сравнение разных фабрик по количеству наиболее важных для крупных ЦОДов фич. © Иван Пепельняк, ipspace.net.
                        Скрытый текст




                        Так все-таки, есть ли у вас DCB (вот прямо сейчас, в текущем софте, а не когда-то в будущем), или нет? Иван вроде как запрашивал напрямую у Dell, информация актуальна на май 2012.
                          0
                          Поддержка DCB в софте появится на S4810 в июле. В то же время станет доступным к заказу блейд-коммутатор Dell Force10 MXL, также с поддержкой DCB.
                            0
                            Так какого хрена написано «Реализована встроенная поддержка автоматизации и виртуализации (Open Automation), а также поддержка конвергенции сетей SAN и LAN (DCB, FCoE)»? Там ведь небось и FCoE нету, раз DCB отсутствует. И данная фраза куда больше смахивает на преднамеренный обман потенциальных покупателей, чем «hardware support for», к которому все давно уже привыкли.
                            Мне как потенциальному покупателю неинтересно, что там выйдет в будущем. Важно, что есть сейчас. А если прямо сейчас нужно строить конвергированные сети, то думаю, никто не станет брать тот же S4810. Кому охота устраивать бетатест в продакшне?
                        0
                        У нас не было цели перечислить все поддерживаемые технологии и протоколы в рамках данной статьи. Целью статьи было познакомить вас с нашим сетевым портфолио Dell Force10 и сделать его краткий обзор. Мы учтем ваши комментарии и в дальнейшим будем более подробно рассматривать технологии и решения.

                        Ориентация на открытую архитектуру и поддержку стандартов по нашему мнению очень важна. Такой подход позволяет, к примеру, заказчику выбирать лучшее оборудование для своих задач и участков сети (firewall, ядро, доступ, балансировщики, оптимизаторы трафика). Как раз таки в крупных инсталляциях (например, Web 2.0 заказчики) чаще встречается оборудование нескольких вендоров, чем моновендорный подход.

                        Pre-standard или собственная реализация TRILL имеется сейчас у Cisco, Brocade и Juniper. На мой взгляд, одной из причин, ограничивающих сейчас широкое распространение TRILL, является отсутсвие у вендоров стандартной реализации.

                        В подходе Network Virtualization Overlays (NVO), разрабатываемом в рамках VXLAN, NVGRE и STT, есть gateway, который обеспечивает взаимодействие между виртуализированной средой и невиртуализированной. Роль gateway может играть appliance, коммутатор или маршрутизатор. В связи с этим в зависимости от реализации потребуется поддержка этих технологий и на сетевом оборудовании.

                        Интересно посмотреть, как со стандартизацией NVO изменится картина в будущем. Не будет необходимости «растягивать» VLAN-ы внутри ЦОД и между ЦОД. NVO и надежная, масштабируемая Layer 3 фабрика позволят решить задачи по миграции виртуальных машин и изоляции клиентов (multi-tenancy).
                          0
                          Обалдеть. Полтора месяца! Я уж успел потерять всякую надежду на ответ :)

                          Целью статьи было познакомить вас с нашим сетевым портфолио Dell Force10 и сделать его краткий обзор.

                          Все-таки он был уж очень краткий. Опять же, заявления вроде «у нас фабрика коммутирует 100500 миллионов пакетов в наносекунду!» хороши разве что в качестве маркетингового материала для менеджеров, а не для технарей.
                          Такой подход позволяет, к примеру, заказчику выбирать лучшее оборудование для своих задач и участков сети (firewall, ядро, доступ, балансировщики, оптимизаторы трафика).

                          Ничто не мешает ставить полностью проприетарные решения разных вендоров на каждый из названных участков уже 10 лет назад (хотя все-таки ядро и доступ ну крайне редко делят по разным вендорам). Взять циску, которая выпускает по линейке железок под каждую из названных задач. Ведь они (железки) совершенно разные. У них абсолютно разные ОС. Поддерживаются совершенно разные технологии. Как будто делаются они и разными вендорами. Разумеется, в половине случаев Cisco просто купили производителя железки и сменили бренд, практически не внося изменений (см. балансировщики CSS). В итоге вместо ASA запросто можно поставить жуниперовый SRX, а вместо ACE — Big-IP. Смотря что больше подходит под конкретную задачу.
                          Ну и можно добавить, что фичи вроде TRILL определенно не для нищебродов, а ИМХО только нищеброды будут комбинировать железо разных вендоров под одну и ту же задачу. Недостатков тут полно, главный — сложности с траблшутингом и близкий к 100% шанс получить проблемы при рассмотрении кейса у вендора по причине «вон там у вас чужое железо, мы его не поддерживает, вероятно оно глючит».
                          Помнится, один архитектор циски пиарил нам vBlock. Основной аргумент: и сеть, и гипервизор, и сторы производятся одним «виртуальным» вендором, и если что-то глючит непонятно где (но вроде как на стыке между зонами ответственности) — футбол по кейсу если и начнется, то незаметно для клиента, и напрямую между сотрудниками поддержки каждой из компаний.
                          Pre-standard или собственная реализация TRILL имеется сейчас у Cisco, Brocade и Juniper. На мой взгляд, одной из причин, ограничивающих сейчас широкое распространение TRILL, является отсутсвие у вендоров стандартной реализации.

                          Насколько мне известно, железо у всех троих будет поддерживать и стандартную реализацию. Зато у них есть важное преимущество: функционал поддерживается уже прямо сейчас, на выпускаемом в данный момент железе. И есть много-много великолепных технологий, которые сначала сначала были придуманы и реализованы той же циской, а затем, спустя годы, стали стандартов в идентичном либо чуточку измененном виде. TDP/LDP, HSRP/VRRP, PAGP/LACP, ISL/.1q (ну ладно, тут различия радикальны, но суть не меняется) и так далее. Важно то, что клиенты циски могли задействовать их раньше всех, т.е. вендор ощутил потребность клиента в фиче и запилил ее, наплевав на всех с высокой колокольни => клиенты счастливы. Проходят годы, стандарт крепнет, и циска может отказаться от своей проприетарщины, допилив себе поддержку стандарта.
                          Вы говорите «отсутсвие у вендоров стандартной реализации» — а отсутствие на вашем железе хоть какой-нибудь поддержки хоть чего-либо похожего на TRILL как-то помогает стандарту скорее развиться? Получается, что с технологической точки зрения вы с такой политикой будете вечно в догоняющих, постоянно упуская рынок…
                          Cisco недавно объявили о вступлении в гонку SDN, анонсировав ONE. Насколько я понял — 100% проприетарный протокол, но с открытым API (т.е. любой самописный контроллер сможет управлять железками, но никто не может выпускать железки с тем же API — не знаю, как это назвать). Ситуация повторяется. Пока кто-то мучительно согласовывает стандарты Openflow и штампует одну версию протокола за другой (разумеется, железо за этим не поспевает), другие с нуля разрабатывают собственное решение, по назначению такое же, но по реализации совершенно иное. И надо ли говорить, что тем организациям, которые привяжутся к ONE, переметнуться на другого вендора будет в стократ сложнее, чем текущим покупателям циски? Но снова: они будут использовать передовое решение, которое наверняка окажется лучше стандарта как минимум первые несколько лет.
                          (прошу меня извинить за столь частое употребление названия конкурирующей фирмы, но лучшего противопоставления просто не придумать)
                          Роль gateway может играть appliance, коммутатор или маршрутизатор.

                          «In the vSphere architecture the encapsulation is performed between the virtual NIC of the guest VM and the logical port on the virtual switch. This makes VXLAN transparent to both the guest VMs and the underlying Layer 3 network. Gateway services between VXLAN and non-VXLAN hosts (e.g. a physical server or the Internet router) are performed by VMware's vShield Edge gateway appliance. The Edge gateway translates VXLAN segment IDs to VLAN IDs, so that non-VXLAN hosts can communicate with VXLAN virtual servers.»
                          Так все-таки, в нашей вселенной и в наше время заменой заголовков VXLAN/NVGRE на .1q/GRE ведает софтовая приблуда в каждом гипервизоре, или отдельный апплайанс? И снова оказывается, что реальной поддержки на данный момент нет?
                          На самом деле, хорошая идея для статьи: написать про VXLAN/NVGRE (в привязке к реальному миру). Технологии весьма перспективные, но при этом очень мало кому доводилось с ними сталкиваться. Будет заодно повод попиарить свое железо :)
                          NVO и надежная, масштабируемая Layer 3 фабрика

                          Об этом действительно стоит мечтать. Но в полной мере оно будет реализовано не сегодня и не завтра.
                            0
                            А, нет, не полтора месяца, а 3 недели. Сглючило малость.
                              0
                              Лето — пора отпусков :)
                                0
                                Есть малость. Даже со второй попытки не смог сосчитать. Реально казалось, что полтора месяца прошло :)
                        +1
                        Если в разаработке использовано ПО с открытым кодом, то где возврат сообществу своих наработок? Или режим хомячания «СПО взяли, а назад шиш»?
                          +1
                          Про Force 10 не знаю, а Juniper иногда возвращает в FreeBSD. Особенно когда им лень поддерживать самим совместимость нужного им кода в новых версиях ядра, например.
                            0
                            В wikipedia пишут: «Force10 made a donation to the NetBSD Foundation in 2007 to help further research and the open development community.» Деньги даже лучше, их можно потратить так, как хочется :)
                          0
                          Цена вопроса тактично замалчивается… :)
                            0
                            Тем, кому имеет смысл её знать — скажут при запросе, а остальным для чего? Чтобы подивиться «ого, коммутатор стоит как квартира в Москве»?
                              0
                              Ну почему же? Цены вполне демократичны. Ни малейшего сарказма — оно действительно стоит копейки, $31k за 48 10G + 4 40G неблокируемых портов.
                              configure.us.dell.com/dellstore/config.aspx?oc=mlb14095&model_id=force10-s4810&c=us&l=en&s=biz&cs=555

                              По поводу гробов, к сожалению, удобной конфигурилки не нашел, а считать по частям лень. Навскидку, в средней набивке около полляма американских единиц за пару. Тоже неплохо.
                                –1
                                почти млн рублей за 48 портов? Что-то не особо попахивает демократичностью :)
                                  +1
                                  «Авианосец стоит миллиард??? А чо так дорого-то? Я вчера на рынке купил радиоуправляемый кораблик всего за тыщу рублей!»

                                  В случае сетевого оборудования миллион рублей — не деньги вообще. Одна лицензия adventerprisek9 для Cisco Cat6500 стоит почти полмиллиона рублей по GPL. Притом, что можно либо при наличии любого контракта скачать нужный образ прямо с сайта циски (никаких серийников, и никто никогда не проверяет лицензионность образа, включая сотрудников самой циски), либо тупо взять файл с торрентов (см. выше про полный пофигизм). Абсолютно никаких технических проблем в этих случаях не будет даже гипотетически, образы идентичны с точностью до бита, циска даже при отсутствии прав на скачку позволяет сверить хеши, кряки любого рода не нужны. И ничего, покупаем же…
                                    0
                                    Как бы слово «демократичный» намекает на «доступность для народа», чтото мне подсказывает что 10Г совсем еще не для народа с такими то ценами. (у других производителей то не дешевле :) )
                                      0
                                      Ну так народ — компании, имеющие ЦОДы, в которых данное железо уместно… И для них эта цена вполне доступна.

                                      «Дорого» и «дешево» — понятия крайне относительные. Мне кажется, что 48 10G портов с 40G аплинками за $31k — это прекрасно. Вы, глядя на неуправляемые 100мб/с дэлинки, ужасаетесь тому, что 48 портов могут стоить $31k. См. выше про авианосец и радиоуправляемый кораблик. Они плавают на воде — и больше между ними нет ничего общего :)
                                        0
                                        С такой логикой — всё «демократично» :) И гугл себе прикупить по «демократичной» цене, и пару островов в тихом океане :)

                                        Да и кто вас заставляет то на длинках и на 100М сидеть? Гигабит давно шагает по планете :) Другое дело что если начинаешь задумываться о 10G в домашних условиях, только одна сетевуха встанет в 500к$, соответственно чтото интересное и высокопроизводительное выливается уже в копеечку.
                                          0
                                          500k$ читать без «к» :)
                                            0
                                            Ну вот скажите к примеру, 2-ядерный смартфон за 15000р. — это демократично? По мне — вполне. Но с точки зрения, наверное, четверти населения страны (если не больше) данная сумма за мобильник является немереной и абсолютно неадекватной. Дорого это для них.

                                            100мб/с — на данный момент стандарт для подключения конечных юзеров к сети, и в обозримом будущем это изменено не будет.

                                            Хочется 10G дома? Ну можно сделать эрзац — несколько плат с несколькими портами 1G на идентичных чипсетах (Marvel или Intel) объединить в бандл и завести на управляемый свитч с гигабитными портами, знающий про port-channel'ы. Тогда можно добиться подключения на скорости в 8G при многопоточной передаче данных. Но зачем? Для копирования по сети файлов на таких скоростях (дома) надобно шустрые SSD, а то и в RAID0.
                                              0
                                              Судя по населению как раз смартфоны — демократичны :) как посмотришь что народ юзает, так получается что четвертый айфон у каждого через одного :)

                                              У когото 100мб/c стандарт, а ктото уже на гигабит переходит в домашних подключениях (не считая гепоновских недоделок)

                                              Эрзац не особо получится (хотя двухгигабитный эрзац я дома уже сделал), 10 коннектов должно быть у каждой железки в сетке, получается при 5 нодах нужна 50 портовая хрень. Кто сказал что нужно для «копирования файлов»? Есть задачки где в домашних условиях миникластер перестает масштабироваться изза пропускной способности сети…
                                                0
                                                Ну в замкадье тоже есть жизнь, и там не всегда могут позволить себе и первый айфон :) Да и обычно если народ достает в транспорте айфон, то основная задача — продемонстрировать всем, что у них айфон — владельцы простых мобильников так не делают.

                                                Дома у меня тоже гигабит… А десятка пока еще действительно дороговата для дома. Лет 7 назад мало кто мог позволить себе домой и гигабит…

                                                Домашний миникластер, который уперся в 2гб/с — это пять… Я-то считал себя маньяком по причине наличия дома своего ESX сервера…
                                                  0
                                                  Я о людях лучшего мнения, считаю что достают сотик по надобности а не похвастаться :)

                                                  Как раз гигабит в регионах вводят гораздо быстрее.

                                                  уперся он конечно не в пропускную способность, а в задержку, но она как раз зависит от пропускной способнсти :-(
                                                    0
                                                    Два свитча с одинсковой скоростью интерфейсов могут давать задержку, различающуюся на порядки. В посте упоминался «быстрый» свитч от F10. У циски например под это дело есть линейка Nexus 3k. Именно под минимальную задержку при передаче пакета.
                                                    Но да, у 10G время сериализации малость поменьше, чем у гига.

                                                    Что до мобильников — я не вижу иных объяснений тому, что человек, слушая музыку, время от времени достает айфон, смотрит на локскрин и убирает его обратно. Это как раз попытка демонстрировать «статусность». И конечно, в большинстве таких случаев айфон куплен в кредит на пару лет…
                                                      0
                                                      У меня например смс беззвучные, соответственно приходиться доставать, зато не шумлю каждые несколько секунд, но не айфон…

                                                      на циску посматриваю времени от времени, но пока подозрения что это не настолько поможет как переход на 10G
                                                        0
                                                        на циску посматриваю времени от времени

                                                        Nexus 3048? $12k GPL. «Нецелесообразно» было бы правильным словом, если мы говорим о покупке домой… Но это — один из самых быстрых гигабитных свитчей на рынке.
                                                        А если другие циски, то надо выкапывать обзоры.
                                                          0
                                                          зачем? :) для дома тогда уж 16портовой хватит, 2.5k$
                                                            0
                                                            16-портовый нексус линейки 3k (3016Q) с минимальной задержкой передачи пакетов стоит от $60k — ибо эти 16 портов там 40G :)

                                                            А в том, что у каталиста задержка будет меньше, чем у неуправляемого дэлинка, я не уверен совершенно — их для другого проектировали.
                                                              0
                                                              Нет справедливости в этом мире! :)
                                                  0
                                                  Если не секрет, что за задачки такие? :)
                                  0
                                  На каких чипах выполнено ваше топовое предложение? Broadcom Trident 2?

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое