Cети 10 GBE без синяков и шишек

В статье разбираются часто встречающиеся вопросы построения сетей 10 Gigabit Ethernet, в частности: выбор среды для передачи данных с учётом известных преимуществ и недостатков, некоторые нюансы по поводу монтажа, прокладки и мониторинга.

Статья построена по принципу «от общего к частному» — вначале рассматриваются общие вопросы, в конце перейдём к конкретным примерам оборудования для 10G.

Для каких задач применяют сети 10G

«Это же элементарно, чтобы сеть «летала»!» — такое мнение выскажет нетерпеливый читатель.

Разумеется, это правильное утверждение, но есть участки, где 10 Gigabit Ethernet необходим в первую очередь:

1. Формирование центрального узла сети.
2. Подключение удалённых участков по высокоскоростным линиям.
3. Подключение высоконагруженных серверов к LAN и SAN для обеспечения скоростного доступа.

Ниже мы рассмотрим каждый случай по отдельности, но сначала разберём общие аспекты.

Использование оптоволоконных соединений

Оптоволокно и трансиверы

О принципах передачи сигнала по оптическим кабельным системам и особенностям различных технологий написано много материалов, поэтому напомним только основные детали.

Для подключения оптоволоконных кабелей к оборудованию обычно используют трансиверы для конвергентных (универсальных) портов, к которым подключаются соответствующие патчкорды. Чаще других используются трансиверы и порты SFP/SFP+ Об этом можно прочитать в статье: Как SFP, SFP+ и XFP делают нашу жизнь проще.

Технологии передачи сигнала: Single mode и Multi mode

Single mode. Из названия сразу понятен принцип работы. Для передачи сигнала используется один световой или лазерный луч. В качестве среды передачи — оптическое волокно с относительно небольшим диаметром светопроводящего канала (не более 10 микрон). Диаметр оболочки \~125 мкм. Обозначение на маркировке «9/125», где указывается соотношение диаметра сердцевины и самой оболочки или просто «SM». Основным плюсом является возможность передачи сигнала на большие расстояния.

Multi mode. Оптический проводник имеет больший диаметр световода и способен пропускать несколько пучков света (мод). Оболочка имеет такой же диаметр, как и одномодовое. По размеру диаметра используют волокно 50 и 62,5 мкм, с соответствующими маркировками: «MM 50/125» и «ММ 62.5/125» (+р). Обычно, когда говорят о «многомодовой оптике» в LAN, имеют в виду 50 мкм.

Для передачи 10G на расстояние до 300м используется многомодовое оптоволокно класса OM3 (кабели 50/125мкм обозначаются бирюзовым цветом).

Основным преимуществом многомодового оптоволокна является его гибкость (можно менять направление при прокладке под углом до 90 градусов. Из ограничений можно отметить передачу сигнала на меньшее расстояние (по сравнению с single mode).

Также оптические патчкорды отличаются типом коннекторов. На практике часто используется LC (Lucent Connector). Он имеет корпус из пластика и защелку.

Патчкорды бывают одинарные (simplex) и двойные (duplex) как для одномодовых, так и многомодовых оптоволоконных соединений.

Поддержка интерфейса мониторинга цифровой диагностики (DDMI)

DDMI даёт возможность коммутатору получить доступ к рабочим параметрам в оптоволоконном канале. Такой подход позволяет реализовать дополнительные функции, например, гибкое управление и мониторинг сигналов ввода/вывода. Это даёт возможность посылать аварийные сигналы и предупреждения о состоянии среды передачи данных.

Преимущество оптоволоконной среды передачи

В первую очередь: расстояние для передачи (большая длина проводника), устойчивость к затуханию, отсутствие помех и безопасность (сложнее подключить стороннее устройство, не получится считать информацию через электромагнитные наводки и так далее).

А в чем недостатки?

Стоит отметить механическую хрупкость, недостаточную гибкость, критичность к резким перепадам температуры.

Важно. Следует бережно обращаться с LC коннекторами и открытыми торцами оптоволокна в них. Одна пылинка — и сеть будет работать нестабильно. Рекомендуется использовать LC патчкорд с минимумом повторных подключений (в идеале — только один раз, «включили и больше не трогаем»).

Но оптоволокно — не единственное решение для сетей 10 Gigabit Ethernet. Есть ещё и витая пара.

«Витая пара — это 10 Gigabit для бедных?»

Иногда встречается мнение, что оптоволокно — это всегда шаг вперёд по сравнению с любым медным проводником. Проще говоря, «Оптика — это круто, это на века, давайте использовать только её». На самом деле такой подход не просто ошибочен, а может оказаться очень даже вреден. Ниже приводится несколько факторов, которые помогут выбрать между витой парой и оптоволоконным соединением.

Преимущества витой пары

Цена вопроса. Помимо покупки самого оптоволоконного патчкорда, ещё понадобится приобрести трансиверы для порта SFP/SFP+. При наличии портов RJ45 простой медный патчкорд витой пары, пусть даже 7-й категории обойдётся дешевле

Совместимость. Разумеется, стандарты, принятые международными организациями, обязательны для всех, но, к сожалению, некоторые производители не спешат прислушиваться к общему мнению. Но для оборудования от некоторых вендоров требуется чтобы и трансиверы — всё от этого же производителя. Нарочно это делается или где-то случайно так получилось — это уже не так важно, главное, что такая проблема встречается. А у коммутаторов со встроенным портами под витую таких проблем нет, остаётся только подобрать кабель требуемой категории.

Износостойкость разъёмов. Если планируется переподключение сетевых устройств, например, при закупке или модернизации оборудования, изменении топологии сети и так далее — лучше использовать витую пару. Дело в том, что оптоволоконные патчкорды критичны к механическим воздействиям. Малейшее загрязнение, воздушный зазор и другие мелкие проблемы, возникающие при переключении оптоволоконных патчкордов, могут оказаться препятствием для достижения требуемой скорости. В идеале подключение оптоволоконного кабеля должно выполняться один раз и навсегда. Разумеется, коннекторы витой пары не стоит переподключать без особой нужды, но они не настолько капризны.

Укладка и монтаж. Правильно уложить оптоволокно без заломов и перегибов — не такая простая задачка. И уж точно не допустимо случайное механическое, температурное и другое воздействие. Если заметили, что оптоволоконный провод обдувает горячая струя воздуха из системы охлаждения, случайно пережали, потянули — после устранения неблагоприятной ситуации патчкорд лучше сразу заменить. Звучит красиво, только стоит это не дешево, а трудозатраты на повторный монтаж и укладку тоже мало кто учитывает.

Механическая прочность. Оптика плохо выдерживает даже совсем небольшие механические нагрузки. А уж если случайно «потянули» сервер из стойки на салазках, позабыв отключить разъемы оптоволоконных кабелей — в этом точно нет ничего хорошего. При любом подозрении на механическую нагрузку лучше использовать витую пару.

Категории витой пары

Для каждого поколения передающих устройств есть соответствующие категории витой пары. Так как статья посвящена 10 Gigabit Ethernet, не будем вдаваться в подробности для другого типа оборудования.
Ниже представлена информация касательно сетей 10G.

Таблица 1. Категории витой пары, способные к передаче со скоростью10G.

DAC

Direct Attach Cable (DAC) — в данном случае это пассивный кабель для прямого подключения портов SFP+, применяется при стекировании и коммутации сетевого оборудования. Он уже содержит всё необходимое: переходники SFP+ (не нужно закупать трансиверы), и собственно, кабель передачи. Все компоненты образуют одно целое нераздельное устройство для соединения сетевого оборудования.

Обычно используются недлинные кабели (до 5 метров) для подключения серверов, связи между коммутаторами и установления других соединений по 10G.

Рекомендации по построению сети 10G

Что с кабельной системой?

Частая проблема «экономичных решений» в сети 10G — плохое качество кабеля (в первую очередь патчкордов) и дешевые патчпанели. Использование таких «плюшкинских» методов удешевления приводит к несоответствиям импеданса, в результате чего возникают обратные потери, а следом — снижение пропускной способности. Разумеется, начальство может быть сколь угодно уверено, что дело не гнилых проводах, а в системном администраторе, который «просто сам не хочет всё взять и «починить»», однако нормально работать в такой сети не получится по физическим причинам. Если всё-таки дело не в банальной жадности, а в непонимании проблемы, стоит провести сравнительное тестирование чтобы понять, что из пассивного или активного оборудования является узким местом и вызывает падение скорости. В некоторых ситуациях может выручить даже простой сетевой тестер, способный обнаружить обратные потери и перекрестные помехи.

Не сетью единой

Помимо высокой пропускной способности, разумно предположить, что все узлы в сети, включая серверы (и, если нужно, рабочие станции), способны обрабатывать сетевой трафик с требуемой скоростью. И речь идёт не только об установленной сетевой карте 10G и подходящем драйвере. Помимо сетевой карты, нужно убедиться, что процессор имеет необходимый запас по мощности, достаточно оперативной памяти, а ядро и библиотеки операционной системы и прикладного ПО умеют эффективно работать с плотным потоком данных.

Если речь о старом сетевом оборудовании, не стоит удивляться падению или «недобору» скорости передачи данных. Например, с древнего сервера, переделанного в NAS, максимальная скорость закачки по каналу 10G может не превышать 400Mbps. Допустим, на старенькой материнской плате нашелся разъём PCI-Express, в который удалось установить LAN карту 10G и подобрать нужный драйвер. Но это не означает, что остальные компоненты сервера готовы обеспечить работу на высоких скоростях.

Для центрального узла

Для большинства организаций характерна иерархическая модель сети с центральным узлом (уровень ядра сети и уровень агрегации/распределения). То есть определённая часть коммуникаций так или иначе проходит через центральный узел, что накладывает отпечаток на работу всей инфраструктуры.

Для небольших сетей можно использовать коммутаторы с различными типами портов, чтобы получить более широкие возможности подключения из коробки.

Наиболее экономичным вариантом будет использование кабелей DAC для коммутации внутри стойки или для связи двух соседних стоек.

Для подключения оборудования к узлу сети на большем расстоянии, например, коммутаторов уровня агрегации и даже уровня доступа рекомендуется использовать либо оптоволоконные патчкорды, либо витую пару Cat.7.

Внутри стоек можно использовать кабели DAC, короткие патчкорды Cat.6a и более длинные Cat.7 (в зависимости от подключаемого оборудования), а также, при необходимости — оптоволоконные соединения. Между стойками рекомендуется использовать оптоволоконные соединения и кабели Cat.7.

Лучше воздержаться от использования в production среде патчкордов Cat.6. Даже если подключается некритичное оборудование, которому «хватает скорости», то наводки с этого кабеля при плотном монтаже могут оказывать негативное влияние на соседние соединения и устройства в сети 10G. В виде исключения очень короткие патчкорды Cat.6 можно использовать на небольших участках (менее 1 метра), например, для соединения рядом стоящих серверов.

Для подключение удалённых участков

Для связи средне-удалённых участков, например, нескольких серверных в одном здании лучше ориентироваться на оптоволоконные соединения. Например, пара SFP+ трансиверов single mode, Duplex LC, 1310nm, с поддержкой DDMI, позволяет установить связь до 10 км. Разумеется, ещё нужен оптический кабель (duplex).

Если речь о связи до 100м, можно использовать Cat.7. В некоторых случаях это даже предпочтительней, например, когда нужно проталкивать кабели через узкий колодец между этажами.

Подключение серверов к LAN и SAN для обеспечения скоростного доступа

Здесь вполне очевиден принцип: «чем больше, тем лучше». Потери в скорости подключения блочных устройств по iSCSI или, например, сетевых ресурсов по NFS для виртуальной системы способны нанести серьёзный урон.

Точно также рекомендуется использовать DAC как самый оптимальный вариант цена/качество.

Для расстояний более 5м стоит рассматривать оптоволокно, или, в случае особой необходимости, например, при наличии только определённых типов портов — витую пару Cat.7, или даже Cat.7a (рассчитана на скорость до 40 Gigabit, может потребоваться, если необходимо заложить резерв сети SAN для более высокой скорости).

А что есть у Zyxel?

Zyxel предлагает комплексное решение: коммутатор 10G уровня L3, SFP+ трансиверы и патчкорды DAC, сетевые карты. Начнём по порядку.

Коммутатор

28-портовый мультигигабитный L3 коммутатор 10G XS3800-28 подходит для уровня ядра и агрегации/распределения. Имеет много полезных функций, например, добавлены элементы отказоустойчивости, такие как:

• поддержка резервирования источника питания;
• 2 конфигурационных файла;
• 2 образа;
• объединение в физический стек.

Ниже представлены несколько фотографий, сделанных в лабораторных условиях. Более подробную информацию можно получить по ссылке.

Рисунок 1. XS3800-28 — мультигигабитный L3 коммутатор 10G

Рисунок 2. Задняя панель XS3800-28. Разъёмы для двух блоков питания.

Рисунок 3. Внутреннее устройство XS3800-28. Аккуратная сборка и продуманная система охлаждения.

Рисунок 4. Порты XS3800-28.

Трансиверы и DAC

Zyxel для своего оборудования предлагает оптоволоконные трансиверы и DAC. Однако это совсем не означает, что только они подходят к устройствам Zyxel. Нет никаких ограничений в использовании. Основная политика — совместимость с различными моделями, вендорами и т.д.

Рисунок 5. SFP10G-LR-E — SFP+ (10G)

Таблица 2. Трансиверы Zyxel для 10G (SFP+).

Точно также обстоит дело и с кабелями DAC. Никаких ограничений, просто покупаете и используете. Есть модели 1м и 3м.

Рисунок 6. DAC10G-3M 10 гигабитный DAC кабель на 3 метра.

Таблица 3. DAC кабели для SFP+ (10G).

Сетевые карты

Наш обзор был бы неполный, если не представить решение для конечных устройств.

У Zyxel есть целых две сетевые карты, способные работать с 10 Gigabit Ethernet.

Первый кандидат XGN100F — cетевая карта PCIe с портом 10G SFP+ рассчитанная на работу с 1G и 10G.

Рисунок 7. XGN100F — сетевая карта PCIe с портом 10G SFP+

Второй кандидат на роль конечного устройства XGN100C — сетевая карта PCIe с мультигигабитным портом 1/2,5/5/10G RJ-45

Примечание. Этот адаптер может работать с промежуточными скоростями 5G/2,5G при этом в качестве основной среды передачи используется обычная витая пара категории 5E.

Рисунок 8. XGN100C — сетевая карта PCIe с мультигигабитным портом 1/2,5/5/10G RJ-45.

Как видите, мы ничего не забыли и постарались удовлетворить все стороны обмена трафиком.

Подводя итоги

Высокоскоростные сети, в том числе 10 Gigabit Ethernet — это несомненно шаг вперёд и очередной этап развития ИТ инфраструктуры. Как обычно, внедрение новой технологии не является панацеей от старых проблем. Чтобы окупались инвестиции и шло развитие — необходим точный расчёт и понимание целей и путей решения.

Полезные ссылки

1. Telegram chat Zyxel
2. Форум по оборудованию Zyxel
3. Много полезного видео на канале Youtube
4. Коммутаторы L2, L2+ и L3 — что, когда, куда, откуда, как, зачем и почему?
5. Коммутаторы Zyxel L3 серии XGS4600
6. Построение сетевой инфраструктуры на базе Nebula. Часть 1 — задачи и решения
7. Построение сетевой инфраструктуры на базе Nebula. Часть 2 — пример сети
8. Особенности применения управляемых и неуправляемых коммутаторов
9. Как SFP, SFP+ и XFP делают нашу жизнь проще
10. Коммутаторы ядра сети — что это такое, для чего нужны и как выглядят
11. XS3800-28 — 28-портовый мультигигабитный L3 коммутатор 10G
12. XGN100C — сетевая карта PCIe с мультигигабитным портом 1/2,5/5/10G RJ-45
13. XGN100F — cетевая карта PCIe с портом 10G SFP+
14. Оптоволоконные трансиверы и кабели DAC от Zyxel