В то время как наши корабли, теперь уже оснащенные современными беспроводными технологиями, продолжают бороздить просторы Большого Театра, менее мобильные и более активные потребители трафика данных по-прежнему пользуются старым добрым Ethernet, который, в своей нынешней 10-гигабитной ипостаси, способен удовлетворить большинство их потребностей. В этой заметке мы дадим практический обзор технологий десятигигабитного Ethernet (10Gbe) в целом и сетевых адаптеров 10Gbe Intel в частности.
Почему 10Gbe?
Почему речь идет именно о 10Gbe, а не о новейших 40- и 100-гигабитных стандартах? Причина проста: несмотря на солидный по телекомовским меркам возраст (самому старому десятигигабитному стандарту 802.3ae в этом году исполнилось 10 лет) 10Gbe остается самой востребованной технологией для ядра провайдерских и крупных корпоративных сетей, а также центров обработки данных. Можно говорить, что 100Gbe слишком молод и имеет целый набор стандартных «детских болезней» — высокая стоимость оборудования, трудности с поставками, малое количество предложений и т.д. Однако главная причина, на мой взгляд, заключается в том, что такие скорости в большинстве случаев просто не нужны; за исключением сверх больших ЦОД или гигантских облачных площадок одна или несколько линий 10Gbe прекрасно справляются с передачей возложенного на них трафика.
Немного оптической терминологии
Чтобы не отвлекаться в дальнейшем, сразу дадим описание некоторым оптическим терминам, которые встречаются в этой статье. Оптические волокна могут быть многомодовыми и одномодовыми. В многомодовых кабелях пучок света из нескольких лучей распространяется, постоянно отражаясь от пограничных областей; лучи с разной длиной волны имеют различную траекторию движения. Подобный характер движения лучей приводит к дисперсии сигнала, закодированного в световой пучок – искажению его формы. Одномодовое волокно намного тоньше многомодового, его толщина сравнима с длиной световой волны (стандартные для телекоммуникаций параметры оптических линий приведены в таблице ниже). По нему движется всего один луч с определенной длиной волны, не испытывая отражений. В качестве источника многомодового света обычно выступает светодиод, одномодового – лазер.
| Одномод | Многомод | |
|---|---|---|
| Толщина сердечника, мкм | 8 | 50 |
| Толщина волокна, мкм | 125 | 125 |
| Длина волны, мкм | 1,3 или 1,5 | 0,8 |
| Затухание, дб/км | ~ 0,5 | ~ 3 |
Стандарты 10Gbe
Конкуренция между протоколами локальных сетей осталась далеко в прошлом – Ethernet победил всех прочих окончательно и бесповоротно. Возможно, это даже к лучшему, по крайней мере производители сетевого оборудования тому, без сомнения, рады: работать с одним стандартом намного проще, чем «женить» несколько. Так или иначе, «единицей измерения» сети сейчас можно смело считать один порт Ethernet в каком-то из его видов: 100 Мбит/с (Fast Ethernet, Fe), 1 Гбит/с (Gigabit Ethernet, Gbe) или 10 Гбит/с. Ну а к портам коммутатора, в свою очередь, подключаются сервера, рабочие станции и другое сетевое оборудование. Понятно, что для персональных компьютеров применять 10Gbe навряд ли кто придумает, а вот более мощные устройства такие скорости вполне оценят.
Коммутатор 10Gbe, видны пустые гнезда под модули среды (о них речь пойдет ниже)
Как уже говорилось, первый стандарт 10Gbe был принят в 2002 году. Он стал логическим продолжением гигабитных протоколов (к слову сказать, при переходе к 40Gbe преемственность прервалась). К настоящему времени опубликовано несколько стандартов 10Gbe, различающихся средой передачи сигнала. Вот основные из них:
| Стандарт | Среда передачи | Макс. расстояние | Разъем |
|---|---|---|---|
| 10GBase-LR | Оптика, одномод, 1,3 мкм | 10 км | SC/LC |
| 10GBase-ER | Оптика, одномод, 1,5 мкм | 40 км | SC/LC |
| 10GBase-SR | Оптика, многомод, 0,8 мкм | 300 м | SC/LC |
| 10GBase-CX4 | 4-жильный медный кабель | 15 м | Infiniband |
| 10GBase-T | Медная витая пара | 100 м | 8P8C (RJ45) |
Как видно из таблицы, одномодовые стандарты позволяют передавать сигнал на большие расстояния, однако они дороже и сложнее в монтаже – тем не менее для магистральных нужд им нет равных. Многомодовый 10Gbe широко применяется в локальных сетях в пределах одного узла, медный CX4 – для разводки внутри одного монтажного шкафа. 10GBase-T стандартизирован скорее из уважения к прежним заслугам витой пары и практически не используется, так же как и другие, более экзотические 10-гигабитные стандарты.
Кроме того, существует вариант соединения 10Gbe карт медным кабелем Direct Attach с разъемами в виде SFP+ модулей – такие линии обычно используются для стекирования, их длина – порядка 10 м.
Цвет оптического патч-корда указывает на его тип: желтый – одномодовое волокно, оранжевый – многомодовое волокно. Сверху на патч-корде разъемы FC, ниже – LC
Желающих применить полученные знания на практике, прошу обратить внимание на последнюю колонку. Оптические интерфейсы 10Gbe имеют разьемы SC (потолще и покороче) или LC (подлиннее и потоньше). Существует еще третий популярный вид коннекторов, FC со спиральной стяжкой – он применяется на пассивном оптическом оборудовании. Будьте внимательны при проектировании оптических линий!
Модули среды передачи
В полном соответствии с заветами ISO/OSI, в то время как обработкой Ethernet кадров занимается сетевой процессор интерфейса, сопряжение с физической средой отдано на откуп модулям физического уровня (PHY) – именно они определяют способность конкретной сетевой карты работать с конкретной линией передачи. Новые скорости требовали новых модулей среды – и они, конечно, были разработаны. Первым был стандартизирован модуль XENPAK; его главным недостатком впоследствии оказался большой физический размер, в силу чего в настоящее время он применяется в устройствах с низкой плотностью портов, скажем, маршрутизаторах. Следующим на очереди был стандарт Х2: при архитектуре, идентичной с XENPAK, он имел почти в два раза меньший размер, что позволяло использовать его в многопортовых устройствах, таких как коммутаторы. Модуль XFP был принципиально новым решением, также прогрессивным по размеру, однако наибольшее распространение получил стандарт SFP+ — именно он поддерживается сейчас большинством производителей.
Модули среды. Слева – XENPAK (тип разъемов SC), справа – SFP+ (тип разъемов LC)
Стандартизация интерфейсов предполагает, что модули разных типов и производителей должны нормально работать друг с другом, однако в жизни всё, как водится, немного сложнее, и проблемы совместимости имеют место быть по сей день.
Сетевые адаптеры Intel
Не могу считать этот факт общеизвестным, но компания Intel является одним из старейших производителей сетевых контроллеров и адаптеров. В настоящее время актуальной является линейка 10Gbe карт Intel серии Х520 на контроллере Intel 82599ES, которая выглядит следующим образом:
| P/n | Название | Тип порта |
|---|---|---|
| E10G42BTDA | Intel Ethernet Server Adapter X520-DA2 | 2 x Direct Attach |
| E10G42BT | Intel Ethernet Server Adapter X520-T2 | 2 x 10GBase-T |
| E10G41BFSR | Intel Ethernet Server Adapter X520-SR1 | 10GBase-SR |
| E10G42BFSR | Intel Ethernet Server Adapter X520-SR2 | 2 x 10GBase-SR |
| E10G41BFLR | Intel Ethernet Server Adapter X520- LR1 | 10GBase-LR |
Все указанные карты поставляются с уже установленными модулями PHY, тип оптического разъема – LC. Если вдруг кому понадобится карта CX4, то она выполнена на чипе Intel 82598EB и имеет название «Intel 10 Gigabit CX4 Dual Port Server Adapter» (P/n EXPX9502CX4) – два порта CX4. Нетрудно видеть, что в линейке отсутствуют адаптеры ER/ZR, их в данный момент вообще не существует в принципе – это, конечно, немного огорчает.
Карта Intel X520 Series, конкретно – «Intel Ethernet Server Adapter X520-SR1» с одним портом SR
В список совместимых с картами операционных систем входят как серверные ОС Microsoft (Windows Server 2008 в различных вариантах), так и *nix ОС – RHEL/SLES Linux и FreeBSD.
Общей темой в развитии серверных сетевых карт, полностью отраженной в линейке Х520, стал перенос средств управления трафиком с программной части на аппаратную. Мощность современных сетевых процессоров позволяет им самостоятельно, не дергая центральный хост, производить ряд манипуляций с трафиком, таких как контроль ошибок и обеспечение целостности, применение политик QoS, взаимодействие с виртуальными машинами сервера и т.д.
Подводя итог нашему маленькому обзорчику можно сказать так: за 10 лет существования 10Gbe, его реализации были отточены настолько, что ожидать революции в этом направлении уже не приходится, да ее, наверное, никто и не ждет. 10Gbe – это «рабочая лошадка» телекома, основа его узлов и магистралей, а знание его возможностей и ограничений – необходимый компонент в портфеле знаний любого айтишника. Задача этого ликбеза – показать куда копать в случае необходимости и чего опасаться; надеюсь, что она таки достигнута.
