Современные сети Ethernet давно уже стали неотъемлемой частью нашей жизни, а уж бизнес-процессы без них и вовсе немыслимы. И их пропускная способность является той характеристикой, рост которой крайне востребован. Скорость 1 Гбит/с давно уже стала настолько расхожей, что ее предоставляют даже провайдеры частным лицам. Но как только дело касается передачи сколько-нибудь серьезных потоков информации этого уже явно недостаточно, и можно сказать, что повсеместным стандартом сейчас является 10G, причем с разъемами не Base-T, а SFP+, позволяющими использовать как медные патчкорды на дальностях до 7 метров (стойка или группа стоек), так и оптические линии связи. Ну а для высоконагруженных линий передачи данных (уровни агрегации, интерконнект кластера для высокопроизводительных вычислений, подключения мощных СХД) используется 40G QSFP+, представляющий собой объединение четырех линий 10G SFP+.
Но производительность серверов растет, потоки данных тоже, нагрузка на сеть становится все выше, а значит уже давно назрела необходимость в переходе на большие скорости. Достаточно давно существуют 100G продукты в форматах CFP, CFP2, CFP4, но они неадекватно дороги для применения в серверной инфраструктуре и необходимо было создание приемлемого по стоимости продукта. Для этого был создан 25G Consortium, который вместе с Ethernet Alliance занялся разработкой нового промышленного стандарта, призванного поднять скорости в типовых сетях в 2,5 раза. Там где заканчивается разработка стандарта, в дело вступает 2550100 Alliance, созданный для продвижения продуктов в массы. Об итогах их работы и степени готовности стандарта к массовому нашествию на рынок мы сейчас и поговорим.
Итак, к нам приходит новый стандарт. Базовой скоростью в нем будет 25 ГБит/с, объединение двух линий дает 50 ГБит/с, а четырёх — 100 ГБит/с.
Начнем с того, что новый стандарт является эволюционным, а не революционным развитием. С точки зрения работы с сетью все схемы работы, протоколы, технологии и рекомендации остаются прежними, меняется только физический уровень. Все основы для этого заложены уже давно: стандарт описан в IEEE Std 802.3ba-2010, а с 2011 года выпускается соответствующее ему оборудование, правда, в виде магистральных маршрутизаторов, соответствующих карт и трансиверов. 4 года назад это был самый пик технологий и стоили они очень существенных денег, сейчас же речь идет о создании общеупотребительного оборудования для ЦОД в виде многопортовых стоечных коммутаторов с низким энергопотреблением, сетевых адаптеров и соответствующих кабелей. С точки зрения разъемов нам предстоит замена SFP+ на SFP28 и, соответственно, QSFP+ на QSFP28.
Любопытно, что разъемы SFP28 и QSFP28 мало чем отличаются от привычных уже SFP+ и QSFP+, чем выгодно отличаются от решений в формате CFP, использовавшихся в магистральном оборудовании. Соответствующим образом обстоит ситуация и с энергопотреблением — лазеры нового поколения обеспечивают менее 3,5 Вт энерговыделения на 100G порт, что и позволяет создавать компактные, пригодные для массового использования решения.
С точки зрения обратной совместимости все в порядке — все появляющееся оборудование на текущий момент поддерживают работу на скоростях 10/40G, поэтому миграцию на новый стандарт можно осуществлять постепенно, добавляя к старому 10/40G оборудованию новые 25/100G коммутаторы и плавно подтягивая скорость до нового стандарта на необходимых участках сети.
Что касается готовности нового стандарта к массовому производству и внедрению, то здесь, на наш взгляд, все обстоит достаточно неплохо. Уже сейчас существует реализованный в железе, текстолите и кремнии полный спектр необходимого оборудования, например:
— коммутаторы
— сетевые карты
-трансиверы
— кабели
— оборудование для тестирования линий
Соответственно, все в порядке и широкой поддержкой стандарта со стороны производителей компонент: свои продукты уже представили такие гранды, как Qlogic, Avago,Cavium, Finisar, Broadcom, Ixia, Mellanox. А общий список компаний, поддержавших новых стандарт настолько велик, что проще дать ссылку, чем приводить здесь весь список. Правда, не можем ехидно не заметить, что если мы уже присоединились к этому списку (о нашем продукте чуть позже), то вот такая незначительная компания как Intel — нет.
Кроме шуток, в это несколько трудно поверить, но такое ощущение, что Intel полностью упустила появление 25/100G, сосредоточившись на доводке своего решения X710. Ну что ж, конкуренты явно не замедлять отъесть кусок рынка, массово выпустив свои сетевые адаптеры.
А еще довольно любопытно будет посмотреть на то, с какой скоростью ведущие производители сетевого оборудования начнут переходить на новый стандарт и какими аргументами будут выделять свое решение на merhant silicon на фоне конкурентов — ведь в ближайшее время все будет строиться вокруг одной и той же матрицы Broadcom Tomahawk.
Еще одним немаловажным фактом, который обещает сильно работать на популярность нового стандарта является то, что его стоимость не будет радикально отличаться от текущих 10/40G решений. Обычно нововведения (или инновации, для тех, кому так привычнее) довольно долго отпугивают от себя несоразмерно высокими ценами, в результате чего пионерами их внедрения становятся только те, кто уже не может жить без перехода на самые производительные технологии. В этот же раз упор планируется именно на массовость решения, поэтому даже с учетом «наценки за новизну» (а совсем от нее избавиться невозможно) новые решения по соотношению цена-производительность обещают уже на старте превосходить своих предшественников.
Кому нужны сетевая инфраструктура со столь высокой пропускной способностью? Ну давайте рассмотрим очевидные примеры внедрения.
Использование в Web-Scale инсталляциях
Если рассматривать типичные широкомасштабные инсталляции в виде стоек, полностью забитых серверами (40U, 80 узлов по 1/2U), то 2-портовые 10G адаптеры в каждом узле заменяются на аналогичные 25G адаптеры. Соответственно, на TOR-уровне 4 10G коммутатора, например Eos420 (48 портов 10G, 6 портов 40G) можно заменить на 2 100G коммутатора, в которых из 32 100G портов 20 с помощью break-out кабелей обеспечивают соединение с узлами по 25G, а оставшиеся 12 работают на аплинк.
Достоинства такого решения:
Использование в высокопроизводительных вычислениях
В HPC в настоящее время чаще всего используется 56G InfiniBand. Соответственно, его можно «в лоб» заменить на 100G соединения в рамках блока из 32 серверов.
Достоинства:
Использование для подключения СХД
Уже сейчас блочный или файловый доступ в СХД через Ethernet оказывается практичнее FiberChannel и вплотную подобрался по производительности к InfiniBand. Новый же интерфейс еще более усугубит эту ситуацию, фактически сделав все остальные интерфейсы ненужными.
Достоинства:
Ну и наконец о нашем участии в 2550100.
Со своей стороны мы представили коммутатор Eos 720 с 32 QSFP28 портами. Эта модель стала продолжением нашего имеющегося семейства коммутаторов Eos, и создана в рамках любимой нами идеологии BareMetal Switch, то есть обладает установочной средой ONIE, поддерживающей установку различных сетевых ОС. Коммутатор уже полностью готов и в ближайшее время будет доступен в нашей лаборатории, что же касается поддержки со стороны ОС, то мы сейчас плотно сотрудничаем с их производителями по вопросам совместимости.
Основные характеристики у коммутатора таковы:
Так что подводя итоги можно сказать, что новый стандарт уже полностью готов к приходу на рынок и в течение года стоит ожидать массового появления коммерческих продуктов. Так что планировать свою инфраструктуру стоит уже сейчас.
Но производительность серверов растет, потоки данных тоже, нагрузка на сеть становится все выше, а значит уже давно назрела необходимость в переходе на большие скорости. Достаточно давно существуют 100G продукты в форматах CFP, CFP2, CFP4, но они неадекватно дороги для применения в серверной инфраструктуре и необходимо было создание приемлемого по стоимости продукта. Для этого был создан 25G Consortium, который вместе с Ethernet Alliance занялся разработкой нового промышленного стандарта, призванного поднять скорости в типовых сетях в 2,5 раза. Там где заканчивается разработка стандарта, в дело вступает 2550100 Alliance, созданный для продвижения продуктов в массы. Об итогах их работы и степени готовности стандарта к массовому нашествию на рынок мы сейчас и поговорим.
Итак, к нам приходит новый стандарт. Базовой скоростью в нем будет 25 ГБит/с, объединение двух линий дает 50 ГБит/с, а четырёх — 100 ГБит/с.
Начнем с того, что новый стандарт является эволюционным, а не революционным развитием. С точки зрения работы с сетью все схемы работы, протоколы, технологии и рекомендации остаются прежними, меняется только физический уровень. Все основы для этого заложены уже давно: стандарт описан в IEEE Std 802.3ba-2010, а с 2011 года выпускается соответствующее ему оборудование, правда, в виде магистральных маршрутизаторов, соответствующих карт и трансиверов. 4 года назад это был самый пик технологий и стоили они очень существенных денег, сейчас же речь идет о создании общеупотребительного оборудования для ЦОД в виде многопортовых стоечных коммутаторов с низким энергопотреблением, сетевых адаптеров и соответствующих кабелей. С точки зрения разъемов нам предстоит замена SFP+ на SFP28 и, соответственно, QSFP+ на QSFP28.
Любопытно, что разъемы SFP28 и QSFP28 мало чем отличаются от привычных уже SFP+ и QSFP+, чем выгодно отличаются от решений в формате CFP, использовавшихся в магистральном оборудовании. Соответствующим образом обстоит ситуация и с энергопотреблением — лазеры нового поколения обеспечивают менее 3,5 Вт энерговыделения на 100G порт, что и позволяет создавать компактные, пригодные для массового использования решения.
С точки зрения обратной совместимости все в порядке — все появляющееся оборудование на текущий момент поддерживают работу на скоростях 10/40G, поэтому миграцию на новый стандарт можно осуществлять постепенно, добавляя к старому 10/40G оборудованию новые 25/100G коммутаторы и плавно подтягивая скорость до нового стандарта на необходимых участках сети.
Что касается готовности нового стандарта к массовому производству и внедрению, то здесь, на наш взгляд, все обстоит достаточно неплохо. Уже сейчас существует реализованный в железе, текстолите и кремнии полный спектр необходимого оборудования, например:
— коммутаторы
— сетевые карты
-трансиверы
— кабели
— оборудование для тестирования линий
Соответственно, все в порядке и широкой поддержкой стандарта со стороны производителей компонент: свои продукты уже представили такие гранды, как Qlogic, Avago,Cavium, Finisar, Broadcom, Ixia, Mellanox. А общий список компаний, поддержавших новых стандарт настолько велик, что проще дать ссылку, чем приводить здесь весь список. Правда, не можем ехидно не заметить, что если мы уже присоединились к этому списку (о нашем продукте чуть позже), то вот такая незначительная компания как Intel — нет.
Кроме шуток, в это несколько трудно поверить, но такое ощущение, что Intel полностью упустила появление 25/100G, сосредоточившись на доводке своего решения X710. Ну что ж, конкуренты явно не замедлять отъесть кусок рынка, массово выпустив свои сетевые адаптеры.
А еще довольно любопытно будет посмотреть на то, с какой скоростью ведущие производители сетевого оборудования начнут переходить на новый стандарт и какими аргументами будут выделять свое решение на merhant silicon на фоне конкурентов — ведь в ближайшее время все будет строиться вокруг одной и той же матрицы Broadcom Tomahawk.
Еще одним немаловажным фактом, который обещает сильно работать на популярность нового стандарта является то, что его стоимость не будет радикально отличаться от текущих 10/40G решений. Обычно нововведения (или инновации, для тех, кому так привычнее) довольно долго отпугивают от себя несоразмерно высокими ценами, в результате чего пионерами их внедрения становятся только те, кто уже не может жить без перехода на самые производительные технологии. В этот же раз упор планируется именно на массовость решения, поэтому даже с учетом «наценки за новизну» (а совсем от нее избавиться невозможно) новые решения по соотношению цена-производительность обещают уже на старте превосходить своих предшественников.
Кому нужны сетевая инфраструктура со столь высокой пропускной способностью? Ну давайте рассмотрим очевидные примеры внедрения.
Использование в Web-Scale инсталляциях
Если рассматривать типичные широкомасштабные инсталляции в виде стоек, полностью забитых серверами (40U, 80 узлов по 1/2U), то 2-портовые 10G адаптеры в каждом узле заменяются на аналогичные 25G адаптеры. Соответственно, на TOR-уровне 4 10G коммутатора, например Eos420 (48 портов 10G, 6 портов 40G) можно заменить на 2 100G коммутатора, в которых из 32 100G портов 20 с помощью break-out кабелей обеспечивают соединение с узлами по 25G, а оставшиеся 12 работают на аплинк.
Достоинства такого решения:
- На 150 % выше пропускная способность
- Требуется в 2 раза меньше сетевой инфраструктуры (коммутаторы, кабели) в стойке -> ниже CAPEX
- В 2 раза меньше TOR-коммутаторов -> ниже OPEX
- Поддерживаются все существующие технологии виртуализации и оверлейных сетей (VXLAN, NVGRE, SPB etc)
Использование в высокопроизводительных вычислениях
В HPC в настоящее время чаще всего используется 56G InfiniBand. Соответственно, его можно «в лоб» заменить на 100G соединения в рамках блока из 32 серверов.
Достоинства:
- На 78 % выше пропускная способность
- Ниже CAPEX
- Простое масштабирование системы
- Единая сеть для всех видов трафика
Использование для подключения СХД
Уже сейчас блочный или файловый доступ в СХД через Ethernet оказывается практичнее FiberChannel и вплотную подобрался по производительности к InfiniBand. Новый же интерфейс еще более усугубит эту ситуацию, фактически сделав все остальные интерфейсы ненужными.
Достоинства:
- Единая сетевая инфраструктура для серверов и СХД -> ниже CAPEX и OPEX
- Высочайшая скорость передачи данных, необходимая для all-flash массивов и СХД большого объема
- Низкая латентность с RDMA и поддержка используемых в СХД протоколов
- Легкое масштабирование
- Удобное управление
- Возможность выбора способа хранения данных (файловый, блочный или объектный) при сохранении единого интерфейса
Ну и наконец о нашем участии в 2550100.
Со своей стороны мы представили коммутатор Eos 720 с 32 QSFP28 портами. Эта модель стала продолжением нашего имеющегося семейства коммутаторов Eos, и создана в рамках любимой нами идеологии BareMetal Switch, то есть обладает установочной средой ONIE, поддерживающей установку различных сетевых ОС. Коммутатор уже полностью готов и в ближайшее время будет доступен в нашей лаборатории, что же касается поддержки со стороны ОС, то мы сейчас плотно сотрудничаем с их производителями по вопросам совместимости.
Основные характеристики у коммутатора таковы:
- 32 порта 100G QSFP28 / 128 25GbE SFP28 с применением breakout кабелей
- Коммутационная матрица 3,2Tbps Broadcom Tomahawk BCM56960, скорость перенаправления 64-байтных пакетов: 2400 Mpps
- Процессор Intel Atom 2538
- Таблица MAC адресов – 136К Unified Forwarding Table (UFT)
- задержка менее 500 нс (PHY-less)
- аппаратная обработка VXLAN/NVGRE
- Оптимизация для ЦОД: 802.1Qau, 802.1Qaz, 802.1Qbb, DCBX, EVB(802.1Qbg), MLAG, 32-way ECMP
- BMS платформа с ONIE: поддерживаются Cumulus Linux (после обновления), Broadcom ICOS (в ноябре)
- Поддержка SDN-коммутации: OpenFlow 1.0, 1.2, 1.3, Open API
- Поддержка инструментария Broadview для полного контроля над сетью
- Отказоустойчивое питание по схеме 1+1
Так что подводя итоги можно сказать, что новый стандарт уже полностью готов к приходу на рынок и в течение года стоит ожидать массового появления коммерческих продуктов. Так что планировать свою инфраструктуру стоит уже сейчас.
