В 2024 году искусственный интеллект продолжает завоевание интернет‑пространства: генеративное и, машинное обучение, искусственные нейронные сети, глубокое обучение, обработка естественного языка и многое другое. В связи с этим менеджеры центров обработки данных и их команды пытаются выяснить, как справиться не только с дополнительными терабайтами новых данных, наводняющими их сети, но и с требованиями к сверхнизкой задержке, увеличению энергопотребления и экспоненциально большим количеством волокон.
Требования к приложениям — это не единственное, что растет. Зоны центров обработки данных растут, выходя за пределы национальных границ. Управление суверенитетом данных стало не только политической проблемой, но и юридической проблемой и проблемой безопасности.
В то же время дата‑центры всех видов — гипермасштабные, облачные провайдеры, MTDC и корпоративные — формируют новые отношения, чтобы воспользоваться выгодными рыночными позициями, доступными ресурсами и столь необходимым свободным пространством.
Времена меняются, и общим знаменателем является то, что все эти изменения оказывают глубокое влияние на инфраструктуру сети — от ее кабелей, соединений и компонентов до ее архитектуры, устойчивости и адаптируемости.
Как предотвратить быстрое моральное устаревание
ЦОД — сложная техническая система. Часть системы, отвечающая за обработку и хранение данных с учетом максимальной эффективности в технико‑экономическом плане, строят на устоявшейся модели взаимодействия систем OSI. На основании стандартов ISO/IEC 11 801–5:2017, ANSI/TIA-942C и ГОСТ Р 59 486–2021 её физику реализуют, как структурированную кабельную систему.
Создавая СКС нужно учитывать и текущие потребности, и не допускать структурного, морального, и, особенно, физического устаревания за весь срок эксплуатации — ну, никак не меньше 10 лет.
Если строить СКС на качественной современной элементной базе, имеющей запас по пропускной способности, то физическое устаревание практически не проявится. Устаревание структурное можно предотвратить проектными приемами, вводом необходимой избыточности функционала, использованием таких конфигураций кабельных трактов, которые будут легко адаптироваться в свете новых потребностей, и т. д.
Предотвратить моральное устаревание значительно сложнее, так как имеется достаточно фактов и начальных условий, при которых риск выбора неправильного технического решения прокладки информационных линий в машинном зале очень высок. Лучшим и, пожалуй, единственным вариантом его снижения — это следование современным отраслевым трендам развития СКС и ЦОД.
Протяженность внутренних линий
Кабельная система ЦОД существенно отличается от офисных своей геометрической компактностью. Она связана с необходимостью применения воздушного охлаждения для удаления большого количества тепла, выделяемого активным сетевым оборудованием и серверами. Стоит отметить, что увеличение размеров машзала приводит к уменьшению эффективности воздушного охлаждения.
Площадь зала дата‑центра напрямую зависит от количества установленных в нём стоек. Типовой машзал имеет прямоугольную форму в соотношении сторон 1/3 и вмещает 320 стоек. Для оценки максимальной длины стационарной линии можно принять полупериметр. На основании того, что примерная площадь, занимаемая каждой стойкой, составляет 2,6 м2, и добавив 15%, допустим, на центральный кросс, то получим максимальную длину кабельной линии 72 м.
Отсюда следует закономерный вывод, что протяженность оптических линий офисных СКС в 300 м (по нормативам) для машинного зала ЦОД будет избыточна. Вполне возможно ее уменьшение на 70–150 метров.
Уменьшение максимальной длины тракта даёт возможность применять при создании информационной проводки машзала экономически более выгодную элементную базу для организации многомодовой структуры.
Параллельная передача данных на основе схемы Base8
Тракты передачи данных в машинном зале строятся по параллельной схеме. Это связано с физическими возможностями современной электронной техники. Так как ее быстродействие ограничено тактовой частотой в 30–50 ГГц, то такая схема является единственным вариантом повысить скорость информационного потока.
Каждое сообщение разбивают на несколько блоков. Каждый передается по своему субканалу, а в приемнике восстанавливается. Линейный сигнал формируется при помощи амплитудно‑импульсной модуляции или комбинированной амплитудно‑фазовой импульсной. Это дает в возможность одновременно передавать за один тактовый интервал до 4 бит данных.
Чтобы увеличить количество субканалов, можно использовать технологию SWDM. Тогда, организуя линейную канальную часть по схеме Base8, мы получим такое значение максимальной скорости передачи.
При реализации данной схемы при построении СКС ЦОД получается скоростной запас, исключающий риск какого‑либо морального устаревания, через 10 лет уж точно. В отрасли ещё даже не начала переход на скорости 800 Гбит/с, а уж говорить о реальной потребности в скоростях больше 1,8 Тбит/сек можно будет, ну никак не раньше 2030–2035 г.
Волокно ОМ5
В силу того, что машинный залы дата‑центров геометрически компактны и длина стационарных СКС линий небольшая (до 30 метров), то для их создания можно применять многомодовую технику, которая экономичней одномодовой. По этой причине для прокладки физических каналов связи целесообразно применять многомодовые кабели ОМ5. Это будет выглядеть, как дальнейшее модернизирование техники в категории ОМ4. ОМ5 позволит поднять техническую эффективность больше, чем на 30%.
Компания CommScope выделяет пять причин для выбора волокна OM5, чтобы дата‑центры отвечали всем современным требованиям с привязкой на очень долгосрочную перспективу:
Спецификации оптоволокна OM5 уже опубликованы Ассоциацией телекоммуникационной промышленности как TIA-492AAAE, и находятся на поздней стадии голосования в рамках IEC, которое будет опубликовано как IEC 60 793–2–10 edition 6.
Спецификации OM5 и TIA-492AAAE будут признаны в готовящемся издании ISO / IEC 11 801 Edition 3 и стандарте кабельной связи Американского национального института стандартов ANSI / TIA-568.3-D.
Кабели OM5 поддерживают все устаревшие приложения, по крайней мере, так же хорошо, как OM4, и полностью совместимы с кабелями OM3 и OM4.
OM5 разработан для поддержки по крайней мере четырех недорогих длин волн в диапазоне 850–950 нм, обеспечивая оптимальную поддержку новых приложений с коротковолновым мультиплексированием с разделением длин волн (SWDM), которые сокращают количество параллельных волокон как минимум в четыре раза, позволяя продолжать использовать всего два волокна (а не восемь) для передачи данных со скоростью 40 и 100 Гбит / с и сокращают количество волокон для более высоких скоростей.
OM5 доступен в CommScope по всему миру в версиях с полевым и предварительным завершением для установки в различных корпоративных средах, от кампусов до зданий и центров обработки данных.
Лучшие качества ОМ5 проявляются при скорости от 800 Гбит/с, когда применяется полноценное спектральное мультиплексирование по технологии SWDM. Сейчас подобные решения используются редко. Но, учитывая перспективы развития технологий и минимального срока эксплуатации дата‑центра, волокно категории ОМ5 в проекты нужно закладывать уже сегодня. Особенно на тех объектах, где протяженность линий увеличена. К таким относятся ЦОДы с количеством стоек от 150 и больше.
Новые типы оптических разъемов
При решении вопроса о том, какие кабельные блоки использовать для магистралей, следует учитывать текущие и возможные будущие требования к разъемам. В течение последних нескольких лет на рынке стали появляться разъемы VSFF, очень малого форм‑фактора, обеспечивающие поддержку дуплексных или параллельных приложений. Они обеспечивают лучшую плотность и, в некоторых случаях, возможность подключения непосредственно к трансиверу.
Цель состоит в том, чтобы подключить большее количество волокон, чтобы обеспечить полное использование мощности сетевого оборудования. Обычное количество волокон для высокоскоростных разъемов включает 2, 8 или 16 волокон как в одномодовом, так и в многомодовом режиме. Это и устаревший LC‑дуплекс, и более свежие типы разъемов: SN, MDC и CS.
Новые разъемы позволят упаковать еще больше управляемых волокон при меньшем размере. Разъемы VSFF вмещают 16 или 24 волокна в том же пространстве, что и SN, и MDC.
Кроме того, оптоволоконные разъемы VSFF позволяют легче протягивать через кабелепроводы меньшие и легкие магистрали с большим количеством волокон с предварительной заделкой. При развертывании с использованием низкопрофильного свертываемого ленточного кабеля предварительно заделанные разъемы VSFF с большим количеством волокон упрощают и ускоряют установку, экономя ценное время и пространство. Будучи собранным в тщательно контролируемых заводских условиях, они также обеспечивают дополнительную гарантию хорошей производительности.
Еще в 2020 году CommScope и US Conec заключили лицензионное соглашение, которое позволяет обеим сторонам производить оптоволоконные разъемы VSFF (очень малого форм‑фактора), включая разъем MDC и другие. Обеспечивает трехкратное преимущество в плотности по сравнению с разъемами LC. ХИКОРИ.
Применение разъемов VSFF ориентировано на предварительно заделанные магистральные кабели с большим количеством волокон, предназначенные для прокладки через внутренние каналы или системы кабельных каналов.
Платформа Propel, как универсальное решение для разных типов разъемов
Решение Propel от CommScope — это новая комплексная высокоскоростная модульная оптоволоконная платформа для центров обработки данных. Решение Propel — это первая глобальная оптоволоконная платформа, в которой реализована собственная 16-волоконная технология, а также поддерживаются 8-, 12- и 24-волоконные приложения. Кроме того, он поддерживает разъемы VSFF в своих распределительных модулях.
Благодаря своей модульной конструкции платформы Propel предлагает все преимущества использования разъемов VSFF сегодня, одновременно устраняя риски, предотвращая привязку к поставщику на передней панели разъема. Концепция Propel позволяет интегрировать множество разъемов, включая разъемы VSFF, в одну платформу. Это обеспечивает перспективную и гибкую конструкцию кабелей.
Платформа Propel также спроектирована как более экологичное и устойчивое решение.
Каналы центров обработки данных 400G, 800G и 1.6T
Одним из главных показателей успеха компании является ее способность быстро адаптироваться к изменяющимся условиям внешней среды.Отвечая запросам рынка, CommScope предлагает как оптоволоконное оборудование, так и новейшие принципы построения кабельной разводки для дата‑центров.
Для облачных центров обработки данных способность адаптироваться и выжить проверяется каждый год, поскольку растущие требования к пропускной способности, емкости и снижению задержек способствуют переходу к более высоким скоростям сети. За последние несколько лет мы стали свидетелями увеличения скорости сетевых соединений во всех центрах обработки данных с 25G/100G до 100G/400G.
В настоящее время облачные и гипермасштабные центры обработки данных развертывают каналы связи с трансиверами 800G, а отрасль стремится стандартизировать трансиверы как 800G, так и 1,6T. Одним из ведущих разработчиков и производителей современного и не имеющего аналогов сетевого оптическкого оборудования является компания CommScope Ключевым моментом является то, какая оптическая технология лучше.
Типы оптических трансиверов
Оптические трансиверы можно сгруппировать по поддерживаемому радиусу действия и типу волокна. Оптика SR обычно поддерживает расстояние до 100 м по параллельному многомодовому оптоволокну. Оптика DR использует параллельное одномодовое волокно длиной до 500 м или 2 км. А оптика FR и LR использует дуплексное одномодовое волокно и мультиплексирование с разделением по длине волны (WDM) до 2 км и 10 км соответственно. Данные типы оптических волокон последовательно используются для трансиверов 400G, 800G и 1,6T.
Оптические трансиверы 400G
Оптический рынок 400G определяется стоимостью и производительностью, а трансиверы, использующие линии 4×100G, заменяют более ранние версии, в которых использовались линии 8×50G. Коммутаторы и трансиверы 4×100G предлагают более низкую стоимость и энергопотребление по сравнению с трансиверами 8×50G.
Оптические трансиверы 800G
Первое поколение трансиверов 800G будет использовать каналы 8×100G и параллельную схему передачи данных. Эти трансиверы будут основаны на технологии приемпередатчиков 400G и будут включены в стандарт IEEE 802.3df, который планируется опубликовать в текущем году. Проект стандарта IEEE 802.3dj, который планируется опубликовать в 2026 году, будет касаться оптики, работающей на линиях 4×200G.
Оптические трансиверы 1,6Т
Компания Terabit BiDi MSA уже разработала трансиверы 1,6T, в которых используются многоволновые лазеры VCSEL и многомодовое оптоволокно.
1,6Т-DR8 и 1,6Т-DR8-2 используют 16 параллельных одномодовых волокон (или восемь пар волокон) и поддерживают дальность связи 500 м и 2 км, соответственно. Эта оптика будет использовать те же линии 200G, что и 800G, но количество линий увеличится до восьми. Как и 800G-DR8, эти трансиверы 1,6T, вероятно, будут доступны с интерфейсами разъемов MPO16 и 2xMPO8.
Многомодовые трансиверы потребляют на 1-2 Вт меньше энергии, чем одномодовые. Это экономит электроэнергию в 2-4 Вт на каждом канале.
Со временем технология приемопередатчиков будет мигрировать на все более короткие расстояния. По мере увеличения скорости линий мы видим, как многомодовое волокно заменяет медные кабели для рядных применений. Очевидным примером является использование многомодового волокна в кластерах искусственного интеллекта (ИИ). Мы ожидаем, что многомодовое волокно останется ключевой частью сетей центров обработки данных еще для многих поколений
Строительство дата-центров в России
Современные внешнеэкономические и политические реалии привели к ускорению внутрироссийских процессов по цифровому технологическому прорыву. Он невозможен без крупных отечественных центров обработки и хранения данных. Появление большого количества облачных сервисов и услуг, повсеместное и неуклонное внедрение во все сферы жизни искусственного интеллекта и многое другое требуют от цифровых сетей высоких скоростей и работы с большими объемами информации.
Росэнергоатом объявил о запуске в 2024 году 2 новых ЦОД — в Москве и Иннополисе, а также возможность раннего бронирования услуг данных центров.
ЦОД «Москва-2» (36 МВт на 3 640 стойко‑мест уровня Tier IV UI) располагается на Юге Москвы. Его площадь превышает 20 тыс. м2.
ЦОД «Иннополис» (16 МВт на 2 000 стойко‑мест уровня Tier III UI) располагается Приволжском федеральном округе. Технологические решения для ЦОД «Иннополис» разрабатывались с учетом стратегии импортозамещения.
Оба дата‑центра будут запущены в I квартале 2024 года.
Также крупнейший дата‑центр откроют в Балаковском районе Саратовской области. Он создается для организации суверенной инфраструктуры для хранения и обработки данных внутри России. На мощностях центра планируется размещение цифровой платформы «ГосТех»
Общая площадь машзалов — 10 тыс. м2; технологических модулей — более 62 тыс. м2. В центре обработки данных хотят разместить от 3 000 стоек с вычислительным оборудованием, со 120 000 серверов.
В полную эксплуатацию сдать объект планируют к 2030 году, а первую очередь запустят уже в этом году.
И в заключение
Лавинообразный рост ЦОД в России требует быстрого внедрения масштабируемых и высокопроизводительных решений, которые соответствуют мировым стандартам и следуют инновационным тенденциям. Среди крупных и надежных мировых производителей, таких как CommScope, стоит выбирать тех, кто предлагает готовые решения для структурированных кабельных систем ЦОД «под ключ».
Важно работать на опережение и внедрять мировые инновационные технологии, позволяющие обеспечить гибкость и адаптируемость инфраструктуры ЦОД к изменяющимся требованиям рынка. Такой подход позволяет российским компаниям быстро реагировать на изменения условий конкуренции и предоставлять своим клиентам высококачественный сервис.
