Связь без сбоев: резервирование между дата-центрами на оптическом и OTN-уровнях

Привет! Я Лев, специалист продуктовой поддержки в Selectel. В прошлой статье мы разбирались в проектировании межцодовых сетей — от протоколов до архитектурных решений. Теперь настало время перейти к следующему критически важному аспекту — резервированию каналов связи.

Если коротко: резервирование в телеком-системах — это способ повысить надежность и отказоустойчивость, добавив дополнительные (резервные) каналы. Они вступают в работу, когда основной канал выходит из строя, либо работают параллельно. Другие подробности и кейс, в котором голубь оказался быстрее интернета, — под катом.

Используйте навигацию, если не хотите читать текст целиком:

→ Голубь быстрее современных технологий
→ Резервирование сети ЦОД: как избежать катастрофы при обрыве связи
→ Резервирование на оптическом уровне
→ Уровень OTN
→ Заключение

Голубь быстрее современных технологий

В 2009 году южноафриканский интернет-провайдер The Unlimited решил наглядно продемонстрировать, насколько ненадежным и медленным может быть подключение. Компания провела эксперимент: передала 4 ГБ данных с помощью почтового голубя — и одновременно попыталась отправить тот же объем по выделенной линии.

Для контекста: в некоторых регионах ЮАР интернет был настолько медленным, что загрузка больших файлов (например, 4 ГБ) занимала часы.

Компания в Дурбане отправила в другой город карту памяти с информацией на 4 ГБ с голубем по кличке Уинстон. В то же время специалисты попытались переслать идентичную информацию по интернету. Оказалось, что Уинстон «прилетел к финишу» первым: пока он пролетел 100 км, а на это у него ушло чуть больше часа, через интернет прошло лишь 4% данных. На полную передачу информации ушел еще один час.

Но к этому моменту вы наверняка задались вопросом, причем тут резервирование. В случае полного отказа интернет-соединения голубиная почта служила аварийным каналом для передачи критически важной информации — например, медицинских документов. Это условный пример холодного резервирования: аварийный канал не был частью основной инфраструктуры и активировался вручную — только при возникновении проблемы.

[врезка в Академии]

Подробнее о практиках L2- и L3-резервирования в дата-центрах — в отдельном тексте.
Минутка интересных экспериментов подошла к концу и мы узнали, как голуби спасли бы мир. Теперь пришло время рассмотреть резервирование в межцодовых сетях.

Резервирование сети ЦОД: как избежать катастрофы при обрыве связи

Представьте: магистральный канал между вашими дата-центрами внезапно оборвался. Серверы теряют связь, транзакции не проходят, клиенты в ярости, а счетчик убытков стремительно растет. Именно так выглядит кошмар любого оператора ЦОД. И единственная защита от него — это грамотное резервирование каналов связи.

Почему резервирование — это не опция, а обязательство? Современные ЦОД – это своего рода «кровеносная система» бизнеса. Остановка связи даже на минуту приводит к целому ряду проблем, в числе которых:

• потеря данных в реальном времени,
• срыв критических транзакций (платежи или биржевые операции),
• недоступность ресурсов и баз данных,
• простой технологических процессов,
• репутационный ущерб и штрафы за нарушение SLA.

Как работает «неубиваемая» связь между ЦОД? Секрет в «правиле двух Н».

1. Независимые каналы — разные операторы, технологии, физические трассы.

2. Немедленное переключение — автоматический переход на резерв за миллисекунды.

Мы «вскроем» два ключевых слоя защиты:

• оптический уровень — как дублируют DWDM-системы и что такое «темное волокно»;
• OTN-резервирование — хитрые механизмы защиты трафика в транспортных сетях.

Даже при наличии дублирующих DWDM-систем и оптических трасс, остается значительный домен отказа — например, сама DWDM-аппаратура или клиентские порты. В реальных ЦОД стремятся к более надежным схемам, где дублируется не только физика, но и логика маршрутизации. В Selectel, например, реализовано резервирование уже на уровне L2/L3, где задействованы две независимые трассы от свитча до свитча. DWDM и OTN остаются в архитектуре, но уже скорее как способ экономии волокон, а не как главный механизм отказоустойчивости.

Резервирование на оптическом уровне

Классические методы резервирования каналов связи в ЦОД фокусируются на сетевом и канальном уровнях. Но существует и более низкоуровневая защита — на физическом уровне. Речь идет не об оптических технологиях как таковых, а о самих трассах передачи данных: кабелях, муфтах, линейных участках. Здесь оптика — это один из инструментов, дающий преимущество по дальности и скорости.

Физическое резервирование помогает избежать полной потери связи при повреждении основного линейного тракта. Особенно это важно при межцодовых соединениях, где обычно задействованы километры оптических волокон.

Принцип прост: если основной оптический путь выходит из строя, трафик должен автоматически уйти на резервный, минимизируя или полностью исключая потери данных, простои сервисов и систем. Также каналы могут работать параллельно: вывод из работы одного канала лишь снизит пропускную способность.

Линейное резервирование

Наиболее уязвимое место в физической трассе — волоконно-оптический кабель. Его могут повредить при земляных работах, авариях на инфраструктуре и даже при вандализме. Основной способ защиты — увеличение количества физических трактов между точками. То есть прокладка дополнительного кабеля или выделение волокон в разных местах.

Разберем основные схемы линейного резервирования.

• Схема 1:1, в которой используется одно основное и одно резервное волокно. При потере сигнала происходит переключение на резервный канал.
• Схема 1+1. Данные передаются одновременно по основному и резервному волокнам, а на приемной стороне выбирается сигнал с лучшим качеством.

Схема работы участка сети с линейным резервированием по схеме 1:1. «а» — нормальный режим, «б» — режим использования резерва. Источник.

Иногда резервные волокна закладываются в тот же кабель, что и основные, но гораздо более устойчивую защиту дает разнесение трасс — вплоть до прокладки в разных технических зонах или через разных операторов.

Сегодня в магистральных сетях часто используются DWDM и OTN — они позволяют «уплотнять» волокна, передавая множество каналов по одной физической линии. Эти технологии важны для оптимизации использования ресурсов, но не гарантируют отказоустойчивость сами по себе.

Более того, появляются архитектуры, где транспортный слой становится частью L3-инфраструктуры. Например, когда в роли транспондера DWDM-системы выступает L3-коммутатор. В таких схемах отказ одного канала приводит лишь к снижению пропускной способности, но не к потере связи.

Кольцевые структуры

При построении волоконно-оптических сетей связи часто применяют кольцевую топологию, для которой самовосстановление — это естественное свойство. При этом часто линейная часть кольцевой структуры в сетях связи общего пользования строится на основе пары волокон. В результате у передающего узла есть два варианта доступа к приемному: по часовой стрелке и в обратном направлении. Один из маршрутов выполняет функции основного и используется для передачи трафика, другой — резервный.

Схема работы участка сети с кольцевым резервированием по схеме 1:1: а) нормальный режим; б) режим использования резерва. Источник.

Резервирование на основе темного волокна

Темное волокно представляет собой неиспользуемые оптические волокна, которые прокладываются для резервирования или будущего роста сетевой инфраструктуры. Это волокно не передает световые сигналы до тех пор, пока не будет активировано соответствующим оборудованием.

Темное волокно активно используют в центрах обработки данных для связи между серверами, хранилищами данных и другими сетевыми устройствами. Оно позволяет обеспечить высокую пропускную способность и низкую задержку при передаче больших объемов данных. Можно выделить ряд преимуществ использования волокна этого типа:

• масштабируемость,
• высокая безопасность,
• отказоустойчивость.

Оптический кабель в разрезе. Источник.

Уровень OTN

Помимо резервирования на оптическом уровне, существует еще один слой, который обеспечивает интеллектуальное управление и дополнительную надежность, — уровень Optical Transport Network (OTN). Он предоставляет механизмы резервирования, которые минимизируют простой и обеспечивают целостность данных. Подробнее о технологии мы уже рассказывали в предыдущей статье.

Встроенный метод защиты (SNC/I)

Начнем с ключевого понятия. ODUk (Optical Data Unit k) — это элемент структуры оптической транспортной сети (OTN), представляющий собой блок данных, предназначенный для передачи информации по оптическому каналу. При этом защитное переключение на уровне ODUk инициируется при обнаружении дефектов на линии, к которой он подключен, а не на самом блоке.

Иерархия сети OTN. Источник.

В однонаправленной схеме защиты 1+1 с одним пролетом.

1. При обрыве волокна между узлами A и Z возникает авария LOS-P (Loss of Signal – Payload) — отсутствие полезного сигнала.
2. Это вызывает состояние деградации сигнала SD (Signal Degrade) на всех вложенных уровнях: OTU, HO ODU и LO ODU.
3. Клиентская группа защиты, отслеживающая уровень OTU, фиксирует аварию и выполняет переключение на резервный канал.

В случае схемы 1+1 многопролетного соединения.

1. Клиентский сигнал передается, например, через узлы A → K → P по основному маршруту и через M → N — по резервному.
2. При обрыве волокна между K и P на этих узлах фиксируется авария LOS-P, вызывающая состояние SF (Signal Fail) на всех уровнях (OTU, HO ODU, LO ODU) в узле P.
3. Поскольку секции OTU и HO ODU завершаются на узлах K и P, аварии на этих уровнях не передаются далее — на узел A поступает только сигнал об ошибке на уровне LO ODU.
4. Группа защиты на узле A ориентируется на состояние уровня OTU, который остается без изменений и не инициирует переключение на резервную линию, несмотря на фактический обрыв оптического кабеля.

Метод SNC/I подходит для однопролетных соединений, где возможна быстрая и надежная реакция на отказ линии. Однако в многопролетных линиях его эффективность снижается: сигнал об ошибке на промежуточном участке может не дойти до граничных узлов, отвечающих за переключение. В результате резервный канал не активируется, и клиентский трафик может быть утерян.

SNC/N для однопролетной и многопролетной линии при возникновении SF. Источник: Богданова Е.Г., Павлова А.И. «DWDM-системы “Волга”. Описание оборудования. Версия 1.2». Издательство “Т8”, 2024 — 639 с.

Метод защиты без влияния на сервис (SNC/N)

Рассмотрим работу метода SNC/N в однонаправленной схеме 1+1 при возникновении аварии на многопролетной линии.

Клиентский сигнал начинается на узле A, завершается на узле Z и проходит через промежуточные узлы: K и P — по основному маршруту, M и N — по резервному. Если происходит обрыв оптоволокна между узлами K и P, на этих узлах фиксируется авария типа LOS-P из-за потери полезного оптического сигнала. Это приводит к появлению состояния SF на всех вложенных уровнях — OTU, HO ODU и LO ODU — на узле P.

Так как секции OTU и HO ODU между K и P завершаются на этих узлах, связанные с ними аварии не распространяются дальше. На узел A доходит только ошибка на уровне LO ODU, в то время как уровни OTU и HO ODU остаются без признаков неисправности.

В отличие от метода SNC/I, где ориентиром служит уровень OTU, в SNC/N переключение выполняется на основе состояния LO ODU. Поскольку LO ODU терминируется только на оконечных узлах (A и Z), ошибки на этом уровне, возникшие в любом участке соединения, доходят до границ канала. Это позволяет клиентской группе защиты на узле A корректно зафиксировать аварию и выполнить переключение на резервный маршрут — даже если вышестоящие уровни (OTU, HO ODU) находятся в активном состоянии.

​​Таким образом, метод SNC/N обеспечивает корректное и своевременное защитное переключение на многопролетных линиях, независимо от количества узлов или топологии соединения. Он отслеживает аварии на самом нижнем уровне и позволяет эффективно поддерживать работоспособность сервиса.

SNC/N для однопролетной и многопролетной линии при возникновении SF. Источник: Богданова Е.Г., Павлова А.И. «DWDM-системы “Волга”. Описание оборудования. Версия 1.2». Издательство “Т8”, 2024 — 639 с.

Заключение

Мы рассмотрели современные подходы к резервированию каналов связи в оптических транспортных сетях и подробно разобрали методы защиты на уровне OTN. Основное внимание было уделено схемам 1+1 с использованием SNC/I и SNC/N, а также их применимости в одно- и многопролетных соединениях между дата-центрами.

Выбор подходящего метода резервирования напрямую влияет на отказоустойчивость сервисов и минимизацию времени простоя. Для однопролетных линий может быть достаточно базовых схем, однако в сложных магистральных или межцентровых конфигурациях необходимы интеллектуальные решения — такие как SNC/N, которые учитывают структуру сети и обеспечивают защиту даже при скрытых повреждениях.

При проектировании необходимо учитывать не только технические характеристики оборудования, но и масштаб сети, допустимые задержки, требования к SLA и бюджет. Такой комплексный подход позволяет построить надежную, устойчивую к сбоям систему передачи данных между дата-центрами — с защитой на всех уровнях и готовностью к непредвиденным ситуациям.