Центры Обработки Данных, как правило, представляют собой здания с помещениями достаточно большого размера, в которых размещаются бесконечные шкафы с серверами, коммуникационным оборудованием, системами хранения и прочими инфраструктурными элементами. И порой крайне сложно разобраться, как взаимодействует между собой все это техническое многообразие. В этой статье мы поговорим о топологии и архитектуре сетей ЦОД.
Сетевая архитектура центра обработки данных должна обеспечивать баланс между надежностью, производительностью, гибкостью, масштабируемостью и стоимостью. При этом, она также должна поддерживать как текущие, так и будущие приложения и иметь запас мощности, который может потребоваться для развертывания новых приложений.
Для начала поговорим о том, какие топологии могут использоваться в сетях ЦОД.
Централизованная топология
Централизованная модель является подходящей топологией для небольших центров обработки данных (менее 1500 квадратных метров, хотя иногда даже на меньших площадях умудряются разместить значительный объем оборудования).
Как показано на рисунке, существуют отдельные среды локальной вычислительной сети (LAN)/сети хранения данных (SAN), и в каждой из них есть свои кабели, идущие к каждому серверному шкафу и соответствующей зоне. Каждый сервер подключен кабелями к основным коммутаторам, которые расположены в центральной зоне (Main distribution). Благодаря такой топологии мы можем эффективнее использовать порты на коммутаторах и нам проще управлять нашими компонентами. Централизованная топология хорошо подходит для небольших центров обработки данных, но плохо масштабируется, что существенно усложняет процесс добавления ресурсов.
Так, добавление большого количества сетевых кабелей приводит к перегрузке кабельных трасс и шкафов и увеличивает общую стоимость. А кроме, того рано или поздно начнут проявляться узкие места в производительности сетевого оборудования.
Поэтому, если ваш ЦОД нельзя назвать небольшим, то лучше рассмотреть другие виды топологий, о которых речь пойдет далее.
Зонирование
Зональная топология состоит из распределенных ресурсов коммутации. Как показано ниже, коммутаторы могут быть распределены между конечными (EoR) или промежуточными (MoR) точками расположения, при этом коммутаторы на базе шасси обычно используются для поддержки нескольких серверных шкафов.
Если точнее, то End of Row — это модель коммутации, при которой коммутатор располагается в конце ряда стоек и обслуживает трафик с серверов из нескольких стоек, расположенных в ряд. А Middle of Row — это сетевая архитектура, в которой сетевое оборудование, такое как коммутаторы, расположено в середине каждого ряда серверных стоек. Это решение рекомендовано стандартами центров обработки данных ANS/TIA-942 и отличается высокой масштабируемостью, легкой воспроизводимостью и предсказуемостью. Зональная архитектура, как правило, является наиболее экономичным решением, обеспечивающим наиболее эффективный уровень использования коммутаторов и портов при минимизации затрат на прокладку кабелей.
Так, порты локальной вычислительной сети (LAN) двух серверов (которые обмениваются большими объемами информации) могут быть размещены на одном коммутаторе в конце ряда по модели EoR, что обеспечивает переключение между портами с низкой задержкой. Потенциальным недостатком коммутации EoR является необходимость прокладывать кабель обратно к коммутатору в конце ряда. Если предположить, что каждый сервер подключен к резервным коммутаторам, то количество кабелей может оказаться весьма значительным.
Top of rack
В качестве альтернативы может выступать коммутация по принципу Top‑of‑rack (ToR), которая обычно состоит из двух или более коммутаторов, размещенных в верхней части стойки в каждом серверном шкафу, как показано ниже. Эта топология может быть хорошим выбором для серверных сред с плотной структурой, состоящих из одной стойки (1RU).
Все серверы в стойке подключены кабелями к обоим коммутаторам для обеспечения резервирования. Коммутаторы, расположенные в верхней части стойки, подключены к следующему уровню коммутации. Верхняя часть стойки значительно упрощает управление кабелями и сводит к минимуму требования к изоляции кабеля. Такой подход также обеспечивает быструю коммутацию серверов в стойке от порта к порту и предсказуемое потребление пропускной способности на восходящем канале связи.
Недостатком такого подхода является увеличение стоимости коммутаторов и высокие затраты из‑за недостаточного использования портов. При крупномасштабном развертывании может быть сложно управлять коммутацией в верхней части стойки.
В результате некоторые центры обработки данных развертывают коммутаторы верхнего уровня в архитектуре MoR или EoR, чтобы лучше использовать порты коммутатора и сократить общее количество используемых коммутаторов.
Рассмотрев основные сетевые топологии, перейдем к архитектуре сетей ЦОД.
Архитектура
Архитектура Mesh (ячеистой) сети, часто называемая «network fabric», состоит из сетчатых соединений между конечными устройствами и коммутаторами. Совокупность сетевых соединений обеспечивает возможность подключения от любого устройства к любому устройству с предсказуемой пропускной способностью и меньшей задержкой, что делает эту архитектуру наиболее подходящей для работы облачных сервисов. Благодаря многочисленным ресурсам коммутации, распределенным по всему центру обработки данных, ячеистая сеть по своей сути является избыточной, что позволяет увеличить доступность приложений.
Развертывание и масштабирование таких распределенных сетей может быть намного более экономичным по сравнению с очень крупными традиционными централизованными коммутационными платформами.
Многоуровневая архитектура
Многоуровневая архитектура является наиболее распространенной моделью, используемой в корпоративных центрах обработки данных. Данная модель состоит в основном из веб-серверов, серверов приложений и серверов баз данных, работающих на различных платформах, включая блейд-серверы, серверы 1RU и мэйнфреймы.
Здесь все достаточно просто. У нас есть несколько уровней, на каждом из которых работает оборудование определенного типа. На каждом из этих уровней оборудование подключено в отказоустойчивой конфигурации.
Super spine mesh
Архитектура Super spine обычно используется большими организациями, которые развертывают крупномасштабные инфраструктуры центров обработки данных или ЦОДы в стиле кампуса.
Этот тип архитектуры обслуживает огромные объемы данных, передаваемых по правилу east-west через залы обработки данных.
Такая архитектура объединяет в себе mesh и многоуровневую топологию, что в итоге дает преимущества обеих, но существенно увеличивает стоимость сети в целом.
Заключение
Мы рассмотрели различные виды сетевых топологий, используемых в центрах обработки данных, а также варианты архитектур, которые могут применяться в различных видах ЦОД.
В продложение темы рекомендую посетить открытые уроки, которые пройдут в рамках курса «Дизайн сетей ЦОД»:
2 октября: «Сети ЦОД — SP vs. DC. Какой же подход к построению сетей оказался более распространен и почему?». Запись по ссылке
17 октября: «Балансировка трафика в дата-центрах». Запись по ссылке