О дата-центре в целом мы уже практически все рассказали и показали. Теперь понемногу будем сосредотачиваться на интересном оборудовании, которое там установлено, или будет установлено в ближайшем будущем. Тема, конечно, весьма противоречивая, но время от времени появляются настолько любопытные устройства, что удержаться от соблазна просто невозможно. Как вам, например, 324-портовый QDR-Infiniband-коммутатор, с суммарной пропускной способностью за 50 Терабит? О нем мы сегодня и расскажем.
Коммутатор используется в системе облачных вычислений наших партнеров, компании «Оверсан-Скалакси» и установлен в дата-центре «Оверсан-Меркурий». Как и с любым другим оборудованием подобного класса (и цены), его выбору и покупке предшествовало тщательное изучение имеющихся на рынке решений. Необходим был сверхскоростной коммутатор, способный взять на себя организацию передачи данных в кластерной файловой системе GPFS и переноса ethernet-трафика. Это позволяет объединить в одну сеть хранилища с дисками и машины клиентов, обеспечив к тому же выход в интернет.
Шина передачи данных должна соответствовать требованиям кластерных систем, то есть, иметь очень высокую скорость передачи данных, с запасом на несколько лет, и низкую задержку. 40-гигабитный Ethernet все еще является довольно экзотичной и дорогой шиной, к тому же расчетная стоимость владения (ТСО) на систему подобного размера получалась совершенно космической. В итоге выбор пал на Infiniband, как технологию проверенную, обкатанную, и сравнительно более доступную. Ну и, конечно, QDR-Infiniband может работать на скорости до 40 Гбит/с, а коммутатор обеспечивает задержку от 100 до 300 наносекунд при передаче между портами.
Специалисты «Оверсан-Скалакси» провели целое исследование относительно того, какая коммутирующая матрица могла бы отвечать всем налагаемым требованиям. В конечном итоге, после долгих обсуждений, контактов и переговоров с вендорами, в качестве опорного коммутатора был выбран Grid Director 4700 от компании Voltaire. О ней и ее продукции мало кто знает, что делает предмет обсуждения еще интереснее. Между тем, компания была образована еще в 1997 году и имеет израильско-американские корни. Изначальным ориентиром был выпуск продукции для дата-центров, высоконагруженных и кластерных вычислений. Видимо, впоследствии, к этом списку добавились и облачные проекты. Компания выпускает продукцию, в том числе мощные коммутирующие матрицы, на шинах Infiniband и Ethernet.
Вот что они говорят сами про себя: «линейка коммутирующих матриц для серверов и систем хранения данных, а также передовое управляющее программное обеспечение позволяют повысить производительность в критически важных приложениях, увеличить эффективность и снизить расходы путем консолидации инфраструктуры и меньшего энергопотребления».
К чести Voltaire, их коммутаторы используются в системах, входящих на первые позиции с мировых рейтингах суперкомпьютеров, а те или иные решения Voltaire применяются в системах Bull, HP, IBM, NEC, Rackable, SGI и Sun.
О том, как приобретался, доставлялся и устанавливался коммутатор, можно написать отдельную книгу. Эти секреты мы пока раскрывать не будем, а лучше подробнее остановимся непосредственно на «железе».
На снимках коммутатор показан в процессе монтажа, чтобы можно было сфотографировать «внутренности».
Четырехтысячная серия коммутаторов Grid Director рассчитана на рынок кластерных вычислений, где на фоне постоянно растущего размера и сложности кластеров по-прежнему требуется молниеносная скорость, отличная управляемость и масштабируемая архитектура. То же самое, очевидно, требуется и в «облаках». Если вкратце, то Grid Director 4700 представляет собой управляющий коммутатор, содержащий 324 Infiniband-порта на 40 Гбит/с в 19-юнитовом шасси. Основная модульная плата коммутатора (backplane) обеспечивает общую пропускную способность в 51,8 Терабит в секунду, при этом задержка при переключении между портами находится в диапазоне от 100 до 300 наносекунд. Цифры, что называется, говорят сами за себя. Для подключения используются специальные медные разъемы QSFP и соответствующие кабели. При этом коммутатор сам определяет характеристики подключенного кабеля и выставляет оптимальные параметры работы. С одной стороны, вроде это и весьма полезная функция, а с другой – если не хочешь сюрпризов – покупай фирменные кабели Voltaire. А они, как, в общем-то и все, связанное с высокоскоростной передачей данных, нынче не дешевы.
К Grid Director 4700 через серверы HP DL-серии с IB-модулями подключены дисковые хранилища HP MSA c реализованной на них кластерной файловой системой GPFS. Это обеспечивает хорошую пропускную способность по дисковому вводу-выводу в виртуальных инстансах. Собственно решением проблемы ввода-вывода (I/O bottleneck) и славятся решения Voltaire. Соответственно, используя Grid Director, «Оверсан-Скалакси» решает главную проблему всех российских хостингов – низкую скорость дискового ввода-вывода. Также через Infiniband с использованием собственной разработки «Оверсан-Скалакси» передается Ethernet-трафик. Ну и, наконец, высокая пропускная способность Infiniband нужна для предоставления клиентам широкого интерконнекта между виртуальными инстансами и соответствующего канала в интернет через мощные аплинки дата-центра «Оверсан-Меркурий».
Общая Ethernet-коммутация и организация интернет-каналов возложены на коммутаторы Juniper EX82. О них мы тоже планируем подробно рассказать в ближайшее время.
В шасси можно установить до 18 слотов, каждый из которых содержит линейную плату для QDR-разъемов. Их, в свою очередь, по 18 штук на плате. Отсюда и получаются те самые 324 Infiniband-порта. То же количество портов достигается и другим способом – в шасси устанавливаются девять коммутирующих матриц по 36 портов каждая. Все установленные модули управляются с помощью фирменного ПО Unified Fabric Manager.
Разъемы для матриц на модульной плате.
Всю махину питанием обеспечивают шесть зарезервированных источников питания с поддержкой «горячей замены». Сделано это в основном для надежности работы, потребление самой системы не так уж велико – максимум по 12 Вт на порт. На первый взгляд может показаться немало, но не стоит забывать, что Grid Director 4700 в одиночку занимает почти половину стойки.
За охлаждение отвечают два вентиляторных модуля, вертикальный и горизонтальный. При этом общее направление движения воздуха остается стандартным, спереди – назад. Это сделано для того, чтобы Grid Director можно было устанавливать в обычные стойки в стандартных дата-центрах, хотя все порты у коммутатора расположены сзади, что не так часто встречается.
И еще один штрих – при полной загрузке модулями коммутатор весит 170 килограмм. Солидно, но не так много, как могло бы быть – с монтажом легко справятся два инженера.
Внизу — охлаждение и питание.
Часть хранилищ подключается напрямую по SAS к серверам с Infiniband-модулями.
Вид сбоку.
Индикаторы на модулях.
Шильдик крупным планом. Скромно, но со вкусом.
Коммутатор используется в системе облачных вычислений наших партнеров, компании «Оверсан-Скалакси» и установлен в дата-центре «Оверсан-Меркурий». Как и с любым другим оборудованием подобного класса (и цены), его выбору и покупке предшествовало тщательное изучение имеющихся на рынке решений. Необходим был сверхскоростной коммутатор, способный взять на себя организацию передачи данных в кластерной файловой системе GPFS и переноса ethernet-трафика. Это позволяет объединить в одну сеть хранилища с дисками и машины клиентов, обеспечив к тому же выход в интернет.
Шина передачи данных должна соответствовать требованиям кластерных систем, то есть, иметь очень высокую скорость передачи данных, с запасом на несколько лет, и низкую задержку. 40-гигабитный Ethernet все еще является довольно экзотичной и дорогой шиной, к тому же расчетная стоимость владения (ТСО) на систему подобного размера получалась совершенно космической. В итоге выбор пал на Infiniband, как технологию проверенную, обкатанную, и сравнительно более доступную. Ну и, конечно, QDR-Infiniband может работать на скорости до 40 Гбит/с, а коммутатор обеспечивает задержку от 100 до 300 наносекунд при передаче между портами.
Специалисты «Оверсан-Скалакси» провели целое исследование относительно того, какая коммутирующая матрица могла бы отвечать всем налагаемым требованиям. В конечном итоге, после долгих обсуждений, контактов и переговоров с вендорами, в качестве опорного коммутатора был выбран Grid Director 4700 от компании Voltaire. О ней и ее продукции мало кто знает, что делает предмет обсуждения еще интереснее. Между тем, компания была образована еще в 1997 году и имеет израильско-американские корни. Изначальным ориентиром был выпуск продукции для дата-центров, высоконагруженных и кластерных вычислений. Видимо, впоследствии, к этом списку добавились и облачные проекты. Компания выпускает продукцию, в том числе мощные коммутирующие матрицы, на шинах Infiniband и Ethernet.
Вот что они говорят сами про себя: «линейка коммутирующих матриц для серверов и систем хранения данных, а также передовое управляющее программное обеспечение позволяют повысить производительность в критически важных приложениях, увеличить эффективность и снизить расходы путем консолидации инфраструктуры и меньшего энергопотребления».
К чести Voltaire, их коммутаторы используются в системах, входящих на первые позиции с мировых рейтингах суперкомпьютеров, а те или иные решения Voltaire применяются в системах Bull, HP, IBM, NEC, Rackable, SGI и Sun.
О том, как приобретался, доставлялся и устанавливался коммутатор, можно написать отдельную книгу. Эти секреты мы пока раскрывать не будем, а лучше подробнее остановимся непосредственно на «железе».
На снимках коммутатор показан в процессе монтажа, чтобы можно было сфотографировать «внутренности».
Четырехтысячная серия коммутаторов Grid Director рассчитана на рынок кластерных вычислений, где на фоне постоянно растущего размера и сложности кластеров по-прежнему требуется молниеносная скорость, отличная управляемость и масштабируемая архитектура. То же самое, очевидно, требуется и в «облаках». Если вкратце, то Grid Director 4700 представляет собой управляющий коммутатор, содержащий 324 Infiniband-порта на 40 Гбит/с в 19-юнитовом шасси. Основная модульная плата коммутатора (backplane) обеспечивает общую пропускную способность в 51,8 Терабит в секунду, при этом задержка при переключении между портами находится в диапазоне от 100 до 300 наносекунд. Цифры, что называется, говорят сами за себя. Для подключения используются специальные медные разъемы QSFP и соответствующие кабели. При этом коммутатор сам определяет характеристики подключенного кабеля и выставляет оптимальные параметры работы. С одной стороны, вроде это и весьма полезная функция, а с другой – если не хочешь сюрпризов – покупай фирменные кабели Voltaire. А они, как, в общем-то и все, связанное с высокоскоростной передачей данных, нынче не дешевы.
К Grid Director 4700 через серверы HP DL-серии с IB-модулями подключены дисковые хранилища HP MSA c реализованной на них кластерной файловой системой GPFS. Это обеспечивает хорошую пропускную способность по дисковому вводу-выводу в виртуальных инстансах. Собственно решением проблемы ввода-вывода (I/O bottleneck) и славятся решения Voltaire. Соответственно, используя Grid Director, «Оверсан-Скалакси» решает главную проблему всех российских хостингов – низкую скорость дискового ввода-вывода. Также через Infiniband с использованием собственной разработки «Оверсан-Скалакси» передается Ethernet-трафик. Ну и, наконец, высокая пропускная способность Infiniband нужна для предоставления клиентам широкого интерконнекта между виртуальными инстансами и соответствующего канала в интернет через мощные аплинки дата-центра «Оверсан-Меркурий».
Общая Ethernet-коммутация и организация интернет-каналов возложены на коммутаторы Juniper EX82. О них мы тоже планируем подробно рассказать в ближайшее время.
В шасси можно установить до 18 слотов, каждый из которых содержит линейную плату для QDR-разъемов. Их, в свою очередь, по 18 штук на плате. Отсюда и получаются те самые 324 Infiniband-порта. То же количество портов достигается и другим способом – в шасси устанавливаются девять коммутирующих матриц по 36 портов каждая. Все установленные модули управляются с помощью фирменного ПО Unified Fabric Manager.
Разъемы для матриц на модульной плате.
Всю махину питанием обеспечивают шесть зарезервированных источников питания с поддержкой «горячей замены». Сделано это в основном для надежности работы, потребление самой системы не так уж велико – максимум по 12 Вт на порт. На первый взгляд может показаться немало, но не стоит забывать, что Grid Director 4700 в одиночку занимает почти половину стойки.
За охлаждение отвечают два вентиляторных модуля, вертикальный и горизонтальный. При этом общее направление движения воздуха остается стандартным, спереди – назад. Это сделано для того, чтобы Grid Director можно было устанавливать в обычные стойки в стандартных дата-центрах, хотя все порты у коммутатора расположены сзади, что не так часто встречается.
И еще один штрих – при полной загрузке модулями коммутатор весит 170 килограмм. Солидно, но не так много, как могло бы быть – с монтажом легко справятся два инженера.
Внизу — охлаждение и питание.
Часть хранилищ подключается напрямую по SAS к серверам с Infiniband-модулями.
Вид сбоку.
Индикаторы на модулях.
Шильдик крупным планом. Скромно, но со вкусом.
