jazzman May 27 2010 at 15:31

324 Infiniband-порта в одной стойке или коммутатор Voltaire Grid Director 4700

5 min

19K

Оверсан-Меркурий corporate blog

+50

104

Comments 104

str1k3r May 27 2010 at 15:47

Класс!
Ждем статью о коммутаторах Juniper.

namezys May 27 2010 at 15:48

внушает

b01d May 27 2010 at 15:59

Поздравляю с покупкой :)

Gol May 27 2010 at 22:34

Интересно, они уже обмыли?

zenden2k May 27 2010 at 16:03

324 x 40 Гбит/с x 2 = 25,9 Терабит, не?

Megakazbek May 27 2010 at 16:18

Так данные то идут в обе стороны. На каждом порте 40 Гбит/с на вход и столько же на выход, то есть надо умножать на 2.

pcmaniac May 27 2010 at 17:02

324 x 40 Гбит/с x 2 = 25,9
Кэп?

lohansky May 27 2010 at 17:04

50Tb/s это backplane. Он всегда с запасом делается, потому что сейчас уже выпускаются порты IB EDR 120Gb/s.

pcmaniac May 27 2010 at 17:14

Это понятно, я о другом. zenden2k всё правильно посчитал и на 2 не забыл умножить.

А то, что backplane модульного свича обеспечивает большую пропускную способность, нежели суммарная по портам, так это вполне нормально для железяк такого уровня. Это вам не SOHO свич, у которого внутренняя пропускная способность шины не более чем в 2 раза выше скорости одного порта, независимо от количества портов.

arc May 27 2010 at 16:06

Крутая махина :)

d0z May 27 2010 at 19:24

циско оценили )))) (навеяно аватаркой)

KEP May 27 2010 at 16:07

Солидно, несколько контрастирует с недавним топиком о другом провайдере

Quiz May 27 2010 at 16:08

Мдэ. Это вам не какой-нить Длинк за двести баксов =)

romx May 27 2010 at 16:12

В кабинет к хирургу входит грузин, снимает штаны и хлопает на стол полуметровый член
Хирург:
— Э-э… Жалуетесь?
— Нэт, пасматри какой красывый!

Ну типа да, «бохато», бабла влито без меры. И чего? «Жалуетесь?» ;)

zar0ku1 May 27 2010 at 16:22

Это красивая реклама, а не просто «понты»

romx May 27 2010 at 16:50

Ну пыль в глаза публике Хабра пускать оно конечно пойдет, ага.

Но лично у меня, чем больше я а это смотрю, тем больше зреет вопрос, а при всех этих тратах на чем господа собрались все эти затраты отбивать. Хотя бы просто затраты, не говоря уже о прибыли?
Или это пресловутая «гитара Джимми Хендрикса» в фильме Бондарчука «Обитаемый Остров», на которой якобы «записывали саундтрек» купив ее тысяч за 70.

Красиво спустить бабло на коммутаторы инфинибэнд это все конечно весело, ага, в России всегда были большие мастера спускать отцовские состояния весело, с цыганами, медведями и шампанским, но все же?
На чем это окупать предполагается и за сколько десятилетий?

grieverrr May 27 2010 at 17:01

Фамилия ваша не Шнипельсон?

jeppeQue May 27 2010 at 17:45

Не кормите тролля.

lohansky May 27 2010 at 17:03

В статье косвенно указано и я лично неодократно говорил, в том числе и на конференциях, что фабрика IB стоит дешевле фабрик Ethernet + FibreChannel вместе взятых и по цене примерно равна фабрике Ethernet. Поэтому с экономикой тут никаких проблем нет.

romx May 27 2010 at 17:45

Насколько я в теме, сказанное вами про цены довольно сомнительно.

Но вопрос не в том, почем вы купили, а в том, как собираетесь на этом зарабатывать и отбивать затраты. Толстые «папики»-инвесторы это конечно хорошо, но однажды они же захотят посмотреть как деньжата «работают», и когда ждать от них отдачи?

Пока же никакой конкретики, сплошные «пассы руками».
Присоединюсь сюда:
habrahabr.ru/company/oversun-mercury/blog/94708/?reply_to=2884344#comment_2884336

lohansky May 27 2010 at 17:48

Если когда-нибудь мы станем открытой компанией, то я покажу вам все расчеты и предложу купить наших акций =)

jazzman May 27 2010 at 17:09

коммутатор рассчитан на годы работы, и используется в системе облачного хостинга «Оверсан-Скалакси». насколько мне известно, дела у компании идут нормально, наблюдается стабильный рост.

UFO just landed and posted this here

zar0ku1 May 28 2010 at 09:25

Реклама красивая!
Вы меня хотите куда-то пригласить на экскурсию в приделах РФ посмотреть на крутой хай-енд?

UFO just landed and posted this here

kuzvac May 27 2010 at 16:19

В Яндекс-маркете нету:) негде цену посмотреть:)))

zar0ku1 May 27 2010 at 16:20

Экскурсии будете устраивать?

jazzman May 27 2010 at 17:07

экскурсии мы устраиваем регулярно. правда, для потенциальных клиентов. думаю, через какое-то время мы кинем клич в блоге и организуем экскурсию для десятка счастливчиков (больше просто сложно).

zar0ku1 May 27 2010 at 17:48

Дело в том, что на моем острове о ТАКОМ оборудовании можно только мечтать и смотреть на картинки и ваши (имеется ввиду фирмы) статьи. Я бы не пожалел денег и с удовольствием прилетел, только чтобы посетить ваш датацентр. А то как обычно, все достанется только москвичам…

pietrovich May 27 2010 at 19:07

зато у вас остров свой есть ;)

moooV May 27 2010 at 20:10

У вас Япония рядом.)))

Там железо круче.

ItGold May 28 2010 at 01:47

это его определенно успокоит

jazzman May 28 2010 at 10:46

ну, если уж вы прилетите в москву, чтобы, пусть и среди прочего, посмотреть дата-центр, то не устроить вам экскурсию было бы просто свинством. так что, как соберетесь — пишите, что-нибудь придумаем )).

borisovaleksey May 27 2010 at 16:21

Про системы кондиционирования habrahabr.ru/company/oversun-mercury/blog/89452/ и
электропитания habrahabr.ru/company/oversun-mercury/blog/89765/ вы тоже писали.

Процитирую письмо из оверсан скалакси:

К сожалению, сегодня 27 мая в 03:40 в дата-центре в результате скачка напряжения отключилась система кондиционирования, в связи с чем произошел перегрев оборудования и его автоматическое отключение. По вине оператора «Оверсан-Меркурий» резервное оборудование было включено только через час, а работоспособность Ваших ресурсов была восстановлена к 04:32.

С данного момента дублирующее резервное оборудование включено и более такая ситуация не повторится.

Приносим Вам свои извинения за причиненные неудобства.

Просьба прокомментировать ситуацию.

alexxxst May 27 2010 at 16:30

Не все бабло допилили, вот и недоделки :)

borisovaleksey May 27 2010 at 16:39

У меня нет основания верить вашей информации. Да и не относится это к делу.

jazzman May 27 2010 at 16:48

Алексей, да успокойтесь вы, в конце концов!

infobox May 27 2010 at 18:11

можно теперь и грязью полить, раз это больше не «ваш» дата-центр? )))
в своем репертуаре…

alexxxst May 27 2010 at 18:25

Да кто ж поливает? Я просто дал ссылку на гугль… просто знаю, в чем дело и смешно иногда читать отмазки :)
И вообще, я непричастен :)

yumitsu May 28 2010 at 06:43

просто знаю, в чем дело

Еще один всё понял.

jazzman May 27 2010 at 16:43

ситуацию прокомментирую в ближайшее время. о сбое знаю, но подробности выясняются. в любом случае, без внимания инцидент не оставим. «основная версия следствия» на текущий момент — человеческий фактор.

jazzman May 27 2010 at 17:17

на текущий момент информация следующая: автоматикой был отключен кондиционер, работающий на ряд не до конца заполненных стоек, где, в том числе, было установлено оборудование нескольких клиентов, и компании «Оверсан-Скалакси».

остальные кондиционеры работали, поэтому проблема была замечена не сразу. в результате часть оборудования была автоматически отключена во избежание повреждения от перегрева.

потеря времени была вызвана долгим распознаванием проблемы и временными затратами на ручной пуск кондиционера, заблокированного автоматически.

производится перенастройка и повторное нагрузочное тестирование системы охлаждения, приняты кадровые меры.

это все, что я могу сообщить на данный момент.

Dipodidae May 27 2010 at 20:24

Уволили кого-то…

T_Ildar May 27 2010 at 16:31

Как всегда интересно, спасибо.

PS// А можно показать фото самих модулей? И раз вы проводили исследование то можно узнать во сколько обошлось такое оборудование?

jazzman May 27 2010 at 17:05

боюсь, не смогу назвать цифры — коммутатор используется компанией «Оверсан-Скалакси» и лишь размещен в нашем дата-центре. с их разрешения я и написал этот пост — уж больно масштабный аппарат. возможно, кто-то другой, знакомый со спецификой, сможет вам подсказать.

ReBlock May 27 2010 at 16:37

MSA, да еще и SAS… Не серьезно как-то :)

ReBlock May 27 2010 at 16:39

Надо было и SAN разворачивать под Infiniband ;)

lohansky May 27 2010 at 17:07

Вообще он под ним и развернут. Ноды GPFS-хранилища с дисками коммутируются к серверам напрямую по IB через этот коммутатор.

ReBlock May 27 2010 at 17:28

Узкое горло здесь SAS коннект хранилищ

lohansky May 27 2010 at 17:30

Я ниже в комментах написал архитектуру. По ней узкое горлышко сведено к минимуму.

romx May 27 2010 at 17:32

Сомнительно.

jazzman May 27 2010 at 17:03

диски напрямую подключены к серверу, сервер — к коммутатору по Infiniband. по-моему, вполне достаточно.

lohansky May 27 2010 at 17:07

А что серьезно?

ReBlock May 27 2010 at 17:25

Интерфейс SAS 3 Гбит/с. Гостевые ОС кластера работают с хранилищами через IB SAN (стучатся к серверам с подключенными MSA через SAS). Я правильно понимаю? Получается скорость записи в массивы очень мала по сравнению с интерконнектами между гостевыми ОС в среде IB.

lohansky May 27 2010 at 17:31

Ниже в комментах написла поподробнее об архитектуре.

UFO just landed and posted this here

ReBlock May 27 2010 at 17:39

А это и есть главная составляющая для Live Migration.

lohansky May 27 2010 at 17:41

Плюс на базе этого можно запускать HA-утилиты для Xen. Которые онлайн синкают состояние двух виртуальных машин которые на разных физических сервера работают. Естественно с некоторой потерей произхводительности самих машин и только по желанию пользователя.

Vlad_Master May 27 2010 at 16:42

Блин! Это же монстер. Спасибо за обзор ;)

romx May 27 2010 at 16:43

Весь этот «geek porn» это все конечно интересно, сам такое люблю, но когда мы уже услышим не про то, как Оверсан тратит деньги, а про то, как он их зарабатывает?

Иначе быть вам в веселой компании, никакой инфинибэнд не спасет:
khanoyants.habrahabr.ru/blog/94665/
«Компания потратила 1 миллиард долларов на строительство складских помещений, и покупку более 1000 кресел Aeron (цена одного кресла более 1000$)»

easy_john May 27 2010 at 16:47

блин, да ты лучше посмотри какая железяка!
а какой смысл технарей про бабло спрашивать?

romx May 27 2010 at 16:55

Ну так я выше и пошутил уже про «Ты пасматры какой красывый!» ;)

easy_john May 27 2010 at 17:06

хорошо. а спрашивать то зачем? технари редко участвуют в разработке финансовой стратегии компании.

romx May 27 2010 at 17:39

Ну должен же это хоть кто-то спросить, чтобы люди не особо-то среди звезд парили ;)
Поближе к ней, нашей грешной, земельке, пожалуйста.

mlurker May 27 2010 at 17:44

Лучше почитайте, сколько тратят наших денег чиновники себе на мебель.

romx May 27 2010 at 17:58

Как только у них появится блог на Хабре — обязательно :)

UFO just landed and posted this here

lohansky May 27 2010 at 17:11

Требования — бездисковые сервера, отдельное надежное хранилище, быстрая IP сеть. Для того, что бы выполнять миграции онлайн с минимальной задержкой и высоким уровнем отказоустойчивости.

UFO just landed and posted this here

lohansky May 27 2010 at 17:33

40Gb/s — это сырая шина. Полезная полоса 32Gb/s, 8Bb/s уходят на контроль ошибок и управление. Из этих 32Gb/s 10 на IP, оставшееся на хранилище, дополнительные сервисы, которые мы будем запускать в будущем и overhead.

Про архитектуру поподробнее написал пониже.

jazzman May 27 2010 at 17:01

масштабируемость, запас мощности, работа на 40-гигабитной скорости, достойное управляющее ПО, гибкость конфигурирования.

UFO just landed and posted this here

lohansky May 27 2010 at 17:22

Выбор infiniband 40Gb/s обусловлен тем, что это дешевле и масштабируемей чем ethernet 10Gb/s + fibrechannel 4Gb/s. Ну а 10Gb/s общей шины это аккурат для виртуальных серверов.

MSA согласен выглядят не сбалансированно, но у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s.

lohansky May 27 2010 at 17:35

Тут еще стоит добавить, что есть также ноды с SSD. Там никаких узких горлышек нет. А GPFS обеспечивает распределение горячих данных с учетом SSD.

ReBlock May 27 2010 at 17:37

В таком мощном проекте SAS коннект не должен использоваться вообще.

Если Вы скажете что MSA были куплены ранее и надо было их куда-то пристроить — то я думаю все этой поймут и все вопросы будут сняты.

lohansky May 27 2010 at 17:39

Тут уже вопрос цены. Конечно можно было все построить лучше, но потом купил бы кто =)

osminog May 27 2010 at 17:47

Не понимаю откуда сыр-бор=) К сожалению 12 15к SAS дисков не могут полность утилизировать SAS-канал в 3 Гб/с, это протестировано. Так что выбор сделан абсолютно верно. А если учесть, что профиль нагрузки на диски рандомный, то получается еще и с запасом.

UFO just landed and posted this here

lohansky May 27 2010 at 17:53

40Гбит нет. Но ведь я написал как мы используем полосу.

UFO just landed and posted this here

lohansky May 27 2010 at 18:08

Этой осенью на Highload'10 мы все расскажем, в том числе и куда использовать остатки полосы.

P.S. 8Gb/s на контроль зашито в архитектуре IB, это не мы столько отрезали.

UFO just landed and posted this here

easy_john May 27 2010 at 17:10

правильно я понимаю, что infiniband в данном случае используется вместо сети и транспорта san, а не в «классическом» для обмена между нодами данными в вычислительном кластере?
PS сам люблю apc-шные шкафы, у вас все в них?

jazzman May 27 2010 at 17:19

большая часть шкафов — АРС, еще несколько Rittal. планируются к установке жидкостные стойки Schaefer Uniqle, вся инфраструктура и помещение под них готовы.

osminog May 27 2010 at 17:28

Да, абсолютно правильно. Объединив SAN + Ethernet на одном транспорте Infiniband мы получаем как раз существенную экономию средств.

bdmalex May 27 2010 at 17:32

… подключены дисковые хранилища HP MSA c реализованной на них кластерной файловой системой GPFS. Это обеспечивает хорошую пропускную способность по дисковому вводу-выводу в виртуальных инстансах.

Это же с каких это пор MSA стала обеспечивать хорошую пропускную способность?
MSA -> это самый дешёвый вариант хранилища от компании HP. Да и «на лету» не переконфигурить.
В солидной организации её место -> хранилище для баз разработчиков и редко для тестов. Продуктивные системы на таких хранилищах НЕ ДЕЛАЮТ(!!!)…

lohansky May 27 2010 at 17:34

habrahabr.ru/company/oversun-mercury/blog/94708/#comment_2884392

jazzman May 27 2010 at 17:35

чуть выше уже был ответ, цитирую: «у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s».

UFO just landed and posted this here

osminog May 27 2010 at 17:49

Абсолютно так. Только в MSA не 24 диска, а 12-ть. Я писал уже об этом выше.

UFO just landed and posted this here

lohansky May 27 2010 at 17:56

Имелся ввиду сервер ноды хранилища, а не сервер виртуализации.

netto May 27 2010 at 18:25

Ну если взять Google, то у них работает железо и того проще, но ведь вы не назовете Google «несолидной оргаизацией»?

ssve May 27 2010 at 17:41

Сколько стоит?

long May 27 2010 at 17:46

>В итоге выбор пал на Infiniband, как технологию проверенную, обкатанную
кагбэ «проверенную и обкатанную» — мягко говоря не совсем так. если мне память не изменяет, Дима даже на хайлоаде об этом говорил. скорее «передовая и малоисследованная» ;)
и хотелось бы услышать, если политика открытия данных не поменялась, какие реальные цифры по пропускной способности шины получаются на этой бандуре :)

lohansky May 27 2010 at 17:52

Вадим, привет!

Она нами малоисследована =) А MPI-based ребята ее давно знают. Даже в России.

По поводу полосы — под IP клиентский выделено 10Gb/s. Хралищем до отказа забить канал не удается (нет еще таких хранилищ). Остатки отведены для сервисов дополнительных, а-ля memcached, mysql и т.д.

long May 27 2010 at 18:04

привет!
нее, понятно, что расчетные значения перекрываются. интересно именно реальная способность шины и конкретной железки. 40 — это ж теоретическая возможность.