Как стать автором
Обновить
57.54
HOSTKEY
IT-инфраструктура: сервера, VPS, GPU, коло

Недорогая 10GbE инфраструктура для кластеров

Время на прочтение 5 мин
Количество просмотров 43K
Мы в HOSTKEY регулярно сталкиваемся с необходимостью организации VLAN на скорости 10Гбит для кластеров виртуализации – своих и клиентских. Эта технология необходима для взаимодействия с СХД, для резервного копирования, для доступа у БД и для обеспечения живой миграции виртуальных машин. Всегда возникает вопрос — как сделать это надежно и с минимальными затратами?

До последнего времени минимальные затраты для такого решения были существенными. Самый маленький коммутатор 10GbE был на 24 порта, а самая простая карта – Intel X520 за 500 долларов. Бюджет на порт составлял около 700-1000 долларов, а входной билет был очень высокий.

Прогресс не стоит на месте, в начале 2015 года появился новый класс устройств 10GbE за приемлемые деньги со склада в Москве и под гарантией.
Так как мы в HOSTKEY регулярно строим на их базе выделенные сервера и частные облака, то хотим поделиться опытом.

Итак, у нашего Клиента 5 машин в кластере и ему нужен 10GbE VLAN – там 2 файлера, одна машина для резервного копирования и несколько нод. На гигабите все медленно и не хочется ставить в машины гигабитные четырехпортовки в тиминге. Надо 10GbE и бюджет ограничен. Звучит знакомо, не правда ли?


Выбор 10GbE контроллеров


Выбираем сетевые платы для серверов – чтобы новые, со склада и гарантией. Есть три варианта, и все они на PCIe x8:

1) Старый проверенный Intel X520-DA2.
2 порта SFP+, уже 5 лет на рынке. Цена около 30 000 рублей (~$450). Обратите внимание, модули надо брать родные по 15.000 рублей или заказывать в НАГе с указанием, чтобы их прошили под эту модель – иначе он их не увидит. Это же касается DAC (медных кабелей прямого подключения с интерфейсами SFP+ — вдруг кто не знает), мы то же думали что любой подходит и были вынуждены заходить на второй круг.

2) Новичок Asus PEB-10G/57811-1S
1 или 2 порта SFP+ на чипсете BCM 57811S.
Впервые мы их заметили в продаже весной. Цена вопроса 10 000 рублей за штуку с одним портом и 16 000 за 2-х портовый PEB-10G/57840-2S. Модули любые, контроллеру не принципиально. Платка на удивление маленькая, чуть больше ладони. Обратите внимание – драйверов под VmWare там нет в коробке (мы попробуем решить эту проблему в одном из следующих постов).


3) Новый Qlogic QLE3440-CU-CK
Один или два порта на SFP+ под DAC, как мы и искали.
Однопортовую версию удалось купить по 16 000 рублей. На Амазоне цена для QLE3440-CU-CK составляет 250 баксов, т.е. это не сток по старой цене — новье. Все драйвера на месте, в том числе и под ESXI. Карточка чуть большего размера. Модули DAC/SFP+ специально шить не надо — он всеядный.

Выбор 10GbE коммутатора


Теперь надо выбрать коммутатор, нам нужно что-то на 8-12 портов с управлением на уровне L2 без особых наворотов. Нексус и Экстрим не рассматриваем, не тот размерчик. Опять же, ищем новое и со склада. Старые Меланоксы с Ebay, Циски на xenpack не рассматриваем, хотя многие так и поступают.
Выбор еще скромнее:

1) Netgear XS708E на 8 медных портов, цена 72 000 рублей в Регарде и других местах. L2 есть, все управляется. У нас медных портов нет на картах, в этом случае придется брать что-то другое.


2) Netgear XS712T-100NES на 12 медных портов, цена 142 000 рублей в Регарде.

3) SNR-S2970-12X– 12 портовый коммутатор от NAG.
У него 12 SFP+ портов, 8 просто гигабитных портов и полный контроль в L2. Цена около 100 000 рублей, т.е. 8333 рублей за 10Г порт и еще 8 гигабитников на халяву – мы еще VLAN управления на нем же соберем. Читаем форум и ветку с обсуждением устройства — нам для кластера это годится, а для опорного коммутатора уровня ЦОД он точно не пойдет.

DAC нам нравятся больше, они имеют задержку в 0,3мкс против 2-3мкс у 10GBase-T. На уровне сетевой агрегации ЦОД это не так важно, а для подключения файлеров ничего нет важнее маленькой задержки.
Спрашиваем коллег про опыт эксплуатации и заказываем в НАГ.ру, через несколько дней коммутатор уже у нас в Москве на столе. Интерфейс коммутатора простой, есть веб-интерфейс, IOS-образный CLI и все управляется по SNMP. Нам не требуется ничего сложнее, чем нарезать VLAN и поставить на мониторинг в CACTI, хотя у него намного больше функций. Он может шейпить, может делать транки, может зажимать MAC на портах, может делать port mirror на 1/10Г, подкрашивать трафик QOS и все остальное, что пристало L2 свитчу в 2015 году.

Снапшоты веб-интерфейса SNR-S2970-12X:

Первый экран:


Управление портами:


МАС-адреса:


Настройка портов:


Настройка шэйпинга и лимитов pps:


Управление зеркалированием портов:


Управление VLAN и транками:


Тестирование



Собираем стенд из двух серверов и коммутатора – две машины на s1366, супермикра и интел. Ставим карточки, ставим на SSD серверам Windows Server 2012 (как надо клиенту) и соединяем все это DAC между собой. Для справки (как тут любят) DAC кабель на 2 метра стоит около 2000 рублей.



Драйвера встают без проблем, все заводится почти с ходу. Никаких ошибок, все работает из коробочки. Qlogic умеет делать из себя виртуальные адаптеры, это удобно для виртуализации интерфейсов в кластере – например один для heartbeat, второй для iscsi, третий для live migration, четвертый для Интернета и пятый для управления всем этим. С Qlogic все можно разобрать еще на уровне виртуальных адаптеров.

IPERF

IPERF во всех режимах показывает 8,5Гбит для Асуса и около 8Гбит для Qlogic. Мы пробовали в разном количестве потоков, включали offload, крутили размер jumbo-frame – разница в пределах статистической погрешности.
ASUS:


Qlogic:


Включаем прямиком сервера друг в друга – те же цифры, коммутатор не вносит задержки. Это проще простого – просто переставляем кабель из коммутатора в сервер и все включается.

10G контроллеры и ширина шины PCIe

Обратите внимание – мы первоначально заметили, что Asus не разгоняется выше 6 Гигабит. Оказалось что в Интеловской матери один из слотов восьмого размера на самом деле на четыре лэйна. Переставили в PCIe с восемью лэйнами – стало сразу 8,5Гбит. На таких скоростях это уже важно, упирается в любое узкое горлышко.


Передача файлов по SMB

Тестируем работу обычной SMB-шары в Windows – без особых заморочек, пост не про это. Сначала получаем скорость около 300Мбайт передачи — SSD через SATA2 больше не тянет. На матери нет SATA3, поэтому ставим RAM Disk и заливаем все туда. Том раздаем по сети и картинка сразу меняется – 609МБ в секунду. 4,7Гб установочный образ копируется за менее чем 8 секунд. Судя по тому, что на графике ровная полка, мы где-то уперлись в ограничение, и это не сеть. Разбираться уже не будем, 600Мб в секунду более чем достаточно – типовая 10Гб виртуальная машина теперь сможет быть мигрирована за 16 секунд с ноды на ноду.

Выводы



Что получается – все работает, быстро и просто. Скорость передачи в таком решении порядка 8,5 Гбит/с — для большинства задач более чем достаточно. Для создания 10Г сетевой инфраструктуры на кластер из 10 машин надо всего 200 000 рублей или 3000 долларов, сумма более чем подъемная. Если комплектовать двухпортовыми платами и двумя коммутаторами для резерва, то цена вопроса 360 000 рублей или около 5500 долларов.

Мы в HOSTKEY специализируемся на аренде для клиентов крупных кастомных выделенных серверов и кластеров на их базе. 10GbE порт для организации VLAN на выделенный сервер обойдется всего в 2100 рублей в месяц. Если коммутация на 10G Ethernet делается без участия коммутатора, например, два сервера смотрят в один файлер с двух-портовой платой – то это добавит всего 1200-1600 рублей на сервер в месяц. Обратите внимание – в однопроцессорный 1U сервер сложно одновременно поставить 10G контроллер и аппаратный RAID-контроллер. В двухпроцессорных машинах обычно есть WIO опция, когда ставится две платы друг над другом через райзер или одна плата ставится спереди, как в HP DL160 или Деллах.

О HOSTKEY


HOSTKEY сдает выделенные сервера в аренду в Москве и Нидерландах с 2008 года. Общий парк собственных серверов сейчас составляет 1300 физических машин на 5 площадках. Мы работаем в сертифицированных по TierIII Московских ЦОД Датапро Авиамоторная, Даталайн Норд и на нескольких площадках попроще. В Нидерландах стойки арендуются в Serverius.nl, сервера там все наши собственные – никого не ресейлим. В этих ЦОД мы размещаем на коло сервера наших клиентов и предоставляем выделенные сервера со всей сетевой инфраструктурой. Цены – разумные, мы делаем все, чтобы снизить свои издержки и предложить клиентам экономически целесообразные условия в это непростое время. Если нужно что-то специальное – обращайтесь, мы всегда поможем.

Промокод на 10% скидки до конца августа 2015 года для читателей — HABR170815
Теги:
Хабы:
+6
Комментарии 35
Комментарии Комментарии 35

Публикации

Информация

Сайт
www.hostkey.ru
Дата регистрации
Дата основания
Численность
31–50 человек
Местоположение
Россия