Pull to refresh

Comments 47

Он Infiniband/VPI, то есть что-то про Ethernet должен уметь.
В фичах есть InfiniBand to Ethernet Bridging, но как это работает — я толком не знаю.
И есть нехорошее подозрение, что будет нужна отдельная лицензия на это.
Вот эти модели могут, но требуют лицензии шлюза. Если купили на ebay то не факт, что лицензия будет установлена:

To obtain the 56GbE/FDR VPI capability, select the following systems in your network:
• SX6012F, SX6012F, SX6036F, SX6036G
• SX1012, SX1036


For example,
SX1036 and SX6036T/F can be selected as the switches in your network. The switch
profile can be changed from Ethernet to InfiniBand, from InfiniBand to Ethernet, or to
VPI through simple commands after a license upgrade.


Отсюда

Родные не подходят под определение бюджетных.
Мне сейчас едет 6012, но с EMC-шной прошивкой.
В инете есть инструкции, как его сделать нормальным.

Если всё получится, можно будет вторую часть статьи писать
А нужен ли коммутатор в домашних условиях? 2 компа можно и порт в порт подключить… И 3 тоже… И 4-е… Всё упирается в количество HCA и количесво партиций. Количество SM ничем, кроме здравого смысла, не ограничено, и SM не обязан находиться на коммутаторе.
2-х портовая карта — 2 фабрики. На одном компе один SM для фабрики А, на другом второй, для фабрики Б. С двумя HCA. Две двухпортовых HCA — 4-е фабрики. С помощью партиций, — хоть в кольцо соединяйте:

Each port GUIDs is treated individually even if two ports are part of the same physical HCA card

Только маршрутизацию на каждом узле делать придётся (IPoIB).

P.S.: Прочитал коммент ниже, и понял что цель это Ethernet а не Infiniband, а Infiniband HCA, — всего-лишь финансовая оптимизация.
С Ethernet, вышеописанный номер не пройдёт.

Шареный сторейдж можно на DRBD между 2-мя машинами сделать (IPoIB). Я такое на XenServer 5.7 (если память не подводит), делал.
Т.е. Ethernet там вообще не использовался.
Если коммутатор дешёвый и бесшумный — то почему-бы и не завести его дома? Я и статью-то написал, чтобы рассказать, что такое возможно.
Делать непонятно какую топологию — упражнение интересное, но несколько бесполезное. И проще тогда в Ethernet режиме, чем возиться с кучей фабрик. Но маршрутизировать 40G на процессоре? Началось-то всё с того, что хочется скорости.

PS: Например у ConnectX-5 есть фича Host Chaining — они умеют сами без маршрутизатора аппаратно делать кольцо. Но это пока совсем не бюджетно.
эксперименты ради экспериментов — всегда хорошо :)
на практике бы еще это использовать, когда сеть быстрее дисков.
Мне дома, на ум, приходит в голову только сбор бекапов с разных компов на разные массивы.
Да и в реальности оказывается, что в домашних задачах тормозит далеко не сеть, а софт:)
Зато 40гбит дома звучит круто! Можно хвастаться.
Домашние задачи бывают разными :)
Мне нужна была лаба для опытов с Live VM Migration. И на 1GbE это было совсем не весело.
UFO just landed and posted this here
Конечно с диском, чтобы шареный сторадж ещё не заводить.
И если у виртуалки скажем 8+GB RAM и там что-то делается, а не LA 0.01, то она на гигабите вообще никуда не уедет :( Память будет обновляться быстрее, чем 100MB/sec.
UFO just landed and posted this here
А я видел, что пока апач не остановишь — веб сервер никуда ехать не хочет. В итоге пара минут даунтайма.
UFO just landed and posted this here
Нагрузки точно разные
У нас KVM, можно было libvirt подкрутить, чтобы и при большем рассчитанном таймауте виртуалку всё равно отправляла, но это не решение на перспективу
на практике бы еще это использовать, когда сеть быстрее дисков.

Первое, что приходит в голову — это собрать на этой сетке Ceph кластер. При достаточном количестве дисков получившийся storage будет быстрее индивидуальных дисков.

UFO just landed and posted this here

Сейчас кстати не обязательно IB, есть море почти бесплатных карточек на 10/40GbE. Свичи бу тоже есть в наличии. А не из бу за разумные деньги я даже думал домой что-то типа такого купить MikroTik CRS354-48G-4S+2Q+. Все равно много портов сильно быстрых не надо.

IB — не был самоцелью, если что.
ConnectX-3 тоже 40/50GbE умеют. А что ещё есть за $25 на 40+GbE и желательно два порта?
И можете назвать Б/У 40GbE свитч за сравнимые с IB деньги? Уточню, 2 порта — не годится, мало, хотя-бы 4 для опытов надо, а лучше 8. Пытался искать, но не нашёл :(
PS: $500 — разумным считается с очень большой натяжкой
Я когда-то давно брал 2 вот такие «HP 544QSFP MCX354A-FCBT» по 40$. Не 25$, но 2 порта:)
Микротик за 500 — новый с гарантией, так что это слегка другая история, но 500 за такую железку на момент выхода вроде было лучшим предложением.
На тему свичей я особо не интересовался, мне больше 2-3 нод совсем не надо было, а 3 ноды можно и просто карточками связать. Ebay говорит, что вот такое «Dell Force10 Z9000 32 Port 40GbE» продается за 200, что дороже IB, но зато 32 порта…
Кстати тот Микротик еще имеет 4 SFP+, которые теоретически превращаются как раз в 40GbE, так что 3 ноды уже можно заиметь.
HP 544QSFP MCX354A-FCBT — это и есть перебрендированный ConnectX-3. Они под разными именами бывают (HP 649281-B21 тоже самое). И как раз за $25 на ебее попадаются.
Я сначала тоже на 2-3 компа игрался, но захотелось общую сеть, а не попарно.

Dell забавен, но огромен и доставка цену удвоит. Надо бы повнимательнее посмотреть, что у них из half-rack есть, то, что я находил типа Dell S4112F-ON / Dell S5212F-ON — это уже новее поколение.

4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.
4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.

Я думаю имелся в виду EtherChannel
Это конечно не 40G интерфейс, но это 40G throughput
Хотя я с достаточной долей скепсиса отношусь к возможностям микрота в плане производительности. Он все-таки больше про гибкость и функциональность софта.
Это конечно не 40G интерфейс, но это 40G throughput

Но не для одной TCP сессии...

Могу ошибаться, поскольку вживую потыкать сейчас не на чем.
Но в своей вики они утверждают про некий Balance-rr мод для агрегированных интерфейсов, который is the only mode that will send packets across multiple interfaces that belong to the same TCP/IP connection.
Вполне возможно что в лабораторных условиях между двумя тиками оно и взлетит, как это будет работать вживую с разным железом на концах линков — тут только практика покажет

Это работает, но так как интерфейсы не идеально одинаковые, то RR вызывает прибытие пакетов вне очереди. Что для TCP нештатная ситуация и происходит reordering.


Без тюнинга TCP стэка это обычно приводит к падению производительности даже ниже 1 интерфейса из бонда т.к. окно реордеринга маленькое и пакеты просто дропаются.


Если увеличить это окно то у меня получалось из 4 гигабитных линков выдавить 2-3 гигабита.


В общем, так себе.

Это прискорбно.
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.
А в LACP/PAGP все так же печально выглядит? Меня пока сия чаша минует возможностью перепрыгивания как раз через смену интерфейсов 1->10->40_сейчас->100_в_планах, но в какой-то момент стоимость порта все-таки станет неподъемной и придется агрегировать
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.

Да, у меня так работало какое-то время для синхронизации двух серверов без особых проблем. Но, например, подореваю что в некоторых случаях латентность страдать будет т.к. TCP будет ждать пока все пакеты вне очереди соберёт...


А в LACP/PAGP все так же печально выглядит?

Там, да и в любом другом алгоритме балансировки кроме RR и active-passive, заголовки пакетов (IP получателя-отправителя/порты либо маки) хешируются и один поток данных всегда пойдёт через 1 интерфейс.


Т.е. увеличения скорости не будет, но и реордеринга не будет.

Про большие свичи на 24+ порта особенно с L3 на 40GbE надо помнить, что они могут жрать как не в себя, например Cisco Nexus особенно старые могут легко сожрать 500+ Ватт, ну и уровень шума у них соответственный. Например упомянутый Dell Z9000 имеет Max. power consumption: 789W
Шуметь они обучены, это точно. Я первый раз, как включил, аж вздрогнул от неожиданности.
Не каждую Enterprise штуковину можно использовать дома на постоянной основе.
Можно же, неверное, воткнуть несколько карточек в один ПК/сервер и сделать софтовый свич?
Банально даже настроить бридж между картами, без всяких VLAN-ов.
Можно, конечно
Только работать будет медленно
32 портовый коммутатор в домашних условиях? Самолёт в спальне?
А можно по подробнее про то к чему это подключено и про задачи? Использовали ли такую фишку Infiniband как RDMA? Для себя пока остановился на 10Gb на микротике (3 хотса с VSAN и один для с ZFS под iSCSI), но да vMotion в сеть упирается.
Изначальная задача — лаба для экспериментов с виртуалками (ESX/Xen/KVM). Интересно было всё пощупать.
Подключено к рандомным десктопам, от целерона до i7, тут ничего хитрого.
RDMA — пробовал, виртуалки мигрируют, трафик стандартные средства Linux естественно не видят, но по ощущениям быстро. NVMEoF — тоже заводилось. Но дома смысла это держать постоянно — нет. И по базовой самбе всё неплохо бегает (см. КДПВ)
UFO just landed and posted this here
Для бытовых — пока рановато.
А так например интересная штука Netgear MS510TX
UFO just landed and posted this here

Я думаю 2.5 для PPTP смысла не имеет, проц не вытянет да и BRAS вряд ли. Или вам 2.5 только с LAN стороны надо?

UFO just landed and posted this here

У нас провайдер с недавних пор раздаёт такие коробочки с одним LAN 2.5Gbit портом, но там и аплинк оптика на 10Gbit.


Также есть Asus RT-AX86U, но там тоже один порт только. А так всегда можно разделить роутер и свитч, если аплинк быстрый не нужен.

Посмотрите «QNAP QSW-1105-5T 5-Port Unmanaged 2.5GbE» если надо только внутри. 100 баксов сие удовольствие стоит. Альтернатив вроде пока нет :(
UFO just landed and posted this here
UFO just landed and posted this here

Я ищу свитч для дома который может 10Гбит.
Кабеля проложены Кат7 материнкы выпускаются уже с 10Гбитным интерфейсом, но вот со свитчем как-то непонятно все или дорого.

Имеется D-Link DGS-3120-24PC, у него сзади имеются два разъёма CX4 для стекирования, но они вроде как должны работать и как IB на 40Гбит/с, в веб-интерфейсе их видно…
Лично не пробовал, т.к. есть два минуса:
— порта всего два;
— в NAS такое не вкорячишь (даже если у некоторых и имеется слот расширения).

Сам коммутатор покупал на иБее и с доставкой в Россию он вышел около 7 тыщ. рублей, но есть минус: расширенную российскую прошивку в него не зальёшь! Вариант без PoE выйдет ещё дешевле.

Перед покупкой посматривал на hp ProCurve E5406 ZL (J8697A) — можно напихать 6 разных модулей в шасси, в том числе есть CX4 и разные десятигигабитные — но вес и цена доставки этого гробика…
Отличные домашние решения, лучше не придумать.
Sign up to leave a comment.

Articles