Comments 50
В фичах есть InfiniBand to Ethernet Bridging, но как это работает — я толком не знаю.
И есть нехорошее подозрение, что будет нужна отдельная лицензия на это.
To obtain the 56GbE/FDR VPI capability, select the following systems in your network:
• SX6012F, SX6012F, SX6036F, SX6036G
• SX1012, SX1036
For example,
SX1036 and SX6036T/F can be selected as the switches in your network. The switch
profile can be changed from Ethernet to InfiniBand, from InfiniBand to Ethernet, or to
VPI through simple commands after a license upgrade.
Отсюда
Мне сейчас едет 6012, но с EMC-шной прошивкой.
В инете есть инструкции, как его сделать нормальным.
Если всё получится, можно будет вторую часть статьи писать
2-х портовая карта — 2 фабрики. На одном компе один SM для фабрики А, на другом второй, для фабрики Б. С двумя HCA. Две двухпортовых HCA — 4-е фабрики. С помощью партиций, — хоть в кольцо соединяйте:
Each port GUIDs is treated individually even if two ports are part of the same physical HCA card
Только маршрутизацию на каждом узле делать придётся (IPoIB).
P.S.: Прочитал коммент ниже, и понял что цель это Ethernet а не Infiniband, а Infiniband HCA, — всего-лишь финансовая оптимизация.
С Ethernet, вышеописанный номер не пройдёт.
Шареный сторейдж можно на DRBD между 2-мя машинами сделать (IPoIB). Я такое на XenServer 5.7 (если память не подводит), делал.
Т.е. Ethernet там вообще не использовался.
Делать непонятно какую топологию — упражнение интересное, но несколько бесполезное. И проще тогда в Ethernet режиме, чем возиться с кучей фабрик. Но маршрутизировать 40G на процессоре? Началось-то всё с того, что хочется скорости.
PS: Например у ConnectX-5 есть фича Host Chaining — они умеют сами без маршрутизатора аппаратно делать кольцо. Но это пока совсем не бюджетно.
на практике бы еще это использовать, когда сеть быстрее дисков.
Мне дома, на ум, приходит в голову только сбор бекапов с разных компов на разные массивы.
Зато 40гбит дома звучит круто! Можно хвастаться.
Мне нужна была лаба для опытов с Live VM Migration. И на 1GbE это было совсем не весело.
И если у виртуалки скажем 8+GB RAM и там что-то делается, а не LA 0.01, то она на гигабите вообще никуда не уедет :( Память будет обновляться быстрее, чем 100MB/sec.
Взял бы сервер с быстрыми дисками и сетевой картой, поставил гипервизор, внутрь еще 4-5, 20 гипервизоров... и гоняй свои виртуалки между совместимыми гипервизорами
У меня лаба так и сделана.. esxi, а в нем proxmox, ovirt и прочее для тестов SDN + SDS (но у меня есть возможность эксплуатировать очень мощный сервер в лабе)
на практике бы еще это использовать, когда сеть быстрее дисков.
Первое, что приходит в голову — это собрать на этой сетке Ceph кластер. При достаточном количестве дисков получившийся storage будет быстрее индивидуальных дисков.
Сейчас кстати не обязательно IB, есть море почти бесплатных карточек на 10/40GbE. Свичи бу тоже есть в наличии. А не из бу за разумные деньги я даже думал домой что-то типа такого купить MikroTik CRS354-48G-4S+2Q+. Все равно много портов сильно быстрых не надо.
ConnectX-3 тоже 40/50GbE умеют. А что ещё есть за $25 на 40+GbE и желательно два порта?
И можете назвать Б/У 40GbE свитч за сравнимые с IB деньги? Уточню, 2 порта — не годится, мало, хотя-бы 4 для опытов надо, а лучше 8. Пытался искать, но не нашёл :(
PS: $500 — разумным считается с очень большой натяжкой
Микротик за 500 — новый с гарантией, так что это слегка другая история, но 500 за такую железку на момент выхода вроде было лучшим предложением.
На тему свичей я особо не интересовался, мне больше 2-3 нод совсем не надо было, а 3 ноды можно и просто карточками связать. Ebay говорит, что вот такое «Dell Force10 Z9000 32 Port 40GbE» продается за 200, что дороже IB, но зато 32 порта…
Кстати тот Микротик еще имеет 4 SFP+, которые теоретически превращаются как раз в 40GbE, так что 3 ноды уже можно заиметь.
Я сначала тоже на 2-3 компа игрался, но захотелось общую сеть, а не попарно.
Dell забавен, но огромен и доставка цену удвоит. Надо бы повнимательнее посмотреть, что у них из half-rack есть, то, что я находил типа Dell S4112F-ON / Dell S5212F-ON — это уже новее поколение.
4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.
4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.
Я думаю имелся в виду EtherChannel
Это конечно не 40G интерфейс, но это 40G throughput
Хотя я с достаточной долей скепсиса отношусь к возможностям микрота в плане производительности. Он все-таки больше про гибкость и функциональность софта.
Это конечно не 40G интерфейс, но это 40G throughput
Но не для одной TCP сессии...
Но в своей вики они утверждают про некий Balance-rr мод для агрегированных интерфейсов, который is the only mode that will send packets across multiple interfaces that belong to the same TCP/IP connection.
Вполне возможно что в лабораторных условиях между двумя тиками оно и взлетит, как это будет работать вживую с разным железом на концах линков — тут только практика покажет
Это работает, но так как интерфейсы не идеально одинаковые, то RR вызывает прибытие пакетов вне очереди. Что для TCP нештатная ситуация и происходит reordering.
Без тюнинга TCP стэка это обычно приводит к падению производительности даже ниже 1 интерфейса из бонда т.к. окно реордеринга маленькое и пакеты просто дропаются.
Если увеличить это окно то у меня получалось из 4 гигабитных линков выдавить 2-3 гигабита.
В общем, так себе.
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.
А в LACP/PAGP все так же печально выглядит? Меня пока сия чаша минует возможностью перепрыгивания как раз через смену интерфейсов 1->10->40_сейчас->100_в_планах, но в какой-то момент стоимость порта все-таки станет неподъемной и придется агрегировать
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.
Да, у меня так работало какое-то время для синхронизации двух серверов без особых проблем. Но, например, подореваю что в некоторых случаях латентность страдать будет т.к. TCP будет ждать пока все пакеты вне очереди соберёт...
А в LACP/PAGP все так же печально выглядит?
Там, да и в любом другом алгоритме балансировки кроме RR и active-passive, заголовки пакетов (IP получателя-отправителя/порты либо маки) хешируются и один поток данных всегда пойдёт через 1 интерфейс.
Т.е. увеличения скорости не будет, но и реордеринга не будет.
Банально даже настроить бридж между картами, без всяких VLAN-ов.
Подключено к рандомным десктопам, от целерона до i7, тут ничего хитрого.
RDMA — пробовал, виртуалки мигрируют, трафик стандартные средства Linux естественно не видят, но по ощущениям быстро. NVMEoF — тоже заводилось. Но дома смысла это держать постоянно — нет. И по базовой самбе всё неплохо бегает (см. КДПВ)
А так например интересная штука Netgear MS510TX
Я думаю 2.5 для PPTP смысла не имеет, проц не вытянет да и BRAS вряд ли. Или вам 2.5 только с LAN стороны надо?
У нас провайдер с недавних пор раздаёт такие коробочки с одним LAN 2.5Gbit портом, но там и аплинк оптика на 10Gbit.
Также есть Asus RT-AX86U, но там тоже один порт только. А так всегда можно разделить роутер и свитч, если аплинк быстрый не нужен.
Я ищу свитч для дома который может 10Гбит.
Кабеля проложены Кат7 материнкы выпускаются уже с 10Гбитным интерфейсом, но вот со свитчем как-то непонятно все или дорого.
Лично не пробовал, т.к. есть два минуса:
— порта всего два;
— в NAS такое не вкорячишь (даже если у некоторых и имеется слот расширения).
Сам коммутатор покупал на иБее и с доставкой в Россию он вышел около 7 тыщ. рублей, но есть минус: расширенную российскую прошивку в него не зальёшь! Вариант без PoE выйдет ещё дешевле.
Перед покупкой посматривал на hp ProCurve E5406 ZL (J8697A) — можно напихать 6 разных модулей в шасси, в том числе есть CX4 и разные десятигигабитные — но вес и цена доставки этого гробика…
Интересные подробности, спасибо за статью, очень полезно! Прошло почти 5 лет с момента написания- будет очень интересно почитать некое обновление, если вы еще продолжаете эксперименты в направлении бюджетных высокоскоростных сетей. С уважением.
Быстрая сеть в домашней лаборатории или как я связался с InfiniBand