Комментарии 47
SX6036 это Ethernet свитч?
Он Infiniband/VPI, то есть что-то про Ethernet должен уметь.
В фичах есть InfiniBand to Ethernet Bridging, но как это работает — я толком не знаю.
И есть нехорошее подозрение, что будет нужна отдельная лицензия на это.
В фичах есть InfiniBand to Ethernet Bridging, но как это работает — я толком не знаю.
И есть нехорошее подозрение, что будет нужна отдельная лицензия на это.
Вот эти модели могут, но требуют лицензии шлюза. Если купили на ebay то не факт, что лицензия будет установлена:
Отсюда
To obtain the 56GbE/FDR VPI capability, select the following systems in your network:
• SX6012F, SX6012F, SX6036F, SX6036G
• SX1012, SX1036
For example,
SX1036 and SX6036T/F can be selected as the switches in your network. The switch
profile can be changed from Ethernet to InfiniBand, from InfiniBand to Ethernet, or to
VPI through simple commands after a license upgrade.
Отсюда
Родные не подходят под определение бюджетных.
Мне сейчас едет 6012, но с EMC-шной прошивкой.
В инете есть инструкции, как его сделать нормальным.
Если всё получится, можно будет вторую часть статьи писать
Мне сейчас едет 6012, но с EMC-шной прошивкой.
В инете есть инструкции, как его сделать нормальным.
Если всё получится, можно будет вторую часть статьи писать
А нужен ли коммутатор в домашних условиях? 2 компа можно и порт в порт подключить… И 3 тоже… И 4-е… Всё упирается в количество HCA и количесво партиций. Количество SM ничем, кроме здравого смысла, не ограничено, и SM не обязан находиться на коммутаторе.
2-х портовая карта — 2 фабрики. На одном компе один SM для фабрики А, на другом второй, для фабрики Б. С двумя HCA. Две двухпортовых HCA — 4-е фабрики. С помощью партиций, — хоть в кольцо соединяйте:
Each port GUIDs is treated individually even if two ports are part of the same physical HCA card
Только маршрутизацию на каждом узле делать придётся (IPoIB).
P.S.: Прочитал коммент ниже, и понял что цель это Ethernet а не Infiniband, а Infiniband HCA, — всего-лишь финансовая оптимизация.
С Ethernet, вышеописанный номер не пройдёт.
Шареный сторейдж можно на DRBD между 2-мя машинами сделать (IPoIB). Я такое на XenServer 5.7 (если память не подводит), делал.
Т.е. Ethernet там вообще не использовался.
2-х портовая карта — 2 фабрики. На одном компе один SM для фабрики А, на другом второй, для фабрики Б. С двумя HCA. Две двухпортовых HCA — 4-е фабрики. С помощью партиций, — хоть в кольцо соединяйте:
Each port GUIDs is treated individually even if two ports are part of the same physical HCA card
Только маршрутизацию на каждом узле делать придётся (IPoIB).
P.S.: Прочитал коммент ниже, и понял что цель это Ethernet а не Infiniband, а Infiniband HCA, — всего-лишь финансовая оптимизация.
С Ethernet, вышеописанный номер не пройдёт.
Шареный сторейдж можно на DRBD между 2-мя машинами сделать (IPoIB). Я такое на XenServer 5.7 (если память не подводит), делал.
Т.е. Ethernet там вообще не использовался.
Если коммутатор дешёвый и бесшумный — то почему-бы и не завести его дома? Я и статью-то написал, чтобы рассказать, что такое возможно.
Делать непонятно какую топологию — упражнение интересное, но несколько бесполезное. И проще тогда в Ethernet режиме, чем возиться с кучей фабрик. Но маршрутизировать 40G на процессоре? Началось-то всё с того, что хочется скорости.
PS: Например у ConnectX-5 есть фича Host Chaining — они умеют сами без маршрутизатора аппаратно делать кольцо. Но это пока совсем не бюджетно.
Делать непонятно какую топологию — упражнение интересное, но несколько бесполезное. И проще тогда в Ethernet режиме, чем возиться с кучей фабрик. Но маршрутизировать 40G на процессоре? Началось-то всё с того, что хочется скорости.
PS: Например у ConnectX-5 есть фича Host Chaining — они умеют сами без маршрутизатора аппаратно делать кольцо. Но это пока совсем не бюджетно.
эксперименты ради экспериментов — всегда хорошо :)
на практике бы еще это использовать, когда сеть быстрее дисков.
Мне дома, на ум, приходит в голову только сбор бекапов с разных компов на разные массивы.
на практике бы еще это использовать, когда сеть быстрее дисков.
Мне дома, на ум, приходит в голову только сбор бекапов с разных компов на разные массивы.
Да и в реальности оказывается, что в домашних задачах тормозит далеко не сеть, а софт:)
Зато 40гбит дома звучит круто! Можно хвастаться.
Зато 40гбит дома звучит круто! Можно хвастаться.
Домашние задачи бывают разными :)
Мне нужна была лаба для опытов с Live VM Migration. И на 1GbE это было совсем не весело.
Мне нужна была лаба для опытов с Live VM Migration. И на 1GbE это было совсем не весело.
НЛО прилетело и опубликовало эту надпись здесь
Конечно с диском, чтобы шареный сторадж ещё не заводить.
И если у виртуалки скажем 8+GB RAM и там что-то делается, а не LA 0.01, то она на гигабите вообще никуда не уедет :( Память будет обновляться быстрее, чем 100MB/sec.
И если у виртуалки скажем 8+GB RAM и там что-то делается, а не LA 0.01, то она на гигабите вообще никуда не уедет :( Память будет обновляться быстрее, чем 100MB/sec.
на практике бы еще это использовать, когда сеть быстрее дисков.
Первое, что приходит в голову — это собрать на этой сетке Ceph кластер. При достаточном количестве дисков получившийся storage будет быстрее индивидуальных дисков.
Сейчас кстати не обязательно IB, есть море почти бесплатных карточек на 10/40GbE. Свичи бу тоже есть в наличии. А не из бу за разумные деньги я даже думал домой что-то типа такого купить MikroTik CRS354-48G-4S+2Q+. Все равно много портов сильно быстрых не надо.
IB — не был самоцелью, если что.
ConnectX-3 тоже 40/50GbE умеют. А что ещё есть за $25 на 40+GbE и желательно два порта?
И можете назвать Б/У 40GbE свитч за сравнимые с IB деньги? Уточню, 2 порта — не годится, мало, хотя-бы 4 для опытов надо, а лучше 8. Пытался искать, но не нашёл :(
PS: $500 — разумным считается с очень большой натяжкой
ConnectX-3 тоже 40/50GbE умеют. А что ещё есть за $25 на 40+GbE и желательно два порта?
И можете назвать Б/У 40GbE свитч за сравнимые с IB деньги? Уточню, 2 порта — не годится, мало, хотя-бы 4 для опытов надо, а лучше 8. Пытался искать, но не нашёл :(
PS: $500 — разумным считается с очень большой натяжкой
Я когда-то давно брал 2 вот такие «HP 544QSFP MCX354A-FCBT» по 40$. Не 25$, но 2 порта:)
Микротик за 500 — новый с гарантией, так что это слегка другая история, но 500 за такую железку на момент выхода вроде было лучшим предложением.
На тему свичей я особо не интересовался, мне больше 2-3 нод совсем не надо было, а 3 ноды можно и просто карточками связать. Ebay говорит, что вот такое «Dell Force10 Z9000 32 Port 40GbE» продается за 200, что дороже IB, но зато 32 порта…
Кстати тот Микротик еще имеет 4 SFP+, которые теоретически превращаются как раз в 40GbE, так что 3 ноды уже можно заиметь.
Микротик за 500 — новый с гарантией, так что это слегка другая история, но 500 за такую железку на момент выхода вроде было лучшим предложением.
На тему свичей я особо не интересовался, мне больше 2-3 нод совсем не надо было, а 3 ноды можно и просто карточками связать. Ebay говорит, что вот такое «Dell Force10 Z9000 32 Port 40GbE» продается за 200, что дороже IB, но зато 32 порта…
Кстати тот Микротик еще имеет 4 SFP+, которые теоретически превращаются как раз в 40GbE, так что 3 ноды уже можно заиметь.
HP 544QSFP MCX354A-FCBT — это и есть перебрендированный ConnectX-3. Они под разными именами бывают (HP 649281-B21 тоже самое). И как раз за $25 на ебее попадаются.
Я сначала тоже на 2-3 компа игрался, но захотелось общую сеть, а не попарно.
Dell забавен, но огромен и доставка цену удвоит. Надо бы повнимательнее посмотреть, что у них из half-rack есть, то, что я находил типа Dell S4112F-ON / Dell S5212F-ON — это уже новее поколение.
4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.
Я сначала тоже на 2-3 компа игрался, но захотелось общую сеть, а не попарно.
Dell забавен, но огромен и доставка цену удвоит. Надо бы повнимательнее посмотреть, что у них из half-rack есть, то, что я находил типа Dell S4112F-ON / Dell S5212F-ON — это уже новее поколение.
4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.
4 SFP+ — не превращаются в 40GbE, увы. Вот наоборот — это бывает.
Я думаю имелся в виду EtherChannel
Это конечно не 40G интерфейс, но это 40G throughput
Хотя я с достаточной долей скепсиса отношусь к возможностям микрота в плане производительности. Он все-таки больше про гибкость и функциональность софта.
Это конечно не 40G интерфейс, но это 40G throughput
Но не для одной TCP сессии...
Могу ошибаться, поскольку вживую потыкать сейчас не на чем.
Но в своей вики они утверждают про некий Balance-rr мод для агрегированных интерфейсов, который is the only mode that will send packets across multiple interfaces that belong to the same TCP/IP connection.
Вполне возможно что в лабораторных условиях между двумя тиками оно и взлетит, как это будет работать вживую с разным железом на концах линков — тут только практика покажет
Но в своей вики они утверждают про некий Balance-rr мод для агрегированных интерфейсов, который is the only mode that will send packets across multiple interfaces that belong to the same TCP/IP connection.
Вполне возможно что в лабораторных условиях между двумя тиками оно и взлетит, как это будет работать вживую с разным железом на концах линков — тут только практика покажет
Это работает, но так как интерфейсы не идеально одинаковые, то RR вызывает прибытие пакетов вне очереди. Что для TCP нештатная ситуация и происходит reordering.
Без тюнинга TCP стэка это обычно приводит к падению производительности даже ниже 1 интерфейса из бонда т.к. окно реордеринга маленькое и пакеты просто дропаются.
Если увеличить это окно то у меня получалось из 4 гигабитных линков выдавить 2-3 гигабита.
В общем, так себе.
Это прискорбно.
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.
А в LACP/PAGP все так же печально выглядит? Меня пока сия чаша минует возможностью перепрыгивания как раз через смену интерфейсов 1->10->40_сейчас->100_в_планах, но в какой-то момент стоимость порта все-таки станет неподъемной и придется агрегировать
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.
А в LACP/PAGP все так же печально выглядит? Меня пока сия чаша минует возможностью перепрыгивания как раз через смену интерфейсов 1->10->40_сейчас->100_в_планах, но в какой-то момент стоимость порта все-таки станет неподъемной и придется агрегировать
Хотя при отсутствии альтернатив выдавить хотя бы 2-3гигабита на гиговых линках уже выглядит как не самый плохой выход.
Да, у меня так работало какое-то время для синхронизации двух серверов без особых проблем. Но, например, подореваю что в некоторых случаях латентность страдать будет т.к. TCP будет ждать пока все пакеты вне очереди соберёт...
А в LACP/PAGP все так же печально выглядит?
Там, да и в любом другом алгоритме балансировки кроме RR и active-passive, заголовки пакетов (IP получателя-отправителя/порты либо маки) хешируются и один поток данных всегда пойдёт через 1 интерфейс.
Т.е. увеличения скорости не будет, но и реордеринга не будет.
Про большие свичи на 24+ порта особенно с L3 на 40GbE надо помнить, что они могут жрать как не в себя, например Cisco Nexus особенно старые могут легко сожрать 500+ Ватт, ну и уровень шума у них соответственный. Например упомянутый Dell Z9000 имеет Max. power consumption: 789W
Можно же, неверное, воткнуть несколько карточек в один ПК/сервер и сделать софтовый свич?
Банально даже настроить бридж между картами, без всяких VLAN-ов.
Банально даже настроить бридж между картами, без всяких VLAN-ов.
32 портовый коммутатор в домашних условиях? Самолёт в спальне?
А можно по подробнее про то к чему это подключено и про задачи? Использовали ли такую фишку Infiniband как RDMA? Для себя пока остановился на 10Gb на микротике (3 хотса с VSAN и один для с ZFS под iSCSI), но да vMotion в сеть упирается.
Изначальная задача — лаба для экспериментов с виртуалками (ESX/Xen/KVM). Интересно было всё пощупать.
Подключено к рандомным десктопам, от целерона до i7, тут ничего хитрого.
RDMA — пробовал, виртуалки мигрируют, трафик стандартные средства Linux естественно не видят, но по ощущениям быстро. NVMEoF — тоже заводилось. Но дома смысла это держать постоянно — нет. И по базовой самбе всё неплохо бегает (см. КДПВ)
Подключено к рандомным десктопам, от целерона до i7, тут ничего хитрого.
RDMA — пробовал, виртуалки мигрируют, трафик стандартные средства Linux естественно не видят, но по ощущениям быстро. NVMEoF — тоже заводилось. Но дома смысла это держать постоянно — нет. И по базовой самбе всё неплохо бегает (см. КДПВ)
НЛО прилетело и опубликовало эту надпись здесь
Для бытовых — пока рановато.
А так например интересная штука Netgear MS510TX
А так например интересная штука Netgear MS510TX
НЛО прилетело и опубликовало эту надпись здесь
Я думаю 2.5 для PPTP смысла не имеет, проц не вытянет да и BRAS вряд ли. Или вам 2.5 только с LAN стороны надо?
НЛО прилетело и опубликовало эту надпись здесь
У нас провайдер с недавних пор раздаёт такие коробочки с одним LAN 2.5Gbit портом, но там и аплинк оптика на 10Gbit.
Также есть Asus RT-AX86U, но там тоже один порт только. А так всегда можно разделить роутер и свитч, если аплинк быстрый не нужен.
Посмотрите «QNAP QSW-1105-5T 5-Port Unmanaged 2.5GbE» если надо только внутри. 100 баксов сие удовольствие стоит. Альтернатив вроде пока нет :(
странно… что-то глюки с комментами
Я ищу свитч для дома который может 10Гбит.
Кабеля проложены Кат7 материнкы выпускаются уже с 10Гбитным интерфейсом, но вот со свитчем как-то непонятно все или дорого.
Имеется D-Link DGS-3120-24PC, у него сзади имеются два разъёма CX4 для стекирования, но они вроде как должны работать и как IB на 40Гбит/с, в веб-интерфейсе их видно…
Лично не пробовал, т.к. есть два минуса:
— порта всего два;
— в NAS такое не вкорячишь (даже если у некоторых и имеется слот расширения).
Сам коммутатор покупал на иБее и с доставкой в Россию он вышел около 7 тыщ. рублей, но есть минус: расширенную российскую прошивку в него не зальёшь! Вариант без PoE выйдет ещё дешевле.
Перед покупкой посматривал на hp ProCurve E5406 ZL (J8697A) — можно напихать 6 разных модулей в шасси, в том числе есть CX4 и разные десятигигабитные — но вес и цена доставки этого гробика…
Лично не пробовал, т.к. есть два минуса:
— порта всего два;
— в NAS такое не вкорячишь (даже если у некоторых и имеется слот расширения).
Сам коммутатор покупал на иБее и с доставкой в Россию он вышел около 7 тыщ. рублей, но есть минус: расширенную российскую прошивку в него не зальёшь! Вариант без PoE выйдет ещё дешевле.
Перед покупкой посматривал на hp ProCurve E5406 ZL (J8697A) — можно напихать 6 разных модулей в шасси, в том числе есть CX4 и разные десятигигабитные — но вес и цена доставки этого гробика…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Быстрая сеть в домашней лаборатории или как я связался с InfiniBand