Comments 58
Очредные страдания на тему мелланокс/инфинибэнд
А не гораздо ли дешевле и проще к тем NAS/серверам, которым нужна такая скорость, сделать bond из двух портов 10 Гбит/с?
В таком случае нужны все еще не дешевые карты на 10гбит притом по 2 порта, 2 кабеля sfp+ по 900р каждый, и так мы получим не 25 а 20 гбит, все 4 порта будут заняты вместо двух, больше нагрузки на железо, а итоговый прайс не сильно ниже. (на картах интел c али выходит даже дороже при цене 4800руб за x540-da2) Но если все на руках есть то да, вариант тоже рабочий.
Вот тут уже можно пострадать с infiband на 40 гигабит, примерно по 3500-3800руб есть MCX354A-FCBT на два порта, а так же кабели по 2500руб. Я размышляю над статьями про более высокие скорости, но все что выше 25 гигабит уходит из разряда практичного решения для дома, в разряд энтерпрайз решения на которое интересно посмотреть, но покупать смысла нет.
Летом собирал кластер на двух портовых 10G картах на три сервера, получается такой "кольцо" на 20G, в 5000 рублей обошлось вместе со стаканчиком латте из Кофемании.
На алике 2хголовая медная (10g eth), вариация х540-т2, достается от 1500р в количестве.
О, прикол! Я тоже пару лет назад на таком же железе собрал (mcx412, а одну из сетевух удалось за $50 урвать mcx512, и ещё есть solarflare который теперь amd). Потом добавил ещё китайскую оптику, чтобы с 1 на 3й этаж дотянуть )
У вас не возникло желания купить второй кабель и попробовать 50 гбит на агрегированных портах?
Статья интересная!
Из нюансов, не умеют платы на Z170 в три x8 слота, максимум в два, и то если плата умеет в разделение процессорных (на ней будут стоят PCIe свитчи, прямоугольные такие над или под первым слотом). Самые бюджетные обычно так не умеют и имеют 16+4 конфигурацию.
Сам по себе чипсет по спецификациям имеет целых 20 линий, но умеет в максимальную конфигурацию x4.
Я себе так на Z170 плате собрал x86 свитч на четыре 40GbE порта (на Mellanox ConnectX-3 Pro под HP с переходниками, на хабре несколько лет назад писали). Правда при задейстовании обоих портов на одной карте упор будет в PCIe 3.0 x8 - 64 Gbit (скорее чуть меньше)
К сожалению вы правы =( Посмотрел старые платы и действительно, X16 слоты с процессора можно поделить на пару X8, а чипсетный хоть и имеет контакты X8, но работает лишь на X4, что ограничит скорость.
ASUS Z170 WS - четыре x8 в физических x16 и дополнительно один x4. И в ней именно свитч.
А то, что вы говорите про "прямоугольные такие" около первого порта - это простые мультиплексоры
Не знал про эту плату. Интересная, да. Кстати на ней все 4 слота будут работать в x8/x8/x8/x8 режиме. (А еще есть её продолжение в виде Asu Z270-WS с такой же структурой).
Действительно, неправильное слово вспомнил и употребил, Вы правы.
Жаль, что всё равно PLX, который стоит на этой плате всё равно не позволяет использовать больше пропускной способности, чем есть у 16 линий процессора, если трафик не будет летать между картами в обход процессора.
Красава 👍👍👍иныра транспорт все в теме
Почему бы не превратить NAS в свич?
Вопрос: как работает такой свитч? За счет CPU или forwarding на уровне сетевой карты?
Какие требования к CPU?
В статье нет НИ СЛОВА про RDMA. Без него вся эта затея с 25 гигабитами будет адски грузить проц. Люди в теме ставят HP версии Connectx-3 (FLR 544) за три копейки и используют IPoIB. Свитч IS5022, кстати, стоит 25 тыр всего под это дело.
Спасибо за статью! Есть один вопрос а какой практический смысл это городить? Для теста понятно. Я понимаю, если вы условно монтируете видео на ноутбуке, но его надо где-то хранить. Но у вас карта, её не поставить в ноутубк. Значит у вас уже есть десктоп. А если есть десктоп, то с огромной вероятностью будет не самамя маленькая видеокарта для видеомонтажа. Что в дальнейшем по цепочке приводит ни к самому маленькому корпусу, куда уже легко можно поставить и NVMe для кэша и нужное количество HDD. Убрать источник шума? Но комп для монтажа всё-равно будет охлаждаться. Да и тогда проще комп целиком убрать (в условную кладовку за стену на удалении тех самых 3м) и вытащить на раб место кабели для мониторов и клавы с мышью.
Но у вас карта, её не поставить в ноутубк.
Для ноутов вполне есть 10Гбит адаптеры под Thunderbolt. Стоят не очень гуманно, но вполне можно организовать. 25Гбит уже, конечно, сложнее. Но используя внешний бокс (как для видеокарты) тоже можно.
Но в общем и целом всё что в статье - оно просто хобби. Каких-то практических целей там вряд-ли ставилось (виртуалки и прочее вполне шустро будет бегать и на скоростях в 1+Гбайт в секунду, т.е. на 10Гбит)
Тут у меня к вам вопрос: последнее что я видел на меди (я ведь верно полагаю, что сандерболт адаптер будет с rj-45 на второй стороне?) грелось неимоверно. Что в виде карт, что в виде SFP+ модулей (особенно в виде модулей). И имело скажем так серьёзные требования к кабелю и его прокладке (ну вот эти вот || с электропроводкой и д.т.). С нагревом это всё ещё так?
10Гбит медь всегда греется, там ватт 5 в тепло уходит стабильно. SFPшкам от этого хуже, они маленькие. А внешний адаптер довольно большой, как вот этот:
Там есть куда рассеивать.
Ну или всякий изврат использовать можно типа https://www.lr-link.com/products/lres2203pf-2sfp.html
В общем, простор для творчества :)
Да, я подумал, что у китайцев наверняка должен быть "переходник" с Thunderbolt на мини PCI-e, в который добавив райзер на PCI-e можно поставить мелкую карту на пару SFP+, предварительно напечатав корпус, конечно... =)))))) Но потом остановил поток конструкторско-костыльной мысли. =)))
Так то USB 4 поддерживает ethernet сам по себе и на современном железе есть шанс получить 20 гбитс сразу из коробки. На расстояниях из статьи (кабели у китайцев как раз до 3м видел) вполне себе вариант
Ну там не совсем ethernet, скорее IPoPCIE, и соединение только точка точка между usb4 устройствами.
Я соединял две материнки Framework с помощью Tb4 кабеля на скорости 40 Гб/с. И оно даже работало.
Не знаю, бывают ли в природе Thunderbolt порты в виде PCIe карт для серверов/десктопов, но для сверхбыстрой локальной сети для кластера вполне себе вариант.
А если есть десктоп, то с огромной вероятностью будет не самамя маленькая видеокарта для видеомонтажа. Что в дальнейшем по цепочке приводит ни к самому маленькому корпусу, куда уже легко можно поставить и NVMe для кэша и нужное количество HDD.
Кратко плюсы сервера - объём, надежность, скорость, возможность работы нескольких юзеров.
И вот вы Ильдар автоподбор. Они сами в видео заикнулись что зачастую они весят ОТ 1тб, а в основном еще больше, и на ваших ДВУХ ссд по 4тб (жирные NVME диски по 40-50 тысяч каждый) влезет 2-4 видео! А видео в работе зачастую несколько сразу. И самое смешное что над видео часто работает не один человек и несколько, и используются вставки со старых видео которые получается так же надо хранить на этом же компьютере?
Еще представьте процессы. Часами качать видео на компьютеры для обработки, потом часами сливать их куда то для бекапов? вести какую то базу данных где что лежит дабы брать старые футажи, и заниматься перебежками с дисками на полке в поисках футажей?
С сервером никаких проблем, ставим HBA, ставим диски по 18-24 терабайта и таких хоть 10, хоть 20 штук, сколько бюджет позволит. К ним в пару L2arc кэш в виде быстрых NVME дисков, и сверху еще ARC кэш в виде 128-256гб оперативки. Все это будет летать по сети 25гбит на скорости более двух гигов в секунду! И в зависимости от настроек рейда, можно будет не беспокоиться что диск от перезаписи умрет, так как есть Parity Диски и в зависимости от настроек можно терять хоть 1 хоть 2 хоть 3 диска без какой либо потери данных. Если нужен реальный бекап то собираем еще сервер и настраиваем авто бекапы с дедупликацией и ставим его где угодно. Если нужно еще больше скорости то ставим 100gbps карты и никаких проблем.
На счет ноутбуков... Нужно понимать что 25гбит это мягко говоря про другие задачи, не для ноутбуков.
Я, вероятно, не очень верно выразился. Я понимаю зачем мне нужно 25/40/100 Гб для SAN сети SDS хранилища в офисе, и даже понимаю зачем например там снижать задержки. У меня вопрос относительно не притянутого сценария это использовать дома, а не в видео продакшане Ильдара автоподбора (спасибо, я посмотрел кто это). Лаба ради попробовать это совершенно понятно и нормально. Но не представляю что можно гонять в лабе дома, чтобы (постоянно) грузить 25Gb сеть.
У меня есть 3 "сервера" в квартире и один из них (NAS) даже именно на серверном железе. НО! Я описал конкретно свой случай. У меня есть (точнее был - см дальше) NAS который за 15 лет и 5 итераций железа вырос в ёмкости от 1Тб до 2х20, 2х16, 2x8 и всеми вот этим кэшами. И оптоволокно по квартире, потому как я писал выше 10Gb медные компоненты на тот момент, когда мне стало нужна такая скорость (и как мне это подтвердили выше сейчас ничего не изменилось) очень грелись и были очень требовательны к проводке. Только вот (с учётом стримингов) выяснилось, что держать NAS включенным постоянно - просто выкинутые деньги на электричество и аммортизацию железа. Что доступ к этим хранилищам нужен только когда включен десктоп. И даже если я захочу в какой-то момент посмотреть что-то, лежащее на десктопе с другого устройства, и при этом не поднимая тела с табуретки, то WoL никто не отменял (да, конечно, мне придётся подождать около минуты). Поэтому два диска переехали в десктоп (поскольку я собирал его в минимально возможном корпусе, то если впихнуть больше, пришлось бы пожертвовать тишиной (уменьшив количество куллеров с 5 до 3). А остальные вернулись во внешние коробки, которые дают всё те же 10Гб по кабелю (из них и выковыривались - потому как во времена chia по-другому за вменяемые деньги больших дисков было не купить). И используются для холодного хранения. Поэтому даже в случае если бы я енерил контент в объёмах Ильдара автоподбора, то мне бы 50Тб (естественно, "наклеечной" ёмкости суммарно всех дисков) в десктопе хватило на пару месяцев видео для выпусков на канале.
Повторю: это сугубо мой путь и сугубо домашний сценарий использования. Именно поэтому мне интересно для чего почтенная публика использует скорости больше 10Gb в случае сугубо "гражданского" использования.
У меня вопрос относительно не притянутого сценария это использовать дома, а не в видео продакшане Ильдара автоподбора (спасибо, я посмотрел кто это). Лаба ради попробовать это совершенно понятно и нормально. Но не представляю что можно гонять в лабе дома, чтобы (постоянно) грузить 25Gb сеть.
А дома оно и не нужно, в самом начале статьи про это сказано:
Статья ориентирована на тех, кому это реально нужно, но при этом они не знают, откуда начать.
Ну, я тоже видать "не в теме", либо кому-то инфинибенд не нужен просто.
Я себе собирал 10Гбит сеть чтобы она была нормально совместима со всем остальным железом, например. То бишь должен быть Ethernet. Мне IB нафиг не нужен, я не суперкомпьютер строю всё же.
Почему бы не использовать комутатор микротика, например css326 там два sfp+ ?
Я все жду дешевых свичей на 5 Gbps, чтобы не просто напрямую NAS и Proxmox связывать (а остальное добро по гигабиту бегает, другим устройствам много не надо, разве что бэкапы). А тут уже 25Gbps в лабу...
Дешёвые это сколько? 5Гбит особо как по мне смысла не имеет.
8-портовые ноунеймы 10Гбит на Али стоят 80$, микротик БУ можно взять не сильно дороже. Карты, провода DAC и трансиверы тоже копейки нынче.
Самая большая проблема десятки это нагрев и требования к проводам. 2.5гбит сетевухи потребляют примерно ничего, свичи на новых риалтеках тоже, работать будет на любой старой витой паре. Карты 5гбит уже существуют, стоят пока дороговато, но не требуют охлаждения и выдают скорость +-сата ссд диска но по сети. 10gbe очень горяч, все еще дорогой, и очень требовательны к проводке.
Так используйте оптику и DAC кабели, они не греются, стоят копейки.
Сами сетевые карты греются еще как. 3 меланокс просто сушествуя в системе добавляет 4 ватта. 4 lx уже 8 ватт, интеловские карты еще больше, dac ничего не потребляет а оптика еще как жрет, и ее еще прокладывать надо, а карты активно охлаждать.
2,5гбит карта жрет меньше ватта, ровно такой же результат у 5гбит. И главное что они не требуют обновлять проводку в рамках квартиры/дома. cat5e вполне справляется.
Ну, в свичах трансиверы у меня чуть тёплые, карты интел тоже. Если вас устраивает 2.5 и нет желания класть оптику - то тут да, зачем суетиться. Меня не устраивает, поэтому я сделал 10.
Если вас устраивает 2.5 и нет желания класть оптику - то тут да, зачем суетиться. Меня не устраивает, поэтому я сделал 10.
Не совсем устраивает поэтому есть десятка но отказался бы в пользу холодной пятерки https://habr.com/ru/companies/ruvds/articles/798813/
Ну, в свичах трансиверы у меня чуть тёплые, карты интел тоже.
У меня тоже все холодное, потому что его обдувают хорошо. А теперь стоит сравнить сколько оно ест.
Вот-вот-вот. А потом втыкаешь простаивающий >90% времени домашний "сервачок" в мониторинг энергопотребления и выясняешь, что выбирал камни до 30Вт в максимуме и вот это вот всё. А оно в простое жрёт 40-60 с дисками, 4 плашками памяти, контроллерами и пятью тихими вентиляторами.
Расскажите это условной жене. =) Я чтобы (к примерно 20 портам настенных розеток RJ45, сделанных при ремонте) добавить возможность использовать 10Gb решил в результате тянуть оптоволокно. Это у меня заняло неделю. Потому что на моё предложение положить белое ("патчкордовое" по диаметру) оптоволокно по стыку белого плинтуса и белой стены на меня таак грустно посмотрели, что пришлось плинтусы снимать и укладывать волокно в щель между стеной и напольным покрытием, а заодно проходить стены насквозь. Аналогичная проблема с шумом. Два из трёх моих текущих серверов в квартире были по сути в хэндмейд корпусах, чтобы снизить шум и уменьшить визуальную видимость. А в NAS кроме того, что корпус пришлось довольно сильно модернизировать например, чтобы вынести питание наружу (мать supermicro позволяет как АТХ, так и питание от 12В) так и стоимость потраченных на охлаждение (noctua) денег вызывает слёзы на глазах.
Так что если у вас есть выделенное помещение, назовём его "кабинет" в котором можно делать что угодно и с коммутацией и с шумом, то можно и DAC и оптику и б/у промышленные хранилища ставить. Вопрос только в оплате счетов за электричество. Ну или если вы живёте один и при этом у вас нет домашних животных. А если нет, то всё компромисы. =)
Коллега показывал свою "wife approved" оптоволоконную домашнюю сеть - он нашёл довольно тонкие прозрачные кабели, которые закрепил на стене кусочками прозрачного скотча. Если бы он просто показал мне фотографию, и не сказал, куда смотреть, то я бы ничего и не заметил - выглядит, как просто обычная стена.
Именно так. Для меня огромное преимущество 5Gbps - возможность использовать давно протянутую витую пару. Тянуть заново оптику, как ниже описывал Vrag - ну может когда-нибудь и созрею... Энергопотребление на втором месте, хотя тоже важно для оборудования, включенного постоянно.
Так-то конечно хочется сразу как можно быстрее, запас карман не тянет :)
Когда городил что то похожее столкнулся с проблемой, что все эти б/у карты pci-e 3 и требуют по 8 линий. Для десктопной системы, где у проца всего 20 линий - это много, а еще у меня и видеокарта переключалась на pcie 3. Поэтому собирать такое только под зионы. Я у себя остановился на 10G и беру только карты на pcie 4, есть и в m2 формате, свичи sfp+ от 6т.р. найти можно. На короткие расстояния лучше dac, а на большие расстояния оптика, т.к. на модулях под медь яйца жарить можно.
Для 25 Gbit и одного линка хватит и 3.0 x4 (4 GB/s == 32 Gbit/s, правда сырых данных по PCIe, полезных чуть-чуть меньше, в районе 31), в современных десктопных системах из чипсетов растёт зачастую еще около 20 линий, 4 из них можно занять под сетёвку.
А ещё есть нюанс - нужно 25 Gbit не только отправлять, но и принимать одновременно, то это уже 50 Gbit которые совсем не лезут в 32Gbit/s шину. Даже двухпортовые 10Gbit/s уже не лезут в PCIe x4 3.0
Для таких нагрузок надо еще задачу поискать. Работая с видео или передавая файлы, нагрузка в одну сторону обычно.
Было две задачи под эту идею:
Сделать миграцию дисков на скорости какую собственно выдают физические SATA SSD или даже nvme между тремя серверами - по сути тут даже не важно стало в каком сервере диск, если он доступен на полной скорости с любого другого в кластере.
Перекодирование видео - когда один сервер с быстрым процом/видеокартой, а другой хранилище доступной на 2х10Г - трафик симметричный потому что берем с одного диска, сохраняем на другой диск в том же сервере, а "молотилка" просто перекодирует поток, т.к. потерь скорости на сети нет, то не жалко держать диски в другом сервере. Но на дешевых сетевых конечно есть потеря в "молотилке" на передачу данных.
Посоветуйте карту в компьютер, есть 4 лини pci-x версии 4.0 (на чипсете). Подкkючать буду к комvутатору микротик, на нём 2 sfp28 .
Спасибо за статью.
Попробуйте mtu задрать до 8к+ - будет чуть шустрее.
Как я делал сеть на 25 гигабит с минимальным бюджетом