Что ж будем исправлять пропуски вашего среднего специального образования. Основной смысл дифференциальной пары (парафазный способ передачи сигнала) - подавление помех, которые ловит линия любой протяжености. Сигнал делится на две части, на входе линии стоит инвертор, который переворачивает фазу по одной линии. Если линии расположены рядом, то и помеха на них влияет одинаково. На выходе линии стоит ещё один инвертор, который еще раз переворачивает фазу на одной линии и сумматор. При суммировании помеха вычитается друг из друга, а полезный сигнал остаётся тем же самым.
лицо_рука.jpg. Мне кажется, вы не очень понимаете, применимости тех или иных технологий. Не, я в своей жизни успел застать технологии 60-х годов прошлого века в виде пространственного монтажа проводников на сварке, в военных блоках оборудования, на лампах, но сейчас так точно делать не надо. Слишком дорого и невозможно обеспечить высокую плотность монтажа.
От такого монтажа пусть возбуждаются любители Hi-End (кстати, тема!). Усилитель на сварке медью. Ммм!
Есть вещи, которые надо делать на платах, есть вещи, которые надо делать на кабелях.
Интерконнекты - кабель, остальное размещается на печатных платах. Это тупо дешевле, еще и потому что это ТЭЗ.
А про CXL почитайте, сейчас уже CXL 4.0 принят и в работе. Причём, там всё те же самые ребята трудятся - Intel, AMD, Nvidia/Mellanox, Samsung и т.д.
Они за всё хорошее.
P.S. "там же построено на диффпарах, которые извиваются и несут до 11 ГГц по словам гугла в случае DDR5 например (чтобы пролезло ещё немного гармотик сигнала, чтобы фронты были фронтами, а не стали синусом). "
Напомнило мне нашего начальника производства, который говорил практикантам: " 'дырка' - она в заднице, а это, товарищ студент, 'переходное отверстие'. "
В реальной жизни всё сложнее. на советских СМ-4 я видел живьём 4 и 6 слойные платы, говорят были до восьми. Частоты там были, по нынешним временам, ни о чём - 4Мгц, емнип. Но все электронщики ругались последними словами при ремонтах. Очень неприятной неисправностью были лопнувшие дорожки внутри платы. Плата грелась/охлаждалась и начинались косяки. Ремонт требовал большой тщательности и усидчивости, особенно поиск проблемы, когда плату гнули во все стороны и смотрели исчезновение сигнала. Бормашиной засверливались до дорожки и кидали поверху перемычку, обычным проводом. Оборудование на 2-слойных платах всегда тащило меньше геморроев.
Чем больше слоёв - тем плата дороже в производстве, тем больше шансов сделать брак. И там всё не так просто, как кажется. На переходные отверстия есть, емнип, отдельный технологический стандарт IPC, о том, как правильно делать сквозную металлизацию, чтобы плата соответствовала требованиям. Отход от этих правил - брак. На каждый технологический приём, захотелось вам полосковой линией имитировать коаксиал, например, или обеспечить нормальную изоляцию сигналов, есть свое технологическое решение.
Проблема в том, что каждое решение имеет за собой техническую (габариты, надёжность) и финансовую цену.
Стоит у меня 2U сервер, разъемы PCI стоят у задней стенки, потому что там находится крэдл для пары загрузочных дисков. Но на фронте стоит еще корзина для 3.5 (12) или 2.5 (24) дисков. Никто в здравом уме не будет тащить к ним проводники по печатной плате. Кабель, нормальный, хорошо изолированный от ЭМИ помех. причем он сантиметров 70 длиной. И вставляется он не просто в PCI разъем, а в специальную плату, PCI Extender, которая усиливает и нормализует сигнал до NVME дисков.
Теория - это замечательно, но реальная жизнь требует другого.
P.S. где-то у меня лежит презентация про потенциальные проблемы в проектировании плат и интерконнектов при переходе на pcie 6.0. Там интересно.
И что? Разъемы давно научились делать с высоким качеством контакта. Для любого разъема есть гарантированное количество переключений и . Спроектировали и изготовляют разъемы такие компании как Tyco Electronics и Amphenol, а они в них очень хорошо разбираются.
Заглавный лист с даташита Amphenol Overpass. Компактные платы, кабельные подключения.
А это примеры разъемов. Обратите внимание повсеместно используется 4-уровневое кодирование PAM4 (обычный PAM2 (ноль и единица) тоже работать будет). Скорости передачи до 112Gb/s по одной паре сигналов (4 провода TX+/TX-/RX+/RX-).
А если будут проблемы с линиями, так на PAM4 (PCIE 6.0) предусмотрен FEC (Forward Error Correction), старый добрый код с исправлением ошибок. Соломон-Рид, как один из вариантов (RS FEC)
Нет. Кабель вы можете экранировать, сделать жилы любой нужной толщины, для уменьшения потерь, повить их с шагом, для уменьшения наводок и исключения помех при парафазной передаче. На плате это сделать или сложно или невозможно.
Мы потихоньку идём к стандарту CXL, Производители уже упираются в то, что делать большие серверные платы на будущую 4-уровневую сигнализацию PAM4, начиная с PCIe 6.0 - до крайности сложная задача. PCIE 6.0 одобрен в 21 году, а массовых плат на нём, что-то пока не видать.
Причины, мешающие массовому внедрению - взаимное влияние ЭМИ компонентов и "гонки сигналов" по дорожкам, у которых прямые углы превращаются в излучатели на высоких частотах и так далее.
Консорциум CXL предлагает делать относительно компактные платы. Процессорные платы - отдельно, контроллеры памяти - отдельно. Память становится разделяемой. между процессорами и периферией. Периферия - NIC, видео, разного рода вычислители HPC, СХД - тоже разделяемые между ресурсами.
А вот интерконнекты - достаточно толстые, специальным шагом свитые, для уменьшения помех и взаимного влияния, проводники, да ещё и оконеченные специальными разъемами. без этого PAM4 на PCIe 6.0, а в будущем и 7.0 заставить устойчиво работать вряд ли получится.
Истинные причины одни и те же, как и у любой государственной машины - если она в чём-то видит для себя угрозу, и не может это контролировать, она это запрещает.
На силовых шинах алюминиевого электролизера, можно стоять, лежать и трогать их руками. Но если бросить на них урановый лом, то он испарится со спецэффектами. 4 Вольта и 150 000 Ампер, а иногда и 500кА.
ASIC Broadcom 56980, не самый энергопотребляющий продукт в линейке Broadcom, но 401А на 3.3В питания во время запуска - это его нормальная история. Особо подчеркивается, что блок питания должен суметь выдать эти характеристики без провалов.
Емнип, CMIS - это QSFP-DD = 200/400/800GbE. Потребностей в таком оборудовании пока не просматривается (мы переезжаем на 100GbE и этого пока более чем). 200+ GbE - это для ДЦ, чем для конечного коммерческого заказчика, хотя они тоже всякие бывают. Там боли могут быть другого плана - может плохо работать через тонкие DAC, на 100GbE кабелях это уже хорошо видно. Толстые DAC работают без вопросов, но когда он долго стоит в стойке под кондиционером, то замерзает и разгибается с трудом. ). С AOC всё проще, но они и дороже. Самый дорогой и универсальный способ (Q)SFP/SFP+ и оптические ММ-патчкорды, с ними тоже надо не влететь: кабели разных грейдов отличаются по цвету, способу нумерации, типом соединителя и т.д.
Но тут всё решается по ситуации.
И есть ещё небольшой нюанс. Kornfeld, емнип, работает на Trident III, а это максимум 100GbE QSF28 на x32 порта. Их можно между собой сплитовать, вполне получится 128x25GbE портов, но не более того. На 10GbEx10 они не бьются, такое только очень некоторые модели Cisco умели и Infiniband. чтобы получить 10GbE порт надо порт понижать до 40GbE и делить его на 4 и нужен необычный кабель - гидра DAC 40GbE <-> 4x10GbE DAC, или MTP/MTO оптическая гидра, если QSFP подключаем на 4 SFP+.
Для чего эта вся канитель? Такое подключение идеально для даунлинков leaf-коммутаторов с аплинками 4x25GbE. А их до сих пор очень мало. Aquarius, Sofinet заявили что сделают, но пока, емнип, нет. Хотя я год назад эту тему мониторил может что-то и изменилось уже.
Зато 4x10GbE - навалом, даже Realtek такое ODM-ит. Впрочем HP делал свой 2910al 48x1GbE + 4x10GbE в далёком 2009 году, когда это ещё не было мэйнстримом. И Yadro кстати, по моему такого даже не аннонсировало, хотя могу ошибаться.
200GbE - это уже Tomahawk 4. Есть подозрение, что Centec (дочка Maipu) уже его склонировала. Потому что 200GbE/400GbE коммутаторы у них уже есть. Точно лицензирован аналог Trident III - Centec Tsing.MA . Информация о нем только под NDA, но пробуйте договориться. Centec ещё и коммутаторы под своим брендом делает, ОЕМит тоже всем, кому не лень.
А топ у Broadcom - это Tomahawk 6, я даже не буду представлять сколько он стоит, и как у него с доступностью. Анонсирован в 2025 году и 100% его Broadcom ещё долго никому раздавать не будет.
"Моя прелессссть":
The Broadcom® BCM78910 family is a class of high-radix, high-bandwidth network switching devices supporting up to 1.6TbE, 128 × 800GbE, 256 × 400GbE, and 512 × 200GbE ports. The device family features 128 integrated Peregrine 106.25G PAM4 SerDes cores (BCM78910) or 64 Condor 212.5G PAM4 SerDes cores (BCM78914). The BCM78910 delivers high-bandwidth, glueless network connectivity of up to 102.4 Tb/s on a single chip.
Американские ДЦ переезжают потихоньку на 800GbE бэкбоны, так что 6-й томагавк с хорошим заделом на будущее.
Дело благое делаете, если у вас не будет вендор-лока (а это неприятная штука, особенно когда необходимо стыковать оборудование от разных вендоров).
Прикручивать сюда сложную математику не стоит, В полях трансиверов у нонеймовых китайцев бывает написано всякое, хотя сказать, что они не стараются всё делать правильно тоже нельзя.
Чтобы это поправить есть программаторы, с помощью которых можно переписать идентификацию.
Есть условно плохие и хорошие вендоры.
Хороший вендор, конечно же, настоятельно рекомендуют использовать "свои" трансиверы, у которых понятно происхождение, которые понятно как зашиты, но не имеет ничего против, если вы используете сторонние трансиверы, под свою ответственность. Huawei, например. Тоже у него нюансы есть. FEC auto на СХД Dorado, например, не работает при подсоединении на 100GbE к неродным коммутаторам. надо ручками выставлять на обоих концах один и тот же способ кодирования fec. Тогда всё норм. А так - даже лампочки не горят.
Eltex - тоже среди хороших парней, подключали даже Fiber Channel DAC и SFP - работает, только скорости 4/8/16 Gb - что, в общем, логично. Опознаются, вендорская информация показывается, ошибок на интерфейсах нет. Не заработал в нем только один древний HPE 1Gb FC DAC, да и пёс с ним. Это какой-то интерконнект от древнего чудища HP EVA 4400. Это не считается
Плохой вендор делает всё, чтобы можно было использовать только его трансиверы и блокирует использование сторонних. Более того, есть подозрение, что он использует кастомные зоны в этих SFP+ модулях, так что простая перезапись не помогает.
Очень плохие ребята - HPE. SFP-модули на 1/1.25 Gbit под HPE мы шить научились, SFP+ - с ними всё сложно. Даже те, кто с этими модулями работает (одна компания на букву N) под них зашить с первого раза не сумела. Верить или нет, но с их слов "заказали специальные модули с аппаратной модификацией", они были ощутимо дороже. Эти влетели в HP как дети в школу. У нас достаточно много в хозяйстве 2910 и 5412, и для нас это очень актуально.
Не совсем плохие ребята - Cisco, у них была недокументированная команда отключения определения типа трансивера, так что можно было воткнуть неродной. Но это для достаточно старого железа и старых фирмварей.
Сталкивались мы и с парадоксами. У нас были HPE DAC с одним P/N но разных OEM, в первом случае был Tyco Electronics, второй - какой-то тоже очень известный в узких кругах ОЕМ. Tyco на некоторых типах коммутаторов "российский Maipu" , при подсоединении, давал 80% загрузки asic. Поработав с инженерными командами из найденного на просторах сети сервисного мануала на оригинальных китайцев, удалось выяснить, что загрузка растёт на процессе чтения id со стороны SFP. :) Почему так - ХЗ. Баг этот до сих пор "российским maipu" не исправлен, хотя заявили его год назад уже.
В принципе вся информация по SFP/SFP+/QSFP и т.д. достаточно хорошо документирована, но большие вендоры на неё могут и забивать болт, "потому что могут".
Как говорил великий Д.Стэтхем: "Хорошо - делайте, плохо - не делайте". (С)
Стандарты (большинство доступно в сети, ну в крайнем случае через три запретные буквы, если их не даёт сдёрнуть SNIA): INF-8074 SFP (Small Formfactor Pluggable) 1 Gb/s Transceiver REF-TA-1011 Reference Guide for Cross Reference to Selected SFF Connectors and Modules SFF-8024 SFF Module Management Reference Code Tables SFF-8053 GBIC (Gigabit Interface Converter) SFF-8079 SFP Rate and Application Selection SFF-8089 SFP Rate and Application Codes SFF-8418 SFP+ 10 Gb/s Electrical Interface SFF-8419 SFP+ Power and Low Speed Interface SFF-8431 SFP+ 10 Gb/s and Low Speed Electrical Interface SFF-8690 Tunable SFP+ Memory Map
Более того, Windows NT получилась весьма удачной, потому что по факту её писала команда, которую Гейтс подобрал из удачно обанкротившейся к этому времени DEC.
8-битные системы под КОКОМ не попадали. Нельзя было экспортировать в страны СЭВ i386 с частотами выше 16 МГц, запрещены к эспорту Mac, потому что они собирались на Motorola 68xxx, а это был любимый процессор американских военных. Apple вози сколько хочешь, на них стоял 6502.
Запрещены были вычислительные системы высокой мощности, но был большой скандал с французами, которые оказывается под своим прикрытием ввозили в СССР Cray X-MP.
Когда всю советскую электронику добили, ограничения КОКОМ были сняты, потому что она из себя не представляла больше никакой конкуренции, а кроме того, в СССР с востока пошёл вал ПК "жёлтой сборки" преимущественно с Тайваня и Филиппин, на континентальном Китае ПК собирали не очень хорошо, американские компании были сильно обеспокоены тем, что рынок сбыта может уплыть.
Compaq, HP, IBM, Zenith, Twinhead, Gateway, Amstrad - несть им числа. Прикольные времена были.
Почему-то не упоминаются L2+ коммутаторы, а в энтерпрайзе таких большинство. У них, как правило, есть маршрутизация между VLAN по фиксированным маршрутам, и есть свои нюансы. Так как задача маршрутизации пакетов для ASIC достаточно ресурсоемка, то могут быть ограничения.
Например, HP Procurve 2610 имеет не более16 таких маршрутов, более производительный 2910 уже не имеет такого ограничения. Это всё древние как кости динозавра коммутаторы, но они вполне себе рабочие и используются до сих пор.
Важная технология для коммутаторов - MLAG (multi-chassis link aggregation group). К сожалению вендоро-зависимая (не совместимая между собой, хотя и строится на едином RFC), зато позволяет объединять коммутаторы, так что они со стороны других устройств (в том числе серверов), выглядят как единый коммутатор на который отдаётся трафик по LACP (802.3ad). Иногда MLAG есть даже на коммутаторах доступа - очень удобно и увеличивает надёжность сети.
Лежит у меня на тесте Связь инжиниринг, который Парус Электро на 3000кВа (СИПБ3КА.10-11). Функционал по сравнению со старыми UPS APC SURT3000/5000XLI сильно лучше. Нормальные полноценные дисплеи, лучше диапазон работы по входному напряжению.
Карты SNMP Megatec NetAgent2, есть с поддержкой датчиков температур/влажности, есть с поддержкой Modbus, актуально для АСУТП.
LibreNMS всосала их как свои родные. Карта очень ходовая.
Но есть две ложки дёгтя:
Внешний батарейный блок на 72В - это значит, что батареи соединены параллельно-последовательно. Внутри две кассеты 6x12V7Ah.
Параллельное соединение - плохая штука при переборе батарей. Чем хороши были кассеты от APC на 192В - там 8 элементов 12V5Ah соединены последовательно до 96В. В ней нельзя ошибиться с соединением - что-то не так соединил - на выходе кассеты 0В, проверяется любым тестером.
В кассетах 48В (APC) или 72В (СИ) - накосячил в одной секции (обрыв) - вторая секция работает и у тебя тестер показывает всё равно 48В или 72В
Батарейная кассета внутри ИБП СИ (6x12V7Ah) - из тонкого пластика перемотанного скотчем. Я такое же видел у Ippon, но у APC в старых ИБП - кассета всегда металлическая. Это надёжнее и безопаснее. Хотя и лазишь внутрь, при нормальных элементов раз в пять лет, и тем не менее.
Стоимость металлической кассеты не такая уж и большая. Любое предприятие её отштампует и сварит точечной сваркой при наличии чертежа. Красить её не надо. Цена вопроса с завода - рублей 200-300.
А Вот у РУСЭЛТ ИБП поинтереснее, у них есть однофазные 6кВа и 10кВа(!), хотя по трём фазам такие включать лучше, в момент запуска не перегружают фазы.
И, что самое интересное, внешние батареи у них на классические 192В, т.е. точно такие же как от 5/8 кВа APC. В комплекте с ИБП идёт силовой разъем Anderson и он очень похож на разъем 192В батарейных полок APC. Этот вопрос надо поизучать.
И я вам тут ещё не задал самый зубодробительный вопрос для всей юной молодёжи. Почему 3 = 10, а 2 = 11. Хотя должно быть наоборот.
Увы, отменяет. Вы не до конца понимаете того, что говорите.
Вот вам пример кодирования NRZ(PAM2) - все PCIE по 5.0 включительно. И пример PAM4, PCIE 6.0 и выше. Покажите, где здесь отрицательные напряжения:
Что ж будем исправлять пропуски вашего среднего специального образования. Основной смысл дифференциальной пары (парафазный способ передачи сигнала) - подавление помех, которые ловит линия любой протяжености. Сигнал делится на две части, на входе линии стоит инвертор, который переворачивает фазу по одной линии. Если линии расположены рядом, то и помеха на них влияет одинаково. На выходе линии стоит ещё один инвертор, который еще раз переворачивает фазу на одной линии и сумматор. При суммировании помеха вычитается друг из друга, а полезный сигнал остаётся тем же самым.
Какие переключения "плюсов" и "минусов"?
лицо_рука.jpg. Мне кажется, вы не очень понимаете, применимости тех или иных технологий. Не, я в своей жизни успел застать технологии 60-х годов прошлого века в виде пространственного монтажа проводников на сварке, в военных блоках оборудования, на лампах, но сейчас так точно делать не надо. Слишком дорого и невозможно обеспечить высокую плотность монтажа.
От такого монтажа пусть возбуждаются любители Hi-End (кстати, тема!). Усилитель на сварке медью. Ммм!
Есть вещи, которые надо делать на платах, есть вещи, которые надо делать на кабелях.
Интерконнекты - кабель, остальное размещается на печатных платах. Это тупо дешевле, еще и потому что это ТЭЗ.
А про CXL почитайте, сейчас уже CXL 4.0 принят и в работе. Причём, там всё те же самые ребята трудятся - Intel, AMD, Nvidia/Mellanox, Samsung и т.д.
Они за всё хорошее.
P.S.
"там же построено на диффпарах, которые извиваются и несут до 11 ГГц по словам гугла в случае DDR5 например (чтобы пролезло ещё немного гармотик сигнала, чтобы фронты были фронтами, а не стали синусом). "
"Мечущуюся стрелку осциллографа Латыниной вижу я" (С) Баба Ванга
Какие гармоники, какие синусы?
Вы точно понимаете, что такое "диффпара" и как она работает?
Напомнило мне нашего начальника производства, который говорил практикантам: " 'дырка' - она в заднице, а это, товарищ студент, 'переходное отверстие'. "
В реальной жизни всё сложнее. на советских СМ-4 я видел живьём 4 и 6 слойные платы, говорят были до восьми. Частоты там были, по нынешним временам, ни о чём - 4Мгц, емнип. Но все электронщики ругались последними словами при ремонтах. Очень неприятной неисправностью были лопнувшие дорожки внутри платы. Плата грелась/охлаждалась и начинались косяки. Ремонт требовал большой тщательности и усидчивости, особенно поиск проблемы, когда плату гнули во все стороны и смотрели исчезновение сигнала. Бормашиной засверливались до дорожки и кидали поверху перемычку, обычным проводом. Оборудование на 2-слойных платах всегда тащило меньше геморроев.
Чем больше слоёв - тем плата дороже в производстве, тем больше шансов сделать брак. И там всё не так просто, как кажется. На переходные отверстия есть, емнип, отдельный технологический стандарт IPC, о том, как правильно делать сквозную металлизацию, чтобы плата соответствовала требованиям. Отход от этих правил - брак. На каждый технологический приём, захотелось вам полосковой линией имитировать коаксиал, например, или обеспечить нормальную изоляцию сигналов, есть свое технологическое решение.
Проблема в том, что каждое решение имеет за собой техническую (габариты, надёжность) и финансовую цену.
Стоит у меня 2U сервер, разъемы PCI стоят у задней стенки, потому что там находится крэдл для пары загрузочных дисков. Но на фронте стоит еще корзина для 3.5 (12) или 2.5 (24) дисков. Никто в здравом уме не будет тащить к ним проводники по печатной плате. Кабель, нормальный, хорошо изолированный от ЭМИ помех. причем он сантиметров 70 длиной. И вставляется он не просто в PCI разъем, а в специальную плату, PCI Extender, которая усиливает и нормализует сигнал до NVME дисков.
Теория - это замечательно, но реальная жизнь требует другого.
P.S. где-то у меня лежит презентация про потенциальные проблемы в проектировании плат и интерконнектов при переходе на pcie 6.0. Там интересно.
И что? Разъемы давно научились делать с высоким качеством контакта. Для любого разъема есть гарантированное количество переключений и . Спроектировали и изготовляют разъемы такие компании как Tyco Electronics и Amphenol, а они в них очень хорошо разбираются.
Заглавный лист с даташита Amphenol Overpass. Компактные платы, кабельные подключения.
А это примеры разъемов. Обратите внимание повсеместно используется 4-уровневое кодирование PAM4 (обычный PAM2 (ноль и единица) тоже работать будет). Скорости передачи до 112Gb/s по одной паре сигналов (4 провода TX+/TX-/RX+/RX-).
А если будут проблемы с линиями, так на PAM4 (PCIE 6.0) предусмотрен FEC (Forward Error Correction), старый добрый код с исправлением ошибок. Соломон-Рид, как один из вариантов (RS FEC)
Нет. Кабель вы можете экранировать, сделать жилы любой нужной толщины, для уменьшения потерь, повить их с шагом, для уменьшения наводок и исключения помех при парафазной передаче. На плате это сделать или сложно или невозможно.
Мы потихоньку идём к стандарту CXL, Производители уже упираются в то, что делать большие серверные платы на будущую 4-уровневую сигнализацию PAM4, начиная с PCIe 6.0 - до крайности сложная задача. PCIE 6.0 одобрен в 21 году, а массовых плат на нём, что-то пока не видать.
Причины, мешающие массовому внедрению - взаимное влияние ЭМИ компонентов и "гонки сигналов" по дорожкам, у которых прямые углы превращаются в излучатели на высоких частотах и так далее.
Консорциум CXL предлагает делать относительно компактные платы. Процессорные платы - отдельно, контроллеры памяти - отдельно. Память становится разделяемой. между процессорами и периферией. Периферия - NIC, видео, разного рода вычислители HPC, СХД - тоже разделяемые между ресурсами.
А вот интерконнекты - достаточно толстые, специальным шагом свитые, для уменьшения помех и взаимного влияния, проводники, да ещё и оконеченные специальными разъемами. без этого PAM4 на PCIe 6.0, а в будущем и 7.0 заставить устойчиво работать вряд ли получится.
Истинные причины одни и те же, как и у любой государственной машины - если она в чём-то видит для себя угрозу, и не может это контролировать, она это запрещает.
На силовых шинах алюминиевого электролизера, можно стоять, лежать и трогать их руками. Но если бросить на них
урановыйлом, то он испарится со спецэффектами. 4 Вольта и 150 000 Ампер, а иногда и 500кА.ASIC Broadcom 56980, не самый энергопотребляющий продукт в линейке Broadcom, но 401А на 3.3В питания во время запуска - это его нормальная история. Особо подчеркивается, что блок питания должен суметь выдать эти характеристики без провалов.
Емнип, CMIS - это QSFP-DD = 200/400/800GbE. Потребностей в таком оборудовании пока не просматривается (мы переезжаем на 100GbE и этого пока более чем). 200+ GbE - это для ДЦ, чем для конечного коммерческого заказчика, хотя они тоже всякие бывают. Там боли могут быть другого плана - может плохо работать через тонкие DAC, на 100GbE кабелях это уже хорошо видно. Толстые DAC работают без вопросов, но когда он долго стоит в стойке под кондиционером, то замерзает и разгибается с трудом. ). С AOC всё проще, но они и дороже. Самый дорогой и универсальный способ (Q)SFP/SFP+ и оптические ММ-патчкорды, с ними тоже надо не влететь: кабели разных грейдов отличаются по цвету, способу нумерации, типом соединителя и т.д.
Но тут всё решается по ситуации.
И есть ещё небольшой нюанс. Kornfeld, емнип, работает на Trident III, а это максимум 100GbE QSF28 на x32 порта. Их можно между собой сплитовать, вполне получится 128x25GbE портов, но не более того. На 10GbEx10 они не бьются, такое только очень некоторые модели Cisco умели и Infiniband. чтобы получить 10GbE порт надо порт понижать до 40GbE и делить его на 4 и нужен необычный кабель - гидра DAC 40GbE <-> 4x10GbE DAC, или MTP/MTO оптическая гидра, если QSFP подключаем на 4 SFP+.
Для чего эта вся канитель? Такое подключение идеально для даунлинков leaf-коммутаторов с аплинками 4x25GbE. А их до сих пор очень мало. Aquarius, Sofinet заявили что сделают, но пока, емнип, нет. Хотя я год назад эту тему мониторил может что-то и изменилось уже.
Зато 4x10GbE - навалом, даже Realtek такое ODM-ит. Впрочем HP делал свой 2910al 48x1GbE + 4x10GbE в далёком 2009 году, когда это ещё не было мэйнстримом. И Yadro кстати, по моему такого даже не аннонсировало, хотя могу ошибаться.
200GbE - это уже Tomahawk 4. Есть подозрение, что Centec (дочка Maipu) уже его склонировала. Потому что 200GbE/400GbE коммутаторы у них уже есть. Точно лицензирован аналог Trident III - Centec Tsing.MA . Информация о нем только под NDA, но пробуйте договориться. Centec ещё и коммутаторы под своим брендом делает, ОЕМит тоже всем, кому не лень.
А топ у Broadcom - это Tomahawk 6, я даже не буду представлять сколько он стоит, и как у него с доступностью. Анонсирован в 2025 году и 100% его Broadcom ещё долго никому раздавать не будет.
"Моя прелессссть":
The Broadcom® BCM78910 family is a class of high-radix, high-bandwidth network switching devices supporting up to 1.6TbE, 128 × 800GbE, 256 × 400GbE, and 512 × 200GbE ports. The device family features 128 integrated Peregrine 106.25G PAM4 SerDes cores (BCM78910) or 64 Condor 212.5G PAM4 SerDes cores (BCM78914). The BCM78910 delivers high-bandwidth, glueless network connectivity of up to 102.4 Tb/s on a single chip.
Американские ДЦ переезжают потихоньку на 800GbE бэкбоны, так что 6-й томагавк с хорошим заделом на будущее.
Дело благое делаете, если у вас не будет вендор-лока (а это неприятная штука, особенно когда необходимо стыковать оборудование от разных вендоров).
Прикручивать сюда сложную математику не стоит,
В полях трансиверов у нонеймовых китайцев бывает написано всякое, хотя сказать, что они не стараются всё делать правильно тоже нельзя.
Чтобы это поправить есть программаторы, с помощью которых можно переписать идентификацию.
Есть условно плохие и хорошие вендоры.
Хороший вендор, конечно же, настоятельно рекомендуют использовать "свои" трансиверы, у которых понятно происхождение, которые понятно как зашиты, но не имеет ничего против, если вы используете сторонние трансиверы, под свою ответственность. Huawei, например. Тоже у него нюансы есть. FEC auto на СХД Dorado, например, не работает при подсоединении на 100GbE к неродным коммутаторам. надо ручками выставлять на обоих концах один и тот же способ кодирования fec. Тогда всё норм. А так - даже лампочки не горят.
Eltex - тоже среди хороших парней, подключали даже Fiber Channel DAC и SFP - работает, только скорости 4/8/16 Gb - что, в общем, логично. Опознаются, вендорская информация показывается, ошибок на интерфейсах нет. Не заработал в нем только один древний HPE 1Gb FC DAC, да и пёс с ним. Это какой-то интерконнект от древнего чудища HP EVA 4400. Это не считается
Плохой вендор делает всё, чтобы можно было использовать только его трансиверы и блокирует использование сторонних. Более того, есть подозрение, что он использует кастомные зоны в этих SFP+ модулях, так что простая перезапись не помогает.
Очень плохие ребята - HPE. SFP-модули на 1/1.25 Gbit под HPE мы шить научились, SFP+ - с ними всё сложно. Даже те, кто с этими модулями работает (одна компания на букву N) под них зашить с первого раза не сумела. Верить или нет, но с их слов "заказали специальные модули с аппаратной модификацией", они были ощутимо дороже. Эти влетели в HP как дети в школу. У нас достаточно много в хозяйстве 2910 и 5412, и для нас это очень актуально.
Не совсем плохие ребята - Cisco, у них была недокументированная команда отключения определения типа трансивера, так что можно было воткнуть неродной. Но это для достаточно старого железа и старых фирмварей.
Сталкивались мы и с парадоксами. У нас были HPE DAC с одним P/N но разных OEM, в первом случае был Tyco Electronics, второй - какой-то тоже очень известный в узких кругах ОЕМ. Tyco на некоторых типах коммутаторов "российский Maipu" , при подсоединении, давал 80% загрузки asic. Поработав с инженерными командами из найденного на просторах сети сервисного мануала на оригинальных китайцев, удалось выяснить, что загрузка растёт на процессе чтения id со стороны SFP. :) Почему так - ХЗ. Баг этот до сих пор "российским maipu" не исправлен, хотя заявили его год назад уже.
В принципе вся информация по SFP/SFP+/QSFP и т.д. достаточно хорошо документирована, но большие вендоры на неё могут и забивать болт, "потому что могут".
Как говорил великий Д.Стэтхем: "Хорошо - делайте, плохо - не делайте". (С)
Стандарты (большинство доступно в сети, ну в крайнем случае через три запретные буквы, если их не даёт сдёрнуть SNIA):
INF-8074 SFP (Small Formfactor Pluggable) 1 Gb/s Transceiver
REF-TA-1011 Reference Guide for Cross Reference to Selected SFF Connectors and Modules
SFF-8024 SFF Module Management Reference Code Tables
SFF-8053 GBIC (Gigabit Interface Converter)
SFF-8079 SFP Rate and Application Selection
SFF-8089 SFP Rate and Application Codes
SFF-8418 SFP+ 10 Gb/s Electrical Interface
SFF-8419 SFP+ Power and Low Speed Interface
SFF-8431 SFP+ 10 Gb/s and Low Speed Electrical Interface
SFF-8690 Tunable SFP+ Memory Map
Более того, Windows NT получилась весьма удачной, потому что по факту её писала команда, которую Гейтс подобрал из удачно обанкротившейся к этому времени DEC.
8-битные системы под КОКОМ не попадали. Нельзя было экспортировать в страны СЭВ i386 с частотами выше 16 МГц, запрещены к эспорту Mac, потому что они собирались на Motorola 68xxx, а это был любимый процессор американских военных. Apple вози сколько хочешь, на них стоял 6502.
Запрещены были вычислительные системы высокой мощности, но был большой скандал с французами, которые оказывается под своим прикрытием ввозили в СССР Cray X-MP.
Когда всю советскую электронику добили, ограничения КОКОМ были сняты, потому что она из себя не представляла больше никакой конкуренции, а кроме того, в СССР с востока пошёл вал ПК "жёлтой сборки" преимущественно с Тайваня и Филиппин, на континентальном Китае ПК собирали не очень хорошо, американские компании были сильно обеспокоены тем, что рынок сбыта может уплыть.
Compaq, HP, IBM, Zenith, Twinhead, Gateway, Amstrad - несть им числа. Прикольные времена были.
Хороший вопрос - а откуда в ЦОДе берётся пыль, если исключить её подсос через двери?
Именно пугать wireshark-ом, интерфейс там достаточно наглядный.
Почему-то не упоминаются L2+ коммутаторы, а в энтерпрайзе таких большинство. У них, как правило, есть маршрутизация между VLAN по фиксированным маршрутам, и есть свои нюансы. Так как задача маршрутизации пакетов для ASIC достаточно ресурсоемка, то могут быть ограничения.
Например, HP Procurve 2610 имеет не более16 таких маршрутов, более производительный 2910 уже не имеет такого ограничения. Это всё древние как кости динозавра коммутаторы, но они вполне себе рабочие и используются до сих пор.
Важная технология для коммутаторов - MLAG (multi-chassis link aggregation group). К сожалению вендоро-зависимая (не совместимая между собой, хотя и строится на едином RFC), зато позволяет объединять коммутаторы, так что они со стороны других устройств (в том числе серверов), выглядят как единый коммутатор на который отдаётся трафик по LACP (802.3ad). Иногда MLAG есть даже на коммутаторах доступа - очень удобно и увеличивает надёжность сети.
Лежит у меня на тесте Связь инжиниринг, который Парус Электро на 3000кВа (СИПБ3КА.10-11). Функционал по сравнению со старыми UPS APC SURT3000/5000XLI сильно лучше. Нормальные полноценные дисплеи, лучше диапазон работы по входному напряжению.
Карты SNMP Megatec NetAgent2, есть с поддержкой датчиков температур/влажности, есть с поддержкой Modbus, актуально для АСУТП.
LibreNMS всосала их как свои родные. Карта очень ходовая.
Но есть две ложки дёгтя:
Внешний батарейный блок на 72В - это значит, что батареи соединены параллельно-последовательно. Внутри две кассеты 6x12V7Ah.
Параллельное соединение - плохая штука при переборе батарей. Чем хороши были кассеты от APC на 192В - там 8 элементов 12V5Ah соединены последовательно до 96В. В ней нельзя ошибиться с соединением - что-то не так соединил - на выходе кассеты 0В, проверяется любым тестером.
В кассетах 48В (APC) или 72В (СИ) - накосячил в одной секции (обрыв) - вторая секция работает и у тебя тестер показывает всё равно 48В или 72В
Батарейная кассета внутри ИБП СИ (6x12V7Ah) - из тонкого пластика перемотанного скотчем. Я такое же видел у Ippon, но у APC в старых ИБП - кассета всегда металлическая. Это надёжнее и безопаснее. Хотя и лазишь внутрь, при нормальных элементов раз в пять лет, и тем не менее.
Стоимость металлической кассеты не такая уж и большая. Любое предприятие её отштампует и сварит точечной сваркой при наличии чертежа. Красить её не надо. Цена вопроса с завода - рублей 200-300.
А Вот у РУСЭЛТ ИБП поинтереснее, у них есть однофазные 6кВа и 10кВа(!), хотя по трём фазам такие включать лучше, в момент запуска не перегружают фазы.
И, что самое интересное, внешние батареи у них на классические 192В, т.е. точно такие же как от 5/8 кВа APC. В комплекте с ИБП идёт силовой разъем Anderson и он очень похож на разъем 192В батарейных полок APC. Этот вопрос надо поизучать.
А нет ли тут банального гравитационного притяжения между пластинами?
Есть ещё один небольшой нюанс. Для NGFW как правило используются кастомные ASIC, чего на стандартных x86 не достичь, если требуется производительность