1. Мы не планируем продавать адаптеры как самостоятельные изделия (пока), и даже стоимость его при нормальной серии толком не просчитывалась. Самое дорогое там — PCIe switch. Но порядок цены — несколько сотен долларов, до 500 где-то.
2. Если нужно именно х16 в качестве аплинка — то я такого не видел. А реально ли нужно х16 наверх? Что, все 16 штук х1 будут работать на полной скорости и одновременно? Объясню в чем проблема. PCIe свичи сейчас производят PLX и PMCS. И у обоих свичи с большим количеством лэйнов не подразумевают разбиение портов до х1, минимальная гранулярность у PMCS это х2, а у PLX для многих моделей вообще x16. Соответственно если делать именно то, что написали вы, то потребуется свич на 48 лэйнов (x16 наверх и 16 по х2, из которых реально будет задействован х1, вниз). Это все деньги. У нас есть плата (для другой нашей системы), у нее наверх х16, а вниз мы сделали восемь слотов, они могут быть или все х8, или крайние х8 могут объединяться чтобы получить один х16 вместо них.
Я бы даже сказал скорее не в commodity, а в consumer. Thunderbolt для наших целей не интересен совсем, там все грустно если в целом посмотреть, у него своя ниша.
Да, пожалуй во всякой встраиваемой требухе PCIe может и побольше уже будет, только у меня есть серьезные сомнения в том, что тот же Apple, например, принимает сколько-нибудь серьезное участие в развитии стандарта.
PCIe — это всегда точка-точка, причем одна из них хост, а другая — оконечное устройство. Два хоста «в лоб» соединять нельзя, но можно для этого использовать отображение памяти с применением механизма трансляции адресов непрозрачного моста в коммутаторе (NTB). И в принципе можно сделать драйвер виртуального NIC'а который будет использовать PCIe в качестве транспорта. В случае x16 скорость будет 128Gb (реальная по данным конечно чуть ниже выйдет).
Только в датацентрах соединения точка-точка мало кому интересны, а вот с коммутаторами на PCIe все совсем не так радужно, чтобы это имело смысл практического применения в качестве замены стандартным сетевым интерфейсам.
Мы можем использовать как оптику, так и медь. Основной вариант все же пассивные медные кабели, оптику будем использовать только если потребуется уйти дальше чем на 10 метров.
На самом деле такой вариант можно сразу же отклонить по одной причине — блоки питания в шасси лежат горизонтально и ширина каждого меньше чем удвоенная высота, то есть с точки зрения использования объема разделять их и ставить вертикально по сторонам шасси не имеет смысла (если даже не брать все остальные неприятности которые это вызовет).
Есть, но очень ограниченный выбор (не все что нам надо есть) и с ними тоже очень тяжело работать (именно со стораджевым подразделением, с сетевым-то проблем нет вообще).
Пока не скажу однозначно — это еще вопрос к обсуждению. Серийность у нас не сильно большая, поэтому с LSI/Avago/Broadcom работать тяжело. Adaptec/PMCS/Microsemi в этом плане ребята гораздо более гибкие. NVMe сейчас в дизайне на PCIe свичах от PMCS/Microsemi.
Есть две религии. Первая говорит соединять шасси только с PE и нигде гальванически не соединять с низковольтным питанием внутри. Вторая же за обратное — соединять с сигнальной землей везде, где только можно. Мы адепты второго пути — начиная с PDB везде где только можно шасси соединяется с сигнальной землей, в основном конечно через винты и пэды на платах. Соединение с PE реализуется естественным образом через контакт корпусов источников питания с корпусом.
Все достаточно стандартно для серверов — мониторинг всего и всея, менеджмент системы (управление питанием, системой охлаждения и т.п.), ведение логов, консольный доступ к системе.
Более детально мог бы подсказать мой коллега, но он в отпуске в ближайшие две недели.
Вас какие-то конкретные вещи интересуют? Думаю на конкретные вопросы будет проще ответить, чем в целом описывать весь функционал.
В текущий момент (я думаю вопрос же именно про BMC, а не про то, какой именно там GBE или USB контроллер будет стоять) там стоит AST2400 плюс FW стек на базе OpenBMC, который будем сильно допиливать (и коммитить в OpenBMC по мере реализации интересного функционала).
В РФ тяжело собирать сложные платы. Во-первых, сами PCB нужного качества у нас пока не делают за вменяемые деньги, во-вторых, никто не держит стоки тех компонентов что нам нужны, а это значит закупку под каждый заказ, в третьих — монтаж плат это не просто станок для установки компонентов и печка, это еще и тулинг для специфических компонентов, пайка в азотной среде и т.п. Это к вопросу почему пока не все делается у нас. Кстати, простые платы вполне может быть и здесь будем собирать.
Превосходство достигается техническими преимуществами решения, которые в свою очередь дают коммерческие преимущества перед аналогичными решениями.
Сервер состоит из множества компонентов (шасси, шины питания, несколько типов плат, стандартные компоненты — блоки питания, вентиляторы и т.п.) — соответственно и контрактных производителей много. Даже разные платы будут делаться в разных местах (обусловлено ценой, нет смысла просить фабрику которая качественно делает материнские платы произвести примитив типа PDB или fan midplane). Сборка — в РФ.
С поставками процессоров в рамках OpenPOWER нет никаких проблем.
POWER9 только готовят к релизу. Я думаю что с десктопами все было бы очень неоднозначно — да и кому сегодня сильно интересен процессор в десктопе, разве что фанатам-геймерам. Перфа современных процессоров более чем достаточно для большей части бытовых применений.
На самом деле для случая когда надо подключить много всего и с полным дублированием у нас тоже есть решение, про него позже будем рассказывать.
Ну и невозможно же объять необъятное, т.е. сделать совершенно универсальную машину. По PCIe мы сильно ограничены возможностями по бифуркации портов которые есть у процессоров — и там в общем-то небогато очень, или два порта x16 или один x16 + два x8 на каждый сокет.
2. Если нужно именно х16 в качестве аплинка — то я такого не видел. А реально ли нужно х16 наверх? Что, все 16 штук х1 будут работать на полной скорости и одновременно? Объясню в чем проблема. PCIe свичи сейчас производят PLX и PMCS. И у обоих свичи с большим количеством лэйнов не подразумевают разбиение портов до х1, минимальная гранулярность у PMCS это х2, а у PLX для многих моделей вообще x16. Соответственно если делать именно то, что написали вы, то потребуется свич на 48 лэйнов (x16 наверх и 16 по х2, из которых реально будет задействован х1, вниз). Это все деньги. У нас есть плата (для другой нашей системы), у нее наверх х16, а вниз мы сделали восемь слотов, они могут быть или все х8, или крайние х8 могут объединяться чтобы получить один х16 вместо них.
Фото платы:
Да, пожалуй во всякой встраиваемой требухе PCIe может и побольше уже будет, только у меня есть серьезные сомнения в том, что тот же Apple, например, принимает сколько-нибудь серьезное участие в развитии стандарта.
Только в датацентрах соединения точка-точка мало кому интересны, а вот с коммутаторами на PCIe все совсем не так радужно, чтобы это имело смысл практического применения в качестве замены стандартным сетевым интерфейсам.
А про то, что цепляем — отдельно рассказывать будем, там сложно все :)
Кстати, а что за гирлянда из проводов, пардон?
Более детально мог бы подсказать мой коллега, но он в отпуске в ближайшие две недели.
Вас какие-то конкретные вещи интересуют? Думаю на конкретные вопросы будет проще ответить, чем в целом описывать весь функционал.
Превосходство достигается техническими преимуществами решения, которые в свою очередь дают коммерческие преимущества перед аналогичными решениями.
С поставками процессоров в рамках OpenPOWER нет никаких проблем.
Ну и невозможно же объять необъятное, т.е. сделать совершенно универсальную машину. По PCIe мы сильно ограничены возможностями по бифуркации портов которые есть у процессоров — и там в общем-то небогато очень, или два порта x16 или один x16 + два x8 на каждый сокет.