Мы много вариантов рассматривали, предложенный плох тем, что во-первых мы будем иметь проблемы с подключением (для подключения этого райзера требуется приличное количество сигналов), и во-вторых — будет портить продуваемость всей конструкции.
На самом деле все проще — шестой слот нам ставить смысла нет поскольку даже с пятью все возможности процессоров по PCIe уже утилизированы на 100%. Для шестого слота пришлось бы ставить PCIe-свич где-то, чего совсем не хочется (да и места откровенно нет).
Про конкретную стоимость я ничего не скажу — я техникой занимаюсь, возможно кто-то из коллег и прокомментирует. Но светлый (для нас) момент во всем этом заключается в том, что стоимость альтернатив, судя по всему, гораздо выше.
Карты на FPGA можно ставить, просто надо тесты проводить, и, возможно, придется ставить на них пассивные радиаторы двойной высоты (занимая тем самым одной картой два слота). Встроенные в полку вентиляторы позволяют обеспечить приличный продув, мы надеемся что не потребуется разгонять их на 100% (шумно очень будет).
Долго :) А еще можно прикинуть например сколько база такого объема будет подниматься в память — и сразу становится понятно, почему мы так активно за NVMe. Есть такие базы, у людей есть реальная потребность. Можно например посмотреть презентации с In-Memory Computing Summit этого года.
Модули не висят на коннекторах, у них есть опора на дно полки (сразу же скажу, что дно провисать не будет — есть силовые элементы к которым оно крепится). От перегрева ничего не сгорит, хотя конечно дальний блок памяти действительно будет иметь режим гораздо хуже, чем передний.
В PCIe предполагаются адаптеры, ограниченные 25Вт мощности — сетевые контроллеры, SAS HBA/RAID или наш собственный адаптер для вывода PCIe через кабель (про него наверное отдельно напишем статью вскорости, там много интересных заморочек).
Нет, плата не предполагает подключение дополнительных нагрузок — сервер рассчитан на вполне определенный спектр применений, и GPU туда ставить никто не будет конечно же.
Для радиатора такое расположение, как на иллюстрации, является штатным, более того, на 90 градусов его разворачивать просто нельзя — боковые поверхности у него закрыты.
Да, конструкция конечно плотная. Моделирование по теплу для этой системы не делали, а в прошлом для этих целей обычно пользовались SolidWorks Flow Simulation.
Насчет охлаждения — сдували и больше, к тому же тут на нас работает то, что все источники тепла очень равномерно распределены по объему шасси. Пока верхняя оценка реального потребления где-то порядка 800Вт на 1U (1.6кВт на систему).
Теплоотвод зависит не только от площади поверхности, но и от наличия принудительного охлаждения например (не надо забывать, что в нашем случае система продувается вентиляторами). Кстати в плане площади поверхности полигоны в плате очень хороши — отношение площади к сечению очень велико.
В общем, как я уже говорил, конечно же эти вещи моделируются.
Не очень понятно, откуда именно 60 мм² получилось? Обычно в электротехнике принимают 10 А/мм² для медных проводов. Но даже если 25 мм² брать — конечно на плате никто такого сечения себе позволить не может. Все рассчитывается исходя из максимально допустимого нагрева полигонов (собственно в этом вопросе тепловыделение — единственное ограничение). Собственно, максимальные токи получаются по шинам питания процессоров — напряжение там низкое, меньше вольта, а ток огромный. Но и расстояние от VRM до процессора по плате смешное, так что это не очень большая проблема. Конечно все это требует моделирования, хотя бы потому, что недостаточно удачная сшивка полигонов переходными отверстиями может привести к большой неравномерности тока между переходушками и всяческие связанные с этим неприятности.
К сожалению про процессоры — это распространенное заблуждение. В OpenPOWER отдана слегка ограниченная версия процессора (из существенных моментов — только 4хDMI вместо 8 у «больших» и значительные ограничения по межпроцессорному интерконнекту).
Вообще для IBM OpenPOWER — это в первую очередь попытка поконкурировать с Intel в low-end (2-4S) сегменте, и попытка пока явно не сильно удачная. POWER9 в этом плане будет иметь больший успех (как минимум в HPC, поскольку будет поддерживать PCIe Gen4 и NVLINK).
Все же разница есть — E850 построен на «больших» POWER8.
AIX в рамках OpenPOWER недоступен насколько я понимаю. И мы в этом смысле не собираемся конкурировать с IBM. Скорее мы просто делаем сервер с определенными ключевыми преимуществами (поддерживаемый объем памяти, дисковая подсистема) — в том числе и по отношению к машинам с архитектурой x86. Основное позиционирование — IMC/IMDB приложения.
Да, сами. Как правило небольшой компьютер с обвязкой снаружи, необходимой для полноценного подключения данной конкретной платы. Вообще это, пожалуй, тема для отдельной статьи — надо будет подробнее описать как-нибудь.
Если мы про QC — то помимо стандартных процедур производителя мы на фабрике ставим свой стенд для финального тестирования перед упаковкой, который для производителя является полным black-box'ом и исключает любую возможность вмешательства и подтасовки результатов. Проверяются в целом только те вещи, которые направлены на оценку именно качества монтажа — что все компоненты работают, прошито все правильными прошивками и при этом ничего не забыли, плюс короткий цикл нагрузочных тестов (в условиях серийного производства ни одна фабрика не пойдет на длительные циклы тестирования).
Что-то Китай, что-то Тайвань. Попозже будем думать о локализации — в стадии разработки это пока не актуально (образцы гораздо проще паять «там»). В принципе все платы вполне можно монтировать и у нас — с точки зрения монтажа в России хватает вполне прилично оснащенных производств. Основная головная боль — необходимость закупки практически всех компонентов по BOM под конкретное изделие (в отличие от того же Китая, где наши EMS-партнеры имеют огромные стоки).
POWER8 есть разные, да, но есть один момент — в OpenPOWER зарелизен всего один вариант, сильно обрезанный относительно тех POWER8 что использует сам IBM в больших системах. Да, ядер может быть разное число (до 12), но систему с более чем четырьмя сокетами на нем не построить. А POWER9 в варианте OpenPOWER будет еще сильнее задушен кстати.
Мы очень плотно работаем с IBM, потому что мы первые, кто делает OpenPOWER-систему такой плотности (4 сокета и 32 DIMM на сокет). В нашем варианте все 4 сокета на одной плате, а вся память — на райзерах.
Что лишь подтверждает факт, что для профессионала инструмент — это просто инструмент, не он определяет качество (это к вопросу Altium vs Cadence vs Mentor).
На самом деле все проще — шестой слот нам ставить смысла нет поскольку даже с пятью все возможности процессоров по PCIe уже утилизированы на 100%. Для шестого слота пришлось бы ставить PCIe-свич где-то, чего совсем не хочется (да и места откровенно нет).
В PCIe предполагаются адаптеры, ограниченные 25Вт мощности — сетевые контроллеры, SAS HBA/RAID или наш собственный адаптер для вывода PCIe через кабель (про него наверное отдельно напишем статью вскорости, там много интересных заморочек).
Нет, плата не предполагает подключение дополнительных нагрузок — сервер рассчитан на вполне определенный спектр применений, и GPU туда ставить никто не будет конечно же.
Для радиатора такое расположение, как на иллюстрации, является штатным, более того, на 90 градусов его разворачивать просто нельзя — боковые поверхности у него закрыты.
Насчет охлаждения — сдували и больше, к тому же тут на нас работает то, что все источники тепла очень равномерно распределены по объему шасси. Пока верхняя оценка реального потребления где-то порядка 800Вт на 1U (1.6кВт на систему).
В общем, как я уже говорил, конечно же эти вещи моделируются.
Вообще для IBM OpenPOWER — это в первую очередь попытка поконкурировать с Intel в low-end (2-4S) сегменте, и попытка пока явно не сильно удачная. POWER9 в этом плане будет иметь больший успех (как минимум в HPC, поскольку будет поддерживать PCIe Gen4 и NVLINK).
AIX в рамках OpenPOWER недоступен насколько я понимаю. И мы в этом смысле не собираемся конкурировать с IBM. Скорее мы просто делаем сервер с определенными ключевыми преимуществами (поддерживаемый объем памяти, дисковая подсистема) — в том числе и по отношению к машинам с архитектурой x86. Основное позиционирование — IMC/IMDB приложения.
Мы очень плотно работаем с IBM, потому что мы первые, кто делает OpenPOWER-систему такой плотности (4 сокета и 32 DIMM на сокет). В нашем варианте все 4 сокета на одной плате, а вся память — на райзерах.