Для использования AMD-платформы необходимо адаптировать расчетный софт, ориентированный в первую очередь на Intel. Hyper Threading тоже нужно отключать, так как он неприемлем в классических HPC.
Также хотел бы дополнить, что мы строили решение на отечественных серверах, которые в первую очередь предпочитают использовать процессоры Intel, а AMD хоть и встречается, но пока достаточно редко.
А в целом платформы SuperMicro на базе AMD мы прекрасно используем в других проектах под задачи AI/ML/DL.
Добрый день! Да, можно строить интерконнект и на базе классического Ethernet, но все же в специализированных решениях для HPC скорость и задержки стоят на первом месте. У нас каналы утилизируются практически полностью - примерно 6 Гбайт/сек, при этом задержки ниже на порядок, в сравнении с обычными 10G коммутаторами, и составили у нас порядка 1 мкс. Также не забываем про то, что мы строили систему с заделом на дальнейшее масштабирование. И с Ангарой это сделать значительно проще в плане сохранения низких задержек в сети.
Что касается чипов, коммутаторов, карт и прикладного софта, то это все собственная разработка производителя. Насчет конкуренции с InfiniBand, в целом, это достойная замена FDR 56 Gb/s как по скорости, так и по задержкам. Ну и не забываем, что мы строили решение на базе отечественного оборудования, поэтому выбор был для нас очевиден.
В данном случае все накопители были от мировых производителей (не отечественного производства). Но при необходимости можно было бы собрать конфигурацию, в которой накопители SATA (SATA SSD 480 Gb и SATA SSD 240 Gb) были бы отечественного производства – GS Nanotech (упомянутый производитель из Калининграда) или производства компании ТМИ (с которой "Аквариус" также сотрудничает). Отечественных накопителей SATA емкостью 3.84 ТБ на данный момент нет, так же как нет отечественных накопителей с интерфейсом SAS.
В текущей регуляторике нет преференций для “более отечественной” продукции. Продукция или соответствует критериям, установленным Минпромторгом для официального признания ее отечественной, или не соответствует.
Сервер T50 D224CF (как и все семейство серверов CF от "Аквариуса") соответствует требованиям к отечественной продукции за счёт произведенных в РФ компонентов платформы – материнской платы, райзеров, бэкплейнов и т.д. "Аквариус" производит их на собственных заводах в Шуе и Твери. Таким образом, строгой необходимости в использовании именно отечественных накопителей информации нет – заказчик может сам решить, какие накопители он хочет использовать при заказе сервера: импортные или отечественные, и на “процент отечественности” это не повлияет.
Если вам необходима более полная информация по этому вопросу, предлагаю продолжить общение в почте — alzotov@k2.tech
На корзинах дисков (вернее на дисковых лотках – trays), конечно же, есть традиционная индикация. На каждом лотке по 2 светодиодных индикатора: правый светодиод – активность (зеленый) + статус (желтый), левый – ошибка (красный). Индикатор активности (зеленый) светится, когда в лотке присутствует накопитель и мигает при активности накопителя. Индикатор статуса (желтый) позволяет идентифицировать нужный диск – при подаче команды (например с аппаратного RAID-контроллера) индикатор начинает мигать, по-английски это обычно называется Locate. Индикатор ошибки (Fault) светится красным, когда идентифицированы проблемы с накопителем, при перестроении RAID (rebuild) мигает 1 раз в секунду.
Отвечая на вопрос про монтажные рельсы. Да, рельсы, которыми сервер комплектуется, по умолчанию выкатные на полную глубину и имеют поддержку кабель-органайзера (CMA – cable management arm). Из-за этого рельсы довольно длинные, и сервер штатно устанавливается только в серверный шкаф или стойку глубиной 1200 мм, т.к. в некоторых шкафах глубиной 1000 мм длинная задняя часть рельсов (предназначенная для крепления CMA) может мешать. Сам кабельный органайзер (CMA) по умолчанию в комплект не входит – это опция, которую можно заказать дополнительно. Также доступна опция заказа укороченных рельсов без поддержки CMA, с такими рельсами сервер можно ставить в шкафы от 1000 мм глубиной.
Я, наверное, скажу про многих производителей отечественных серверов, а не только Аквариус. Да, наши коллеги умеют проектировать материнские платы и на собственных заводах монтировать на текстолите всю компонентную базу. По программным компонентам тоже все выстраивается самостоятельно. Например, у Аквариуса существует версия BIOS'а, внесенная в Реестр отечественного ПО, в который невозможно попасть с продуктом, который не является результатом собственной разработки.
Так что да, я небезосновательно использую прилагательное "российский" применительно к серверному оборудованию.
Спасибо! Кажется, что ответом на все ваши вопросы может стать самостоятельная проверка. Сервер доступен в демо, готовы помочь с тестированием.
На самом деле тестирование серверов длится в среднем от 2 до 6 недель, так как мы проверяем их работу в различных кейсах (использование под платформы виртуализации, под частные облака, SDS, базы данных и т.д.). Если попробовать все разместить в статье, то получится очень сложный лонгрид, поэтому мы делимся только основными выводами и показателями. И, конечно же, мы делимся с коллегами всей информацией и расширенными отчетами.
Спасибо за ваш комментарий. Если вам не хватило какой-либо информации, пожалуйста, поделитесь. Я постараюсь учесть эти дополнения в моих следующих публикациях, если, конечно же, эта информация покажется мне интересной для всех.
Достаточно большое количество корпоративных заказчиков уже пришли к тому, что покупка отечественного оборудования и ПО — это как минимум защита своих инвестиций и возможность получать сопровождение и техническую поддержку на официально закупленное оборудование. Аквариус — один из самых зрелых производителей серверного оборудования на рынке, мы не могли не поделиться информацией об их решении.
Да, я в целом вижу, что многие вендоры только формируют свои базы знаний и документации (и не важно что это — платформа виртуализации, СРК или что-то другое), но я уверен, что это просто этап, который нужно пройти.
Если вспомнить, например, мощнейший китайский софт резервного копирования AISHU AnyBackup, то у них тоже нет публичного прайс-листа, а всю документацию вендор присылает по запросу. И я не сказал бы, что в этом есть что-то необычное.
Спасибо за упоминание статьи про импортозамещение, она действительно достаточно известная и многими цитируемая. Нужно понимать, что самостоятельно и в одиночку сейчас невозможно выпускать что-либо, не используя сторонние компоненты (примеров масса: автоматические коробки передач в автомобилях, экраны и процессоры в мобильных телефонах и т.д.).
Если посмотреть на комментарии регуляторов, то все же мы стремимся к технологическому суверенитету. И видна тенденция к ужесточению требований к российскому оборудованию и ПО.
На самом деле возможность приобрести платформу на рынке тоже имеется. Но наш сегмент — это корпоративные заказчики, которые ориентируются на полностью готовое решение с вендорской поддержкой на все компоненты, а не отдельные комплектующие.
Что касается открытых прайс-листов — они есть у некоторых поставщиков (легко загуглить). И, конечно же, они распространяются на определенные модели и набивку. Если мы смотрим на кастомные сборки, то даже за вендорским конфигуратором лучше проверять спеку вручную. У нас этим занимаются пресейл-инженеры.
Да по BIOS-ам много похожих решений и у отечественных, и у тех же китайских производителей.
Сейчас на рынке присутствует достаточно много решений по инфраструктурному мониторингу и управлению (DCI Manager, Bergen, Saymon и другие), которые могут закрыть все потребности. А с RedFish да, нужно учиться, это однозначно шаг вперед :)
На предмет цен я не готов дискутировать. Очень многое сейчас зависит от конфигурации, сроков поставки, наличии поддержки и ее уровня (к сожалению, тот же DL380 сейчас поддерживать можно только обходными путями), наличия записи в Реестре (да, не все российское оборудование там присутствует).
А что касается передачи прошивок, то имхо это общий тренд. Сейчас без активного контракта мало кто из производителей готов делиться патчами и обновлениями.
Что-то меняется, что-то нет. Тот же AMIBIOS был в моих первых домашних ПК в начале 90-х.
Да и если смотреть на развитие продуктов, то сейчас мы видим мощный рывок от отечественных производителей, так как спрос повысился и пришли крупнейшие заказчики с завышенными требованиями. А гонку выиграет тот, кто первым удовлетворит эти запросы.
Я в целом уже не представляю себе заказчика без внедренной системы инфраструктурного мониторинга (решений достаточно как Open Source, так и отечественных).
А что касается техподдержки, то она попала в графу "с замечаниями", только потому что мы снизили ее оценку за отсутствие портала самообслуживания для заказчиков.
По настройке BMC особо вопросов не было, про все моменты, что меня смутили, рассказал в статье.
Следов пайки нет, хотя мы очень любим изучать внутренности тестируемого оборудования. Во-первых, с точки зрения простоты ремонта, а во-вторых, чтобы поискать "ноу-хау", которые используют производители и что не увидишь в привычных Dell/HPE.
Я уже как-то писал, что в современном мире или очень сложно, или очень дорого выпускать все полностью самостоятельно. Поэтому во всех производствах и оценивается так называемый процент локализации. Понятно, что условный процессор быстро не заместить, но в целом радует, что в отечественных серверах все больше наших компонентов.
С поддержкой и ценами, по моему мнению, все в порядке.
Во-первых, мы предоставляем нашим заказчикам сервисную поддержку. У нас команда инженеров с многолетним опытом обеспечения саппорта для ключевых заказчиков в режиме 24*7 с жестким SLA. Мы формируем свои склады ЗИП, у нас круглосуточно доступна группа дежурных инженеров. Поэтому, я бы сильно не беспокоился. Партнеры отлично закрывают практически все запросы заказчиков.
Во-вторых на самом деле все вендоры на рынке находятся в плюс-минус одинаковых условиях. Но тут все-таки преимущество в наличии прямых поставок и прямой вендорской поддержки. Это важно для наших заказчиков.
Для использования AMD-платформы необходимо адаптировать расчетный софт, ориентированный в первую очередь на Intel. Hyper Threading тоже нужно отключать, так как он неприемлем в классических HPC.
Также хотел бы дополнить, что мы строили решение на отечественных серверах, которые в первую очередь предпочитают использовать процессоры Intel, а AMD хоть и встречается, но пока достаточно редко.
А в целом платформы SuperMicro на базе AMD мы прекрасно используем в других проектах под задачи AI/ML/DL.
Добрый день! Да, можно строить интерконнект и на базе классического Ethernet, но все же в специализированных решениях для HPC скорость и задержки стоят на первом месте. У нас каналы утилизируются практически полностью - примерно 6 Гбайт/сек, при этом задержки ниже на порядок, в сравнении с обычными 10G коммутаторами, и составили у нас порядка 1 мкс. Также не забываем про то, что мы строили систему с заделом на дальнейшее масштабирование. И с Ангарой это сделать значительно проще в плане сохранения низких задержек в сети.
Что касается чипов, коммутаторов, карт и прикладного софта, то это все собственная разработка производителя. Насчет конкуренции с InfiniBand, в целом, это достойная замена FDR 56 Gb/s как по скорости, так и по задержкам. Ну и не забываем, что мы строили решение на базе отечественного оборудования, поэтому выбор был для нас очевиден.
В данном случае все накопители были от мировых производителей (не отечественного производства). Но при необходимости можно было бы собрать конфигурацию, в которой накопители SATA (SATA SSD 480 Gb и SATA SSD 240 Gb) были бы отечественного производства – GS Nanotech (упомянутый производитель из Калининграда) или производства компании ТМИ (с которой "Аквариус" также сотрудничает). Отечественных накопителей SATA емкостью 3.84 ТБ на данный момент нет, так же как нет отечественных накопителей с интерфейсом SAS.
В текущей регуляторике нет преференций для “более отечественной” продукции. Продукция или соответствует критериям, установленным Минпромторгом для официального признания ее отечественной, или не соответствует.
Сервер T50 D224CF (как и все семейство серверов CF от "Аквариуса") соответствует требованиям к отечественной продукции за счёт произведенных в РФ компонентов платформы – материнской платы, райзеров, бэкплейнов и т.д. "Аквариус" производит их на собственных заводах в Шуе и Твери. Таким образом, строгой необходимости в использовании именно отечественных накопителей информации нет – заказчик может сам решить, какие накопители он хочет использовать при заказе сервера: импортные или отечественные, и на “процент отечественности” это не повлияет.
Если вам необходима более полная информация по этому вопросу, предлагаю продолжить общение в почте — alzotov@k2.tech
На корзинах дисков (вернее на дисковых лотках – trays), конечно же, есть традиционная индикация. На каждом лотке по 2 светодиодных индикатора: правый светодиод – активность (зеленый) + статус (желтый), левый – ошибка (красный).
Индикатор активности (зеленый) светится, когда в лотке присутствует накопитель и мигает при активности накопителя. Индикатор статуса (желтый) позволяет идентифицировать нужный диск – при подаче команды (например с аппаратного RAID-контроллера) индикатор начинает мигать, по-английски это обычно называется Locate. Индикатор ошибки (Fault) светится красным, когда идентифицированы проблемы с накопителем, при перестроении RAID (rebuild) мигает 1 раз в секунду.
Отвечая на вопрос про монтажные рельсы. Да, рельсы, которыми сервер комплектуется, по умолчанию выкатные на полную глубину и имеют поддержку кабель-органайзера (CMA – cable management arm). Из-за этого рельсы довольно длинные, и сервер штатно устанавливается только в серверный шкаф или стойку глубиной 1200 мм, т.к. в некоторых шкафах глубиной 1000 мм длинная задняя часть рельсов (предназначенная для крепления CMA) может мешать. Сам кабельный органайзер (CMA) по умолчанию в комплект не входит – это опция, которую можно заказать дополнительно. Также доступна опция заказа укороченных рельсов без поддержки CMA, с такими рельсами сервер можно ставить в шкафы от 1000 мм глубиной.
Я думаю, что ответы мои достаточно развернуты. Если есть желание, то всегда можно прийти к нам лично, моя почта — alzotov@k2.tech
И в целом я уверен, что все читатели, как и я, поддерживают развитие отечественных производителей и их продуктов.
Я, наверное, скажу про многих производителей отечественных серверов, а не только Аквариус. Да, наши коллеги умеют проектировать материнские платы и на собственных заводах монтировать на текстолите всю компонентную базу. По программным компонентам тоже все выстраивается самостоятельно. Например, у Аквариуса существует версия BIOS'а, внесенная в Реестр отечественного ПО, в который невозможно попасть с продуктом, который не является результатом собственной разработки.
Так что да, я небезосновательно использую прилагательное "российский" применительно к серверному оборудованию.
Спасибо! Кажется, что ответом на все ваши вопросы может стать самостоятельная проверка. Сервер доступен в демо, готовы помочь с тестированием.
На самом деле тестирование серверов длится в среднем от 2 до 6 недель, так как мы проверяем их работу в различных кейсах (использование под платформы виртуализации, под частные облака, SDS, базы данных и т.д.). Если попробовать все разместить в статье, то получится очень сложный лонгрид, поэтому мы делимся только основными выводами и показателями. И, конечно же, мы делимся с коллегами всей информацией и расширенными отчетами.
Спасибо за ваш комментарий. Если вам не хватило какой-либо информации, пожалуйста, поделитесь. Я постараюсь учесть эти дополнения в моих следующих публикациях, если, конечно же, эта информация покажется мне интересной для всех.
К счастью, это не так. Рекомендую ознакомиться с линейками оборудования наших ведущих производителей.
Достаточно большое количество корпоративных заказчиков уже пришли к тому, что покупка отечественного оборудования и ПО — это как минимум защита своих инвестиций и возможность получать сопровождение и техническую поддержку на официально закупленное оборудование. Аквариус — один из самых зрелых производителей серверного оборудования на рынке, мы не могли не поделиться информацией об их решении.
Да, я в целом вижу, что многие вендоры только формируют свои базы знаний и документации (и не важно что это — платформа виртуализации, СРК или что-то другое), но я уверен, что это просто этап, который нужно пройти.
Если вспомнить, например, мощнейший китайский софт резервного копирования AISHU AnyBackup, то у них тоже нет публичного прайс-листа, а всю документацию вендор присылает по запросу. И я не сказал бы, что в этом есть что-то необычное.
Спасибо за упоминание статьи про импортозамещение, она действительно достаточно известная и многими цитируемая. Нужно понимать, что самостоятельно и в одиночку сейчас невозможно выпускать что-либо, не используя сторонние компоненты (примеров масса: автоматические коробки передач в автомобилях, экраны и процессоры в мобильных телефонах и т.д.).
Если посмотреть на комментарии регуляторов, то все же мы стремимся к технологическому суверенитету. И видна тенденция к ужесточению требований к российскому оборудованию и ПО.
На самом деле возможность приобрести платформу на рынке тоже имеется. Но наш сегмент — это корпоративные заказчики, которые ориентируются на полностью готовое решение с вендорской поддержкой на все компоненты, а не отдельные комплектующие.
Что касается открытых прайс-листов — они есть у некоторых поставщиков (легко загуглить). И, конечно же, они распространяются на определенные модели и набивку. Если мы смотрим на кастомные сборки, то даже за вендорским конфигуратором лучше проверять спеку вручную. У нас этим занимаются пресейл-инженеры.
Да по BIOS-ам много похожих решений и у отечественных, и у тех же китайских производителей.
Сейчас на рынке присутствует достаточно много решений по инфраструктурному мониторингу и управлению (DCI Manager, Bergen, Saymon и другие), которые могут закрыть все потребности. А с RedFish да, нужно учиться, это однозначно шаг вперед :)
На предмет цен я не готов дискутировать. Очень многое сейчас зависит от конфигурации, сроков поставки, наличии поддержки и ее уровня (к сожалению, тот же DL380 сейчас поддерживать можно только обходными путями), наличия записи в Реестре (да, не все российское оборудование там присутствует).
А что касается передачи прошивок, то имхо это общий тренд. Сейчас без активного контракта мало кто из производителей готов делиться патчами и обновлениями.
Что-то меняется, что-то нет. Тот же AMIBIOS был в моих первых домашних ПК в начале 90-х.
Да и если смотреть на развитие продуктов, то сейчас мы видим мощный рывок от отечественных производителей, так как спрос повысился и пришли крупнейшие заказчики с завышенными требованиями. А гонку выиграет тот, кто первым удовлетворит эти запросы.
Я в целом уже не представляю себе заказчика без внедренной системы инфраструктурного мониторинга (решений достаточно как Open Source, так и отечественных).
А что касается техподдержки, то она попала в графу "с замечаниями", только потому что мы снизили ее оценку за отсутствие портала самообслуживания для заказчиков.
По настройке BMC особо вопросов не было, про все моменты, что меня смутили, рассказал в статье.
Следов пайки нет, хотя мы очень любим изучать внутренности тестируемого оборудования. Во-первых, с точки зрения простоты ремонта, а во-вторых, чтобы поискать "ноу-хау", которые используют производители и что не увидишь в привычных Dell/HPE.
Я уже как-то писал, что в современном мире или очень сложно, или очень дорого выпускать все полностью самостоятельно. Поэтому во всех производствах и оценивается так называемый процент локализации. Понятно, что условный процессор быстро не заместить, но в целом радует, что в отечественных серверах все больше наших компонентов.
С поддержкой и ценами, по моему мнению, все в порядке.
Во-первых, мы предоставляем нашим заказчикам сервисную поддержку. У нас команда инженеров с многолетним опытом обеспечения саппорта для ключевых заказчиков в режиме 24*7 с жестким SLA. Мы формируем свои склады ЗИП, у нас круглосуточно доступна группа дежурных инженеров. Поэтому, я бы сильно не беспокоился. Партнеры отлично закрывают практически все запросы заказчиков.
Во-вторых на самом деле все вендоры на рынке находятся в плюс-минус одинаковых условиях. Но тут все-таки преимущество в наличии прямых поставок и прямой вендорской поддержки. Это важно для наших заказчиков.