Что мы знаем о серверах высокой плотности

    Блейд-сервера RLX Technologies

    Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).

    Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.

    Блейд-сервера (Blade)


    На Западе мест размещения серверов в ЦОД’ах уже давно не хватает. Поэтому неудивительно, что сервера высокой плотности впервые появились там. Пионером была компания RLX Technologies, которая в 2000 году разработала систему, умещающую в 3U 24 лезвия. Основные заказчики этих первых Blade-серверов были вояки и NASA. Далее этот startup был куплен HP. Но самое главное было сделано — был создан сервер высокой плотности.

    За пионерами последовали и гиганты: Intel, IBM, HP. Далее — DELL, SUN, Supermicro, Fujitsu, Cisco, HDS и др.

    Основные отличия Blade-систем от RACK-серверов, помимо высокой плотности, заключается в интеграции серверов с сопутствующей инфраструктурой: сети, мониторинг, управление, охлаждение и электропитание. Всё это расположено в одной коробке и по возможности обладает элементами отказоустойчивости. Объединяющим элементом является BackPlane – системная плата, обычно пассивная. К ней подключаются все элементы Blade-системы. Место, занимаемое в шкафу, варьируется от 3U до 10U. Самыми высокоплотными решениями являются HP Blade и DELL PowerEdge – 3,2 сервера на 1U. Практически все производители делают сервера только на процессорах семейства x86/x64. Но существуют также и решения на RISC, MIPS и ARM процессорах.

    Кстати, в решении RLX Technologies плотность серверов была выше. Это обусловлено тем, что в нем использовались одноядерные процессора Celeron, которые сейчас используются в основном только лишь для настольных тонких клиентов. Понятно, что тепловыделение современных процессоров гораздо выше, и именно это пока не позволяет увеличивать плотность в современных решениях.

    В чем преимущества блейд-серверов? Давайте выделим основные моменты:
    1. Всё расположено в одном корпусе-шасси.
    2. Система мониторинга и управления обладает расширенными функциями по сравнению с RACK-серверами.
    3. Наличие нескольких типов сетей в каждом сервере-лезвии. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), FibreChannel (2Gb/s, 4Gb/s, 8Gb/s, 16Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
    4. Встроенные элементы охлаждения и электропитания обладают элементами отказоустойчивости.
    5. Горячая замена всех сменных компонентов.
    6. Возможность организации встроенной дисковой системы хранения данных для всех установленных серверов-лезвий.
    7. Плотность размещения в шкафу.

    В чем слабые стороны? Основные недостатки, которые видятся мне существенными:
    1. Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
    2. Ограничение по расширению конфигураций сервера-лезвия.
    3. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
    4. Ограниченность одновременного использования сетевых интерфейсов.
    5. Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
    6. Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
    7. Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
    8. Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).

    Рассмотрим структуру Blade системы на примере решения от компании Dell. Это Dell PowerEdge M1000e.

    Сервер высокой плотности Dell PowerEdge M1000e

    Сервера-лезвия могут иметь от двух до четырёх процессоров. В зависимости от количества и типа процессоров в одно шасси можно установить от 8 до 32 лезвий-серверов. Каждое лезвие-сервер может иметь интерфейсы 1GbE, 10GbE, 8Gb/s FC, IB DSR, DDR, QDR, FDR. Базово имеются порты 1GbE.

    В зависимости от размера лезвий, количество устанавливаемых мезонинных модулей интерфейсов может быть один или два. Каждый из мезонинных модулей может иметь четыре порта 1GbE или два порта любых других интерфейсов.

    Для организации отказоустойчивой схемы в шасси коммутаторы устанавливаются парами. Возможно установить три пары коммутаторов. Каждая пара должна состоять из одинаковых коммутаторов. Соответственно, могут быть различные комбинации:
    • Первая пара (A) 1GbE;
    • Вторая пара (B) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR);
    • Третья пара (С) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR).

    Так же для отказоустойчивости устанавливаются два модуля удалённого мониторинга и управления. Данные модули позволяют удалённо управлять любым лезвием. От включения, настройки BIOS’а, выбора источника загрузки, установки ОС как с внутреннего носителя, так и с локального носителя администратора до предоставления полноценного удалённого доступа к KVM.

    Одним из вариантов загрузки, является загрузка с SD карточки. Таких карточек в лезвии можно установить две и иметь возможность загружаться с любой. Так же возможно их объединить в зеркало.

    Единственным модулем, не имеющий резервирования, является модуль KVM. Но отказ этого модуля не отменяет возможности подключения и управления через сеть.

    При использовании лезвий M420 плотность серверов на 1U равна 3,2 сервера.

    Лезвия сервера M420

    TWIN-сервера


    Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN. Данная технология была разработана в компании Intel и для продвижения на рынок передана компании Supermicro в 2006 году. Первые TWIN-сервера появились в 2007 году. Это был 1U’шный двухсерверный конструктив с одним блоком питания, где все коммутационные разъёмы были выведены на тыловую часть серверов.

    Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN

    Данная компоновка за эти шесть лет получила признание, и линейка сильно расширилась. Сейчас доступны 1U, 2U и 4U TWIN-сервера с возможностью установки от 2-х до 8-ми двухсокетных серверов. У некоторых производителей появились варианты с размещением вместо двух двухсокетных серверов одного четырёхсокетного. Основные плюсы и минусы перечислю ниже.

    Плюсы TWIN-серверов:
    1. Всё расположено в одном корпусе-шасси.
    2. Наличие нескольких типов сетей в каждом сервере. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
    3. Встроенные элементы охлаждения и электропитания в ряде моделей обладают элементами отказоустойчивости.
    4. В ряде TWIN-серверов горячая замена всех сменных компонентов.
    5. Использование стандартных PCI-e плат расширения.
    6. Возможность организации встроенной дисковой системы хранения данных.
    7. Плотность размещения в шкафу.
    8. Цена ниже, чем Blade и RACK сервера.

    Минусы:
    1. Требуется наличие внешних сетевых коммутаторов.
    2. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
    3. В ряде случаев ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
    4. При полной забивке шкафа TWIN-серверами повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
    5. Плотность размещения серверов ниже, чем у блейдов.

    Как мы видим из плюсов-минусов, TWIN-сервера и блейд-сервера являются скорее не конкурентами, а органичным дополнением друг друга.

    Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии. Они представляют собой 2U’шный конструктив с двумя БП и возможностью установить два, три или четыре модуля-сервера. В каждый сервер можно установить две или три платы расширения с интерфейсом PCI-e.

    Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии

    Микросервера


    Наш рассказ будет не полным, если мы не расскажем о последних веяниях конструктивов серверов для ЦОД’ов. Речь пойдет о микросерверах. Это односокетные сервера с минимизацией размеров и электропотребления. Рассчитывать на серьёзные характеристики по производительности не стоит. Одним из представителей этого вида серверов является сервер компании Supermicro, представленный на рисунке.

    Микросервера могут быть применимы в качестве альтернативы виртуализации

    Как видно из рисунка, плотность данного решения равна уже 4 сервера на 1U. Возникновение данного класса серверов продиктовано невысокими требованиями к серверам для большинства приложений, используемых клиентами. Микросервера могут быть применимы в качестве альтернативы виртуализации. Когда какое-либо приложение не рекомендуется виртуализовывать по тем или иным причинам. Небольшие микросервера также подойдут для типовых невысоконагруженных офисных задач.

    Вывод


    Я постарался не углубляться в детали каждого отдельно взятого производителя. Эти детали можно изучить непосредственно на сайтах этих производителей.

    Сделать однозначный вывод о том, какое из описанных выше решений подойдет наилучшим образом для конкретного заказчика, сложно. Так, например, плотность блейд-серверов гораздо выше, чем у TWIN-серверов, что позволяет разместить большее количество серверов на минимуме места. С другой стороны латентность модулей 10GbE для блейд-корзины может быть выше, чем латентность PCIe карточки 10GbE для TWIN-серверов. Или, пиковая производительность процессоров в высокоплотных Blade-серверах ниже, чем у процессоров в TWIN решениях. Но утверждать о преимуществах одного высокоплотного решения над другим можно только исходя из конкретной задачи. Готовы поделиться своим мнением с интересующимися, рассматривая их конкретные задачи.
    ИТ-ГРАД 423,81
    vmware iaas provider
    Поделиться публикацией
    Комментарии 44
      0
      Хочу микроссервер с поддержкой mSATA, да и вообще для многих задач достаточно mSATA флешки на несколько гигов для загрузки.
      Да, знаю что IBM и некоторые другие давно ставят CF, но мне вариант с mSATA нравится намного больше. Но пока опс, не делают :(
        0
        Для установки модуля mSATA необходимо выполнение трёх условий: наличие разъёма SATA на MB, возможность подвести питание к модулю mSATA и размеры модуля mSATA. Для питания, обычно с модулями продаются кабель-переходник для подключения к обычным разъёмам компьютера.
        Поэтому можно сказать, что существующие решения микросерверов уже поддерживают такую возможность с некоторыми оговорками конкретных реализаций.
          0
          Уже давно ставят обычные порты USB и туда обычную флешку. Ещё как вариант ставят microsd-флешки. Для загрузки и логов вполне хватает.
            0
            Ага, только вот в гражданских мамках начали msata вместо этого ставить. Оч удобно, особенно для домашнего сервера…
              0
              mSATA там для установки SSD, используемого в Intel Smart Response.
                0
                Не обязательно :) обычный диск, используй как хочешь :) я ось поставил и всё :)
              0
              ESXi логи на флешку не пишет.
                0
                А где я про esxi что то говорил? Или эти флешки только для этого можно юзать?
                  0
                  Штатно только он идёт на флешках.
                    0
                    Хм, они вообще пустые идут, да и никто не мешает купить их в ближайшем киоске и поставить туда что хочешь.
            0
            Првильно я понял, в продукте RLX Technologies было 24 ядра, а в аналогичном 3U от Dell будет 9 серверов по 2-4 ядра каждый (если туда можно ставить quad-core процессоры)? Существует хоть на пальцах сравнение производительности?
              0
              И ДА и НЕТ. Если говорить о суммарной пиковой, то наверное ДА. Если разбираться по существу вопроса эффективности применения вычислительных узлов в кластерном варианте исполнения суперкомпьютера, то Всё значительнее запутаннее. Я бы заплатил за один сервер с нормальными процами, чем городил кластер из микросерверов.
              Микросервера не для серьёзных HPC реализаций.
                0
                Если говорить о пиковой производительности процессоров, то Первые процессоры имели не более двух операций за такт, тактовая частота была крайне мала. Сейчас мы начинаем сравнивать с процами, у которых поддерживается 8 операций за такт с большей частотой большим количеством ядер. Так что можно сказать, что в пиковом варианте одно сегодняшнее лезвие обскочит полное шасси первого Blade’а.
                  0
                  Просто для сравнения, в Azure за условный compute hour считается как раз час работы одного ядра c частотой 1.6 Ghz, и это точно не ядро современных Xeon 7xxx. Более того, эксперимент показал, что в Small Computing Instance оно по скорости как 75% от одного ядра старенького Xeon 5130, значит в облаках используют подход «больше плотность, меньше производительность»? Или это только Azure, да и то, лишь в Small Instance?
                    0
                    Задавая эти вопросы, Вы уходите несколько в другую область. Это эффективность процессоров, архитектуры MB, архитектуры и комплектации вычислительной нолы, архитектуры кластера и применённых технологий в его реализации. Это так сильно перевязано, что надо копать слишком глубоко и дна всё равно не достать без сборки двух стендов и выработки методики испытаний. Это сделать практически невозможно из-за необходимости привлечения ресурсов, занятых добыванием хлеба насущного. Поэтому оставим Этот вопрос без однозначного ответа. Могу сказать только одно, всё зависит от Задачи. И вряд ли все компоненты возможного решения резиново бесконечны :-).
                +1
                Ввели недавно в эксплуатацию супермикру указанную в статье, довольно двоякие чувства. 4 сервера на 1u это конечно приятно, но вот из минусов:
                -Очень тяжело найти память. Нужна низкопрофильная ЕСС не регистровая. На самом сайте супермикры в разделе подходящей памяти только две планки подходящие к ней, обе от Hynix на 4 и 8Гб. Не без геморроя получилось найти по 4гб, на 8 найти в России так и не вышло. Были найдены подходящие по характеристикам планки от lenovo и ibm, но цены наводят на мысль что они позолоченные.
                -Конструкция. Не совсем понятно почему они в этой модели сделали так чтобы ноды вставлялись спереди. В итоге если в каждый сервер идут оба линка+квм то получается хвост из 36 линков которые надо до свитчей довести которые как правило сзади стойки. А еще и два провода питания. Выходит либо приходится над ней или под ней оставлять один юнит свободный в который это хвост зайдет, и тогда это уже не 4 сервера на 3u. Либо в зависимости от типа стойки колхозить кабель канал спереди и вести над стойкой или под стойкой. Уши все таки можно перевесить и разобравшись развернуть вентиляторы и сделать так чтобы перед и зад поменялись местами, но по какой то причине мы сочли это более нецелесообразным чем терять 1u под хвост проводов.
                  0
                  Пути микры неисповедимы :-). Но всё же они стараются. Такого обилия вариантов нет более ни у одного производителя.
                  Что касается модулей памяти, то этот вопрос надо решать напрямую с дисти и вендором. И будет Вам счастье.
                    0
                    Их на заводе нет, а Вы про дистриков :).
                      0
                      Модули дорогие. Производителям делать их накладно. Из-за пары тройки модулей связываться обычно не желают. Это правда :-(. Поэтому надо покупать сразу много таких платформ и к ним партию модулей :-). На самом деле, купить такие модули можно. Исходя из Вашего опыта – не у всех они могут быть. Просто не повезло. Не напали на нужную компанию.
                    +1
                    8u удачнее получились имхо.
                      0
                      Согласен, гораздо удобней когда сзади вставляются ноды а спереди корзины с дисками, а не все сразу на одной длинной железке. И никакого гемороя с памятью которой практически нет. Менеджер одной из фирм сказал что kingston начнет поставлять такую память и будет называться она KVR13E9L/4, но они только запустили производство и будет она еще не скоро. Незнаю насколько его информация актуальна. Однако экономически выгодней получается вариант в статье, и соотношение серверов на 1u больше, и можно 4 2.5'' вставить, и вроде в отличии от 8-ми нодового не требуется переходники для 2.5'' отдельно докупать.
                    +1
                    Неправда ваша, самые высокоплотные — отнюдь не HP и Dell. Самое плотное решение известное мне на данный момент — у Т-Платформ, T-Blade-2. Оно позволяет разместить в 7U 16 плат по 2 двухпроцессорных сервера на плате. То есть 32 2х-процессорных сервера в 7U. Это дает коэффициент плотности — 4.5 сервера на 1U, или чуть более 9 процессоров на 1U, что точнее.
                    www.t-platforms.ru/images/pdfblade2_products_RUS/TB2%20%D0%A2%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE.pdf
                      0
                      «Оно позволяет разместить в 7U 16 плат по 2 двухпроцессорных сервера на плате. То есть 32 2х-процессорных сервера в 7U.»
                      Не очень понятно, откуда из 16-ти плат получилось 32 сервера?

                      Сорри. Поперек читаю…
                        0
                        Да, в T-Blade-2 32 2-х процессорных сервера, но посмотрите на ограничения. Что действительно там классно, так это отдельный управляющий модуль (развитая идея ИПС РАН). Если говорить формально, то, конечно, у Т-Платформ что-то сделано. Но надо также смотреть и на архитектуру решения и на ее распространённость. Если рассматривать альтернативные решения, то необходимо говорить и о Cray, и о IBM, и о SGI… Можно поговорить и о спецрешении для интернет-компаний. В России такие технологии применены, например, в Yandex’е. Там плотность ещё выше. В рамках этого же поста предлагаю остановиться на общедоступных решениях, производители которых обеспечивают мировую гарантию.
                          0
                          huawei предлагает 5 процессоров на юнит. Утверждает, что это самое плотное решение. Процессоры E5-4600.
                          enterprise.huawei.com/en/products/itapp/server/e-series-blade-server/hw-149397.htm
                            0
                            Это решение для HPC я бы использовать не стал бы. Даже если не брать во внимание отсутствие поддержки Infiniband, в данном решении слишком много вопросов. Например:
                            — 3 канала на сокет при возможности CPU иметь 4 канала.
                            — Невозможность организации толстого дерева для FC и 10GbE (кроме NX226, да и то в HPC это очень узко можно использовать).
                            — Процессоры E5-4600 достаточно горячие. Плотность очень высокая. Установить туда процы с разумной производительностью невозможно. Это офисно-облачный вариант для экзотики.
                              0
                              dl.dropbox.com/u/15877830/Screen/forum/habr/huawei.PNG
                              When configured with two processors, the BH640 V2 supports a maximum of 12 DIMMs.
                              When configured with four processors, the BH640 V2 supports a maximum of 24 DIMMs.
                              Each processor comes with two memory channels, and each channel supports three DIMMs.

                              Могу согласиться, что если требуется максимум производительности, то это не лучшая система. Однако мне кажется, это все равно достаточно интересная модель, например, для высокоэффективной виртуализации.
                        0
                        Т-платформы… Извиняюсь за оффтоп, но им явно необходимо расстрелять пару манагеров. Когда я с ними связывался после Russia Superсomputing Conference… Меня заваливали обещаниями о сотрудничестве и т.д. Но так и не прислали ответ на запрос. Позвонил опять — начали дико извиняться, договорились что скину список оборудования (весьма подробный) аналоги которого мне хотелось бы увидеть с их стороны, позвонил — сказали, что получили и что через день — два вышлют свое предложение. Итог: Все это происходило в ноябре прошлого года, а ответа жду до сих пор…
                          0
                          Они так могут :) Наверное у вас кластер предполагался маленький. Не МГУ :)))
                            0
                            Ну как..) Оборудования на целый цод) а то и на 6 :D
                        0
                        А у вас есть… нечто на подобии IBM x3850? с точки зрения надежности (в х3850 были применены некоторые фишки от мейнфреймов), чтобы можно было подойти выдернуть 1 из 2 камней при работе, и все продолжало работать естественно с потерей общей мощности (чудес, то не бывает). Так же интересует ситуация с FC… мезонинные модули чьи для блейдов? С какими вендорами они полностью совместимы?
                          0
                          Вопрос конструктивного исполнения серверов для получения каких-либо дополнительных возможностей (в вашем случае выдергивания CPU на «горячую») интересен сам по себе. Но, скажите, пожалуйста, Вы будете дёргать CPU во время боевого режима? Я при любых раскладах буду выполнять работы с целой вычислительной нодой, отключив её от кластера и обесточив.
                          Для примера, вспомните прекраснейшую компанию DEC. До сих пор её новаторские идеи баламутят компьютерный мир. Они первые, кто в серверах x86 применили горячую замену PCI-карточек. Кто-то реально этим воспользовался? Но в требованиях на тендер это прописывали.

                          Что касается элементов надёжности, то наверное IBM серьёзней всех подходит к вопросу. Но и они начали отказываться от дублирования в Blade-решениях. Мы сможем предложить альтернативный вариант решения на базе Dell, но прошу дать время до завтра на подготовку. Оставьте свой емейл в личке.

                          Кто из производителей занимается FC? Это Brocade, QLogic, Emulex, CISCO. Эти же компании делают мезонинные модули по заказу и форм-фактору компаний, выпускающих сервера. Совместимы они с теми же вендорами, но по спецификации производителя серверов. Чудес, как Вы правильно выразились, не бывает.
                            0
                            Есть такой сервер у компании NEC, модель A1080. Данный функционал называется MCA Recovery.
                            www.nec.com/en/global/prod/express/scalable/a1080a/index.html
                              0
                              Гляньте Fujitsu Primequest:
                              www.fujitsu.com/fts/products/computing/servers/mission-critical/primequest-1800e2/index.html
                              Насколько я понял, там материнки на бекплейне с горячей заменой, возможно это заинтересует.
                              +2
                              Забросаем лектора какашками? (с) Мадагаскар

                              В чем слабые стороны? Основные недостатки, которые видятся мне существенными:
                              1.Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами
                              .
                              А если добавить к рековым серверам 2 KVM, 2 Ethernet Switch-а, SAN свитч, то как по цене получится???

                              2.Ограничение по расширению конфигураций сервера-лезвия.
                              Что имеется в виду? 16 димов памяти, 2 сокета, бортовой Ethernet адаптер + 2 мезенина это мало для половииного лезвия?

                              3.Невозможность отторжения сервера-лезвия как самостоятельной единицы.
                              Типа вынести в отдельную комнату и включить в розетку? Так не для этого его и делали.

                              4.Ограниченность одновременного использования сетевых интерфейсов.
                              А можно более подробно? а то я что то никак не пойму что имелось в виду…

                              5.Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
                              а что такое неблокирующаяся сеть?

                              6.Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
                              Кто вам такое сказал? В двухсокетной системе прекрасно работают Intel® Xeon® E5-2690 Kit ( 2.90GHz/8-core/20MB/ 135W)

                              7.Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
                              Так и задумывалось. Вы же не ставите в мерседес запчасти от жигулей.

                              8.Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
                              Они не повышенные, они адекватные.
                                0
                                1. Не во всех представленных решениях присутствуют перечисленные вами девайсы. Но заметка в тему. В блейдах сложно встретить одновременно все самые эффективные компоненты из вашего списка. Естественно, что любой суперкомпьютер получается сборищем компромиссов.
                                2. Перечислите виды мезонинных модулей. Сравните их характеристики с аналогичными платами PCI-e. Добавьте ограничения по количеству портов встраиваемых коммутаторов. Возможность установки специализированных плат в нужном количестве… Разве это не ограничения?
                                3. А отлаживать и ремонтировать как?
                                4. А вы пробовали иметь следующие интерфейсы сразу в одном шасси: FC, 10GbE, Infiniband? И это далеко не весь список возможных желаний конструктора HPC.
                                5. Большинство встраиваемых коммутаторов имеют больше портов внутрь, чем наружу. Все лезвия одновременно пойти во вне не могут.
                                6. Пожалуйста, поподробнее. В каком решении и какой плотности это возможно? Водянку не берем — слишком специфична.
                                7. Но всё же это минус :-)
                                8. Если стандартные ЦОД’ы задумываются на мощность 6-10кВт, то высокоплотные решения могут потребовать и 50кВт. Да, они адекватные, но все же повышенные относительно привычных требований.
                                  +1
                                  По поводу мезанинов — у хитачи есть блейды, к которым подключается отдельная корзина для PCI-e плат — ставь чего хочешь в каких хочешь объёмах, очень они этим решением гордятся :)
                                    0
                                    6. Вот HP, к примеру:
                                    HP BL685c — Opteron 6380 / 115W
                                    HP BL680c — Xeon E7-4870 / 130W
                                    HP BL460c — Xeon E5-2680/Xeon E5-2667 / 130W
                                    HP BL660c — Xeon E5-4650/Xeon E5-4617 / 130W
                                    HP BL620c — Xeon E7-2870/Xeon E7-2860/Xeon E7-2850 / 130W
                                      0
                                      5. Большинство встраиваемых коммутаторов имеют больше портов внутрь, чем наружу. Все лезвия одновременно пойти во вне не могут.
                                      Где об этом почитать подробнее, касаемо именно этой системы M1000E?
                                    0
                                    А если говорить по теме поста, то вот, что сделал hp в этом направлении
                                    habrahabr.ru/company/hp/blog/132733/
                                      0
                                      Интересный пример микросерверов. Правда код x86-x64 эти сервера никогда не поймут. :-(
                                      Да и сеть сильно потеснит их в шкафу (реально сейчас доступны около 64 порта на 1U). Нереалистичные маркетинговые данные.
                                      0
                                      Смотрим тут h18013.www1.hp.com/products/blades/components/enclosures/c-class/c7000/

                                      Interconnects

                                      Ethernet
                                      HP 1/10Gbit Virtual Connect Ethernet Module
                                      Virtual Connect Flex-10 Ethernet Module
                                      HP 1Gb Ethernet Pass-Thru Module
                                      CISCO Catalyst Blade Switch 3020
                                      CISCO Catalyst Blade Switch 3120X/G
                                      HP GbE2c Ethernet Blade Switch
                                      HP GbE2c Layer 2/3 Ethernet Blade Switch
                                      HP 1/10 Ethernet Blade Switch
                                      HP 10/10 Ethernet Blade Switch

                                      Fibre channel
                                      HP 4Gbit Virtual Connect Fibre Channel Module
                                      HP 16 port 4Gb FC Pass-Thru Module
                                      Brocade 4Gb SAN Switch
                                      Brocade 8Gb SAN Switch
                                      CISCO MDS 9124e 4Gbit SAN Switch

                                      InfiniBand
                                      HP 4X DDR IB Switch Module

                                      и сюда
                                      h18004.www1.hp.com/products/quickspecs/14208_div/14208_div.html
                                      тут и процы, и мезанины.

                                      если вам мало 2-х дополнительных мезанинов, то можно взять полноразмерное лезвие, например вот такое
                                      h18004.www1.hp.com/products/quickspecs/14394_na/14394_na.html
                                      4 проца, 32 дима памяти, 2 бортовых двухпортовых конвергентных 10Gb мезанина, плюс 3 дополнительных
                                      о блейдах можно долго и нудно говорить, но это не HPC!!!
                                        0
                                        Приведенные выше ссылки и выписки к микросерверу habrahabr.ru/company/hp/blog/132733/ отношения не имеют.
                                        Если говорить о C7000, то это прекрасное решение. И HP этим пользуется. Но и у него есть много ограничений. Какие-то критичны, какие-то нет. Все зависит от задачи. Любое решение не идеально. Повторюсь, создание супера — это отдавливание не одной мозоли на любимых пальцах.
                                        0
                                        СерверА.
                                        «ИнженерА со средствАми», как говорила моя преподаватель в институте в таких случаях.

                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                        Самое читаемое