Решение Therascale OCP

    Что такое Open Compute Project (OCP)?
    В России об этом известно довольно мало, в основном рекламные заявления о миллиардах экономии Facebook с помощью OCP.

    Официально Open Compute Project — это сообщество, основанное Facebook, с целью создать наиболее оптимальную инфраструктуру для ЦоД с минимальной оглядкой на существующие варианты.

    На самом деле Facebook долго пытался придумать оптимальный вариант для датацентра, сон разума рождал чудовищ наподобие триплета (тройной стойки, одна из которых — огромный бесперебойник). Долго ли, коротко ли идеи бродили, но в один прекрасный день кому-то пришла в голову отличная мысль — создать сообщество и привлеченные энтузиасты подкинут идей.

    Стоит отметить, что результат получился очень неплох.




    Цели OCP:
    1. Повысить наработку на отказ (MTBF).
      Отказ от «лишних» элементов на плате повысил наработку на 35%.
    2. Повысить плотность стоек.
      Переход на 21 дюйм позволяет вместить больше серверов при сохранении функционала каждого из них.


      Шире стойка — больше влезет

    3. Упростить и ускорить обслуживание.


    4. Оптимизировать для работы из холодного коридора.


      Хватит бегать между рядами
    5. Повысить энергоэффективность.


      При внешней температуре 35 градусов
      Снижение энергопотребления на 11% при одинаковой нагрузке и внешних условиях.


    Что получилось?
    Получилась полная линейка для Software-Defined Datacenter.


    Всё, что нужно

    Не забыта и система удаленного управления. OCP RMC (Rack Management Controller) мониторит состояние серверов и блоков питания, управление происходит через Web, SMASH CLI или SNMP.


    Контроллер стойки

    Возможности:
    1. Удаленное управление питанием.
    2. Мониторинг потребления стойки и серверов.
    3. Установка пределов по энергопотреблению стойки и узлов.
    4. Мониторинг состояния БП и серверов.
    5. Поддерживает горячую замену.
    6. Аутентификация через LDAP.


    Поддерживаемые протоколы:
    1. IPMI/RMCP+
    2. SMASH CLI
    3. SNMP
    4. HTTP/HTTPS
    5. NTP, SMTP, Syslog


    Скриншоты:


    Журнал событий


    Конфигурирование узлов


    Так задаются конфигурации узлов
    A. Включить/выключить лимит потребления (Y/N)
    B. ME IP Address
    C. ME Username
    D. ME Password

    Надо отметить, что Facebook полагается на возможности Intel Management Engine и не пользуется IPMI/KVM over IP, считая их избыточными. В случае поломки меняется целиком сервер, без попытки через удаленное управление следить за процессом загрузки. На этот случай есть вариант 10G SFP+ дочерней платы с интегрированным полнофункциональным сервисным процессором и все радости IPMI/KVM over IP с виртуальным носителем в комплекте.

    Модельный ряд

    От общего представления пора перейти к предлагаемым моделям.


    Стойка



    Серверы

    Линейка разработана исходя из минимализма, есть только то, что действительно необходимо. Основная сеть сделана в виде дочерней (mezzanine) платы, есть варианты
    10G, InfiniBand, FC.



    Платформа OCP2U4N сделана в форм-факторе 2OU (Open Unit) и вмещает 4 сервера. Четыре диска с горячей заменой и один PCI-E либо два диска и два PCI-E слота на каждом сервере плюс OCP mezz для высокой плотности вычислительных ресурсов, дискового пространства и карт расширения (например flash ускорителей). В качестве сетевого интерфейса по умолчанию используется дочерняя плата OCP Mezz с двумя 10G SFP+ портами и полнофункциональным BMC процессором.


    Вид поближе

    Используются вентиляторы с горячей заменой, общие для всех серверов.



    Универсальные серверы для различных задач, от web 2.0 до вычислений. Централизованное питание и отсутствие ненужных элементов на плате повышают показатель MTBF на 58% по сравнению с традиционными стоечными системами. Два слота расширения, OCP mezz и место под жесткий диск дополняют картину. В качестве сетевого интерфейса по умолчанию используется дочерняя плата OCP Mezz с двумя 10G SFP+ портами и полнофункциональным BMC процессором.



    Платформа OCP1U3N для вычислительных задач максимально утилитарна. 16 слотов для памяти, один PCI-E слот, OCP mezz для InfiniBand или 40G Ethernet, одно место под жесткий диск и пара сетевых интерфейсов, включая управление. 90 нод на стойку с охлаждением воздухом (115Вт на процессор) плюс коммутаторы — отличный результат!

    Микросервер? Кто упомянул микросервер?



    И они тоже есть. 42 сервера на базе процессоров Intel Atom серии C2000 в формате 2OU, два коммутатора c поддержкой OpenFlow коммутации на базе матрицы Intel FM5224 с двумя 40G аплинками на каждом. Почти 4 гигабита входящей пропускной способности на каждый сервер обеспечат работу любого распределенного приложения. Все компоненты поддерживают горячую замену для упрощения развертывания и обслуживания.



    СХД

    Никаких специализированных СХД, только Software Defined Storage на дисковых полках. Хотя никто не запрещает ставить аппаратные RAID контроллеры.



    Дисковая полка с хитринкой в формате 2OU вмещает 28 дисков 3.5" с горячей заменой. Хитринка в двуслойном размещении дисков, что и позволило упаковать 28 шпинделей в корпус, которые фиксируются в корзинах без использования винтов (видео было выше). SAS экспандеры фиксированы в корпусе, если выдвинуть корзину для обслуживания второго ряда дисков — не будет мучений с кабелями, которые останутся на месте.



    Еще одна дисковая полка, также сделана в формате 2OU и вмещает 30 дисков 3.5" с горячей заменой. Два поддона с дисками, на каждом по 15 шпинделей плюс два SAS экспандера, все заменяется на горячую без дополнительного инструмента.



    Аналогичный предыдущему продукт, вместо экспандеров ставится два сервера на основе Intel Atom C2000 (один на 15 дисков). На каждом сервере есть интерфейс 10G SFP+ в сеть и внешние SAS порты для расширения пространства. Хороший выбор для «холодных» данных.



    Сетевая инфраструктура

    Коммутаторы используются совершенно стандартные по габаритам. Как вы уже заметили
    из описания моделей, гигабит для основной сети не используется в принципе, минимально — 10G. Сам Facebook присматривается к 40G и выше, но пока цена перехода не позволяет это сделать.

    Другая важная тенденция в рамках стратегии Software Defined Datacenter, это переход к программно-конфигурируемым сетям, Software Defined Networking (SDN). Предполагается, что переход на SDN радикально ускорит развертывание сетей, снизит затраты на эксплуатацию и сурово напакостит всем сетевым производителям с фирменными технологиями :)

    Кстати, в нашей предыдущей статье был описан идеальный коммутатор для SDN и способ получения его совершенно бесплатно :)
    Software Defined Network (SDN) на основе открытой платформы Intel ONS


    Вид коммутатора изнутри

    Итого

    OCP, на первый взгляд, выглядит непривычно для широкой аудитории. На второй взгляд все становится намного интересней. Решение подходит не только для крупных интернет компаний, но и для предприятий с большими внутренними ИТ мощностями.

    В пассиве:
    • Непривычный формат внутренней части стойки, несовместимый с 19".
    • Непривычный подход к формированию решения в целом.


    В активе:
    • Снижение расходов на электроэнергию.
    • Простота и невероятное удобство в обслуживании.
    • Снижение расходов на приобретение.


    Если вы рассматриваете решение, которое займет (в обозримой перспективе) стойку и более, то переход на OCP будет очень интересным вариантом. Проприетарные решения привяжут вас к определенной, весьма ограниченной по возможностям инфраструктуре.

    Ну а мы представили решение на базе Open Compute в линейке продукции.

    ETegro Technologies

    26,00

    Компания

    Поделиться публикацией
    Комментарии 31
      +5
      Ок, теперь у нас есть два стандарта на размер стойки. Непорядок… О, я придумал решение, надо придумать такой размер стойки, который станет всеобщим стандартом и решит проблему с конкурирующими стандартами.
        0
        Если вы добавляете по стойке за раз (или больше) — никакой принципиальной разницы.
          +1
          Проприетарные решения привяжут вас к определенной, весьма ограниченной по возможностям инфраструктуре.


          По факту ваше решение приаязывает меня к рынку 20" стоек и оборудования. На котором, сейчас, я знаю только о вас.
            +1
            Надо же с чего-то начинать :)
            0
            А если мне потом надо будет что-то переставить из 19" в 21" стойку? Или заменить сломавшуюся железку в 17.5" стойке? А если новое клёвое решение, которое нам предложат, будет 22.3" в размере?
              +1
              Отличная же бизнес идея — наладить выпуск переходников!
                0
                С ужасом представляю себе переходник с 20" на 19".
                  0
                  Широкие рельсы, не?
                    +1
                    С 20" на 19"? Скорее болгарка с диском по металлу или циркулярная пила с дюймовой линейкой на упорах, чтобы дюйм резки было удобно выставлять :)
                    0
                    Локальное искажение пространства, позволяющее изгибать направляющие стойки!
                      +3
                      Я знаю одно такое. Киянка называется.
                        0
                        Устройство для высокоточного изменения геометрии.
                      0
                      Можно просто втыкать по-диагонали.
                        0
                        Боком ставить? ;)
                          0
                          Вариант «по-диагонали» мне нравится больше. В нём чуть больше веб-два-нольности и джаваскрипта.
                            0
                            Универсальный переходник для стоек 20" -> 19" — теперь с регулируемым углом наклона.
                              +1
                              Вам смешно, а мне приходилось работать с серверами, которые господа из датацентра поставили криво. Видите ли, 19" сервер не влез в 19" стойку. Поэтому поставим криво. А т.к. теперь лишние юниты заняты, и следующий сервак так запихаем. А третий уже в другую сторону по-диагонали. Для красоты. А потом, видимо, уже для полноты картины, один 1U-сервер вверх ногами повесим. Абстракционисты, фигли
                                0
                                Нам как-то пришлось ставить СХД EMC (замечу, что шутки про сильных программистов всё ещё были в ходу, хотя установленная до этого блейд-корзина весила побольше). Проблема была в том, что они положили крепеж только для стойки с круглыми дырками (кажется на М5). В стойке были квадратные и специальные переходники (гнездо, вщелкивающееся а квадрат с гайкой под М6 и винты на М6).

                                На самой же EMC дырка была в расчете на М5, что не позволяло использовать стандартный стоечный крепеж.

                                В итоге были куплены шайбы в достат. кол., которые ставились прямо в квадрат 3/8", ещё одна (покрупнее) ставилась сзади, дальше гайка на М5 и с помощью молотка (фигурально выражаясь) и какой-то матери EMC был прикручен ровно и аккуратно.
                  +2
                  да, 20", заняться — то больше нечем)))
                    +1
                    image
                      0
                      «Централизованное питание и отсутствие ненужных элементов на плате повышают показатель MTBF на 58% по сравнению с традиционными стоечными системами»
                      Вот мне интересно как они это считали. Там надо что бы это реально отработало много времени, около 3-лет, а то как то 58% это на маркетинг похоже.
                        0
                        Точно также, как 2 миллиона часов для жестких дисков — параллельно значительное количество устройств.
                        У Фейсбука ОЧЕНЬ много серверов в работе.
                        +1
                        Я был удивлен, что производитель данных решений совершенно не упомянут. Данное решение произведено Quanta и детальные data sheets могут быть найдены на www.quantaqct.com/en/01_product/01_list.php?mid=28&sid=168&id=174
                          0
                          Решение разработано Facebook, на сайте проекта есть спецификации (некоторые еще не выложены), которые могут производиться любым заводом.
                          Тем и прекрасен мир Open Compute.
                          Заодно обратите внимание на трехзонную стойку, 1U3N, полки по спецификации Knox, которые входят в состав решения.
                            0
                            Я имел возможность видеть оборудование Facebook. Видео из ДЦ Facebook есть на youtube. Данное оборудование очень сильно отличается, на столько сильно что Quanta так и пишет
                            Rackgo X, An Innovative Rack Solution Inspired by OCP
                            . Мне тяжело сказать лучше или хуже, просто другое.
                              0
                              В видео на youtube устаревшие варианты, как ни странно :)
                              Серверы 2U/3 node, 2U/ 4 node использует Facebook, это Windmill + Winterfell (у них существует куча модификаций под крупных потребителей).
                              Дело не в том, кто хороший или плохой. Для участников проекта доступно много различных идей, которые можно произвести на любой базе. Мы взяли только те, которые (на наш взгляд) наиболее удобны, ведь одних полок есть еще три модели.
                          –1
                          Не в ту ветку.
                            0
                            Как-то не охватили основные преимущества стоечных решений — энергоэффективность, общая стоимость и, самое главное, удобство при развертывании дата-центра (или новой очереди) и транспортировке, одну стойку в сборе могут установить два человека за час, если не меньше. И еще бы сильнее акцентировать централизованное управление (RMC) на уровне всей стойки.
                            Ну и все-таки такое решение скорее для компаний рангом выше среднего, одну-две таких стойки и правда странно покупать, когда в ряду уже стоят 19" традиционные стойки.
                            В любом случае — спасибо за статью, популяризацию идеи open hardware source нужно продвигать :).
                              0
                              Удобство и скорость развертывания выделить забыли, это верно.

                              Централизация управления стойки — очень удобно, здесь трудно возражать.

                              Насчет масштаба — полагаю, что тут вопрос в определении масштаба :)
                              На мой взгляд одна-две стойки в своем пользовании уже имеют смысл, если вы готовы к перестроению под software defined идеологию.
                              Ну а если не готовы — то даже свой ДЦ на 10-20 стоек нет смысла делать на OCP.

                                0
                                а ещё лучше присоединиться
                                www.opencompute.org/

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое