Как стать автором
Обновить

OCP Experience Lab — как мы строили мини-ЦОД в офисе

Время на прочтение7 мин
Количество просмотров10K
Всего голосов 23: ↑21 и ↓2+19
Комментарии20

Комментарии 20

кучу серверов завязаны по сути на 2 элемента питания. Что произойдет при КЗ от пыли или пыльцы в одном из серверов?
Пластик сплошной и это очень плохо, при не том нажатии мы лишаемся запчасти, которую сложно купить как минимум
Кол-во нужных переходников на 19' зашкаливает, APC, свитчи, патч-панели…

Полный отход от малого и среднего бизнеса, т.е. рассчитано под какие-то мега проекты (кучу иностранных комплектующих под видом РФ проекта???), это потеря очень громадного рынка, опять же внешний вид скелетов…

Удачи в начинаниях!
Это всё же оборудование для датацентра. Проводящая пыль — это какой-то цех. Если будет замыкание на единичном сервере — он отключится, шина питания при этом не обесточится.
С запчастями как раз проблем нет никаких, так как можно от любого производителя использовать без проблем.
UPS 19" не нужен в этих стойках — там стоят батареи на 21", патч-панель это тоже про телеком или про универсальную стройку в офисе.
OCP и стойка Open Rack всё же про дата-центры. Большие, маленькие — не важно, но в любом случае выделенные и специализированные. Это не стойка в углу офиса.
Проводящая пыль — это реальность дешёвых датацентров России, мы так размещались в ИКИ, да-да перед нашей стойкой просто открыли окно, которое за старостью закрыть нельзя и за полгода мы не смогли договориться об чем-то, и вообще походив по разным ДЦ мы столкнулись что только 10к пригоден для чего-то и это по Москве

С запчастями как раз проблемы есть, т.к. на avito, ebay такие запчасти не представлены, а вот найти защелку под заказ у какого-то поставщика это тот еще вопрос, да и мне, сломавшему инженеру, это будет ну вообще адом с потерей работы, при том бы, я не сказал что ваши защелки на видео сильно логичны. Очень советую взглянуть на подход supermicro в этом деле, где серверные корпуса не меняются лет 15, в них вставляются обычные ATX и все логично и доступно на рынке БУ, а хочешь производительнее докупи новый backplain к 10летнему серверу и будет SAS3.

шина питания при этом не обесточится — проводились ли тесты? При отказе одного блока блоков питания вся нагрузка резко уйдет на второй и тут как бы киловат 3-5 резко перескочит, как себя поведут, выдержат ли нагрузку? Это очень важный момент, так как даже сервера такие скачки не всегда держат (на примере supemicro, intel), а переключения питания часты даже на присловутом М9

всё же про дата-центры — Об этом и речь, что вы отсекли все мелкие и средние фирмы, оставив только гос контракты, которые работают ну совсем по-иному и там еще есть вопрос совместимостей, часто в госконтрактах прописан строго хувей! Т.е. вы себе отрезали 70% заказчиков, что имхо несколько глупо. Да и некоторые фирмы вырастают из стойки в серверной в нечто большее, Т.е. выбрать вашу систему, да круто, но за такое и уволить потом могут, ибо она слабо с чем совместима
Проводящая пыль убъет электронику сервера и коммутаторов намного раньше, чем сделает КЗ по питанию на входе. Независимо от модели этого сервера.

По запчастям — наличие деталей на авито это вопрос развитости вторичного рынка. Со временем он появится. В нашу пользу тот факт, что помимо нас есть ещё 4 крупных производителя, у которых детали совместимы с нашими.

Тесты на КЗ в одном из потребителей конечно проводятся. По отказу блоков питания — есть две типовые схемы резервирования: N+1 и N+N. То есть один блок питания в резерве, или половина блоков в резерве. И это тоже тестируется.

70% мелких заказчиков, про которых вы говорите — это всего лишь около 10% рынка в деньгах. И для них мы тоже кое-что готовим, чуть позже. А про Хуавей не переживайте — мы справимся с ними.
А в чем плюсы такого решения по сравнению с обычными вендорскими серверами?

Например, делаем мы маленький ЦОД. Можно взять супермикро, можно хуавей, можно делл какой-нибудь. Где в этой картине OCP и вы? Дороже/дешевле, качественнее, кастомизируемее, поддерживаемее? Кто и на каких условиях обеспечивает SLA на замену?

(Подозреваю, немного глупые вопросы, я не очень в теме OCP как такового)
Мы немного дешевле и в покупке и в обслуживании. У нас SLA как у Делла, но разработчики сидят в России и поэтому мы можем реагировать на сложные вопросы быстрее. У нас нет Vendor Lock на запчасти — это большая экономия на апгрейде. Плюс к этому за нами сообщество OCP, то есть мы предлагаем сервера конструктивно более надежные, обкатанные на датацентрах Фейсбука.
Как и многие тут, я был совсем не в теме ОСР. Интересное начинание.
Вопрос: Есть ли у вас материал про Bare-metal коммутаторы? Мне интересно, какое сочетание open source OS — железо наиболее перспективное? Я вот некоторое время думаю о внедрении Bare-metal в телеком с выносом некоторых вычислений на край сети. Например, DNS резолвер, dhcp сервер прямо на коммутаторе доступа.
Мы не большие спецы в bare-metal коммутаторах. Хотя в OCP это большая и мощная тема. Мы сами используем Edgecore — классический bare-metal. Поверх него Cumulus, хотя сейчас из-за политики nVidia, будем мигрировать на Sonic. Если Sonic вас заинтересует — смотрите ресурсы OCP, там много материалов по нему.
Куча вопросов…
  1. Про питание. В видео, на 03:48 при вытаскивании юнита из стойки, видно что юнит отключается от шины питания. А как тогда обеспечивается горячая замена дисков в JBOD-ах? Как там обеспечивается непрерывность питания?
  2. Совместимы ли между собой шасси для JBOD-ов и для серверов? Если да, то есть-ли возможность установки в одно шасси одного сервера + две хранилки или двух серверов + хранилка? Или-же дисковое шасси целиком является JBOD-ом?
  3. Насколько совместимы, между собой, компоненты разных вендоров? Хотя-бы те-же корзины для дисков.
  4. Существую-ли OCP стойки малых габаритов? Не для ДЦ.
  5. Что по ценам, по сравнению с традиционными производителями?
  6. Что по удалённому управлению и мониторингу?

Но вообще конечно выглядит красиво! Испытал визуальный оргазм, от технологичности.
Любой крупный вендор покажет такие «технологичные» стойки
Здесь скорее представлена концепция, и ваши мелкие вопросы не получат полного ответа
т.е действовать на свой страх и риск и в темноте с фанариком тусклым и не дай бог сломается, огребешь…
все нестандартное, прикрывающиеся за %эффективности.
Тут как раз совсем другая история — есть сообщество OCP, и всегда есть у кого спросить. И сообщество активно растет и в России и в мире.
1. При замене дисков в JBOD юнит (полка) не вытаскивается и не отключается. Вытаскивается только один лоток с дисками из полки, при этом он остаётся подключенным. В серверах другая история — при вытаскивании лотка он отключается от питания.

2. Нет, шасси (полки) не совместимы по причине п.1. Комбинировать в рамках одной полки сервера и JBOD не получится.

3. Если вендора производят продукцию OCP Accepted, то компоненты совместимы в определенной мере. Насколько глубоко — зависит от вендора и модели. Обычно поставить «чужой» сервер в полку можно, но корзины дисков перекинуть нельзя. Хотя у нас с некоторыми моделями конкурентов и корзины дисков совместимы.

4. Есть стойки высотой 20OU и есть переходники для установки серверов и JBOF в 19" стойки

5. Цены обычно ниже, так как нет наценки за бренд. Но цена в первую очередь определяется скидкой на процессор, поэтому всё сильно индивидуально.

6. IPMI и Redfish поддерживаются, есть плагины в Zabbix.

Спасибо за очень конкретные вопросы!
Начиналось всё с создания стенда для тестирования серверов нашей собственной разработки.

Все же пока ещё речь идет о локализации?
image
Я не понял в чем вопрос. Facebook расшарил свою документацию на сервер, мы на её основе разработали и произвели свою модель. Называйте это как хотите, но до нас это cмогли сделать только пара крупных Тайваньских ODM
А до какого уровня эта документация? Конструктив, понятно. Крупноблочно тоже описывает. А наборы конкретных микросхем? А конкретную схемотехнику решения? Разводка плат?
Вплоть до проекта в Cadence. И 3D в Step. Но всё с проблемами. Не думаю, что специально эти проблемы как закладки оставили — скорее публиковали чисто формально, без мысли, что кто-то воспроизведет. Ну и софт только в бинарниках и не весь — бесполезно.
В итоге всё пришлось переделывать, используя документацию как референс.
В целом весьма интересно, но некоторые вещи выглядят сомнительно. Например, переход на 21" при сохранении внешней ширины стойки (имеется в виду 600мм, правильно?) обозначает уменьшение внутреннего пространства между оборудованием и стенками шкафа, где часто прокладываются кабели. Если в шкаф надо устанавливать многопортовые патч-панели, это создаёт дополнительные серьёзные проблемы, особенно если используется кабель вроде категории 6a — он может быть весьма негибким. Если же предполагается, что стойки OCP вообще не предназначены для подобных задач, а только для серверов в ЦОДах, то это дополнительно заметно снижает сферу потенциального применения.
Идея в том, что для телекома нужны 19-дюймов. А для датацентров выгоднее сделать новую стойку, специализированную.
В малом и среднем бизнесе телеком и обработка данных часто вообще не разнесены.
Доброго времени суток!

Подскажите, был ли опыт создания кастомных стоек (стеллажей), совершенно неформатных. У меня возникла задача построения лабораторного стенда с оборудованием (совокупность микро-серверов, кастомные платы, наборы дисков), для чего требуется что-то вроде гибкого конструктора. Все что нашел — это довольно габаритные и грубые конструкционные профили.

Может быть кто-то сталкивался с изящным решением данной задачи?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий