Не так важно — одна стойка, или сто.
Региональная отказоустойчивость — это дорого: само оборудование, ДЦ, связность, более сложная архитектура для синхронизации данных между локациями. В целом ее надо делать осознанно, когда потери от отказов могут превысить расходы на обеспечение отказоустойчивости.
Тут могут сильно помочь облачные провайдеры, если уметь готовить инфрастуктуру как сервис и раскатывать ее в облаке в момент поломки основного ДЦ, не держа при этом постоянный запас.
Если внимательно посмотреть на время-токовые характеристики ваших автоматов, сравнить их с реальной температурой окружающей среды места их установки и точно замерить, что ваша нагрузка и вправду не превышает номинала/уставки автомата, то проблема может быть в их качестве. Тогда надо предъявлять их обратно производителю.
Но я сильно сомневаюсь, потому что для автоматов типов B, C, D ток минимум в 1.13 от номинала автомат должен держать 10000 минут при +30°С. И такие автоматы — это очень надежно отработанная техника.
См. тут.
Смысл 47U, 48U и даже 52U в том, что они с одной стороны выше, а с другой имеют какую-то другую стоимость. Пусть какой-то производитель предлагает 45U или 47U по цене 42U. Что брать будете?
Не в каждом дата центре лифты двухметровые. Совсем даже наоборот, в отличие от браунфилдов (как-то переделанных заводских/офисных/складских зданий), гринфилды — специально спроектированные и построенные датацентры — делаются с просторными грузовыми лифтами и с большой высотой проемов и дверей по пути следования стоек, например, 2400мм.
Дальше подумаем про место в стойках не для свитчей: разве везде и всегда только Ethernet и FC свитчи? А второй ethernet свитч для устранения единой точки отказа, а менеджмент свитч, а хотя бы 1U для кабелей у каждого свитча, а патч панель в стойке (хорошо, если она модульная и только одна, а если отдельно оптика и отдельно медь). И я еще очень надеюсь, что про все устройства подумали заранее, и нам не надо втыкать в стойку ATS. При этом для расстановок сотен-тысяч серверов мы точно используем вертикальные zero-unit PDUs, которые не занимают наших юнитов. «Ящики с барахлом», «сервисников с грязью» и «ленточку» я комментировать не буду.
Питание в стойках бывает разное не только по способу подключения, как я написал выше, но и по подведенной мощности: смешные 3кВт, или почти предельные для одной фазы в России 7кВт, или трехфазные 12кВт — это не предел (на 32А и 380В предел получается в 21кВт, но и его можно обойти, если надо). Сервера бывают и высотой не только 2U, но и 1U, и это отличный выбор для серверов приложений, особенно, когда есть отдельные хранилища. И при очень условной потребляемой мощности 1U сервера в 300Вт и предоставленной 12кВт на стойку наши сервера отлично займут 40 юнитов, а оставшихся двух юнитов для свитчей, скорее всего, не хватит. Тут нам захочется иметь более высокие стойки.
Чтобы более подробно отвечать на вопрос, какие стойки более правильные, надо понимать как ограничения, так и экономику датацентра, соотношение затрат на землю, строительство, электропитание, охлаждение, etc. И эта экономика уникальна для каждого отдельного проекта. Обычно электрика — это самая дорогая часть в России (но не обязательно в других странах), поэтому ее надо утилизировать полностью даже за счет того, что часть стоек не будет заполнена. Этот воздух в стойках обычно дешевле недоиспользованного электричества.
Что касается стораджей, а в более общем случае вопрос распределения разнородных типов оборудования, то это заслуживает отдельной статьи. Как и вопрос балансировки по фазам.
Электричество подают в стойки по-разному. У Вас — по две фазы на ряд с автоматом на каждую фазу. Ок. У других — трехфазные автоматы на каждую стойку на каждый из двух вводов в стойку от разных ИБП, у третьих — это два трехфазных ввода с отводными коробками и автоматами на шинопроводах без резервирования на каждую стойку, у четвертых — по 4 однофазных ввода с автоматами в стойку от 4-х разных ИБП. На всё есть свои резоны.
Мне, например, в первом подходе не нравится мысль, что чужая закоротившая железяка или несколько чужих жрущих электричество как не в себя биткойн-майнеров из соседней стойки могут отрубить автомат и для моей стойки тоже. Но, видимо, такой сервис должен стоить дешевле для клиента.
Во-вторых, считаем, что серверов достаточно много: сотни-тысячи, для меньшего количества этот текст не имеет смысла.
Где сотни-тысячи серверов, разговор должен быть о десятках-сотнях стоек. В этом случае куда правильнее регламентировать питание на стойку, и это питание на стойку должно быть меньше либо равно отводимому от этой стойки теплу в масштабах машзала. Понятно, что мы отводим тепло не от одной единственной конкретной стойки.
Поэтому телеком оборудование и ленточная библиотека нас в этом контексте не интересуют. Мы распределяем существенно много подобных друг другу серверов по соседним стойкам в рядах. И я упомянул, что их надо распределять горизонтально — такое распределение эффективным образом улучшает теплоотвод.
Наверное, стоило написать, что перед началом распределения стойки пустые.
Я считал, что это очевидно и подразумевается без обсуждений: ДЦ должен по умолчанию уметь отвести всё то электричество и соответственно то генерируемое тепло, что он подает в машинный зал.
Поэтому если мы не превышаем выделенное питание на стойку какое-то значимое время, тепло тут влиять не должно.
Если мы говорим о том, что вендор при проектировании «соптимизировал» и с машинного зала IT-мощностью 1МВт может отвести не более 700кВт тепла в расчете, что нагрузка выше 70% никогда не поднимется, то это мне кажется обманом клиента. Это надо тщательно проверять при выборе ДЦ.
Это был простой вопрос и относительно простой ответ.
Вопросы о принятии решений и компромиссе между надежностью/экономией очень важны, но немного выходят за рамки статьи.
Да, конечно.
И больше того, надо распределять реплики БД не просто по разным стойкам, но по разным свитчам в случае, если у нас сервера подключены только к одному ToR свитчу. Это нужно помнить в случае, когда у нас не один свитч на стойку, а один на две, три. Так, оба инстанса БД в соседних стойках умрут одновременно с падением одного свитча, к которому они подключены.
Мы действительно проектируем и используем специальное серверное оборудование. Рассказ, какое оно и почему именно такое, требует отдельного поста. Когда будем готовы, опубликуем.
Мы можем позволить себе использовать более широкий коридор, потому что совместно проектируем и дата-центры, и сервера. Наши сервера проектируются и тестируются под более высокие температуры, чем это обычно принято.
Коммерческие дата-центры имеют гораздо меньше влияния на оборудование, которое будет впоследствии установлено у них в машинном зале. Не думаю, что они могут позволить себе потерять клиента из-за того, что климат в ДЦ вдруг не будет соответствовать требованиям производителя оборудования.
Спасибо за ссылку.
Региональная отказоустойчивость — это дорого: само оборудование, ДЦ, связность, более сложная архитектура для синхронизации данных между локациями. В целом ее надо делать осознанно, когда потери от отказов могут превысить расходы на обеспечение отказоустойчивости.
Тут могут сильно помочь облачные провайдеры, если уметь готовить инфрастуктуру как сервис и раскатывать ее в облаке в момент поломки основного ДЦ, не держа при этом постоянный запас.
Но я сильно сомневаюсь, потому что для автоматов типов B, C, D ток минимум в 1.13 от номинала автомат должен держать 10000 минут при +30°С. И такие автоматы — это очень надежно отработанная техника.
См. тут.
Не в каждом дата центре лифты двухметровые. Совсем даже наоборот, в отличие от браунфилдов (как-то переделанных заводских/офисных/складских зданий), гринфилды — специально спроектированные и построенные датацентры — делаются с просторными грузовыми лифтами и с большой высотой проемов и дверей по пути следования стоек, например, 2400мм.
Дальше подумаем про место в стойках не для свитчей: разве везде и всегда только Ethernet и FC свитчи? А второй ethernet свитч для устранения единой точки отказа, а менеджмент свитч, а хотя бы 1U для кабелей у каждого свитча, а патч панель в стойке (хорошо, если она модульная и только одна, а если отдельно оптика и отдельно медь). И я еще очень надеюсь, что про все устройства подумали заранее, и нам не надо втыкать в стойку ATS. При этом для расстановок сотен-тысяч серверов мы точно используем вертикальные zero-unit PDUs, которые не занимают наших юнитов. «Ящики с барахлом», «сервисников с грязью» и «ленточку» я комментировать не буду.
Питание в стойках бывает разное не только по способу подключения, как я написал выше, но и по подведенной мощности: смешные 3кВт, или почти предельные для одной фазы в России 7кВт, или трехфазные 12кВт — это не предел (на 32А и 380В предел получается в 21кВт, но и его можно обойти, если надо). Сервера бывают и высотой не только 2U, но и 1U, и это отличный выбор для серверов приложений, особенно, когда есть отдельные хранилища. И при очень условной потребляемой мощности 1U сервера в 300Вт и предоставленной 12кВт на стойку наши сервера отлично займут 40 юнитов, а оставшихся двух юнитов для свитчей, скорее всего, не хватит. Тут нам захочется иметь более высокие стойки.
Чтобы более подробно отвечать на вопрос, какие стойки более правильные, надо понимать как ограничения, так и экономику датацентра, соотношение затрат на землю, строительство, электропитание, охлаждение, etc. И эта экономика уникальна для каждого отдельного проекта. Обычно электрика — это самая дорогая часть в России (но не обязательно в других странах), поэтому ее надо утилизировать полностью даже за счет того, что часть стоек не будет заполнена. Этот воздух в стойках обычно дешевле недоиспользованного электричества.
Что касается стораджей, а в более общем случае вопрос распределения разнородных типов оборудования, то это заслуживает отдельной статьи. Как и вопрос балансировки по фазам.
Мне, например, в первом подходе не нравится мысль, что чужая закоротившая железяка или несколько чужих жрущих электричество как не в себя биткойн-майнеров из соседней стойки могут отрубить автомат и для моей стойки тоже. Но, видимо, такой сервис должен стоить дешевле для клиента.
Где сотни-тысячи серверов, разговор должен быть о десятках-сотнях стоек. В этом случае куда правильнее регламентировать питание на стойку, и это питание на стойку должно быть меньше либо равно отводимому от этой стойки теплу в масштабах машзала. Понятно, что мы отводим тепло не от одной единственной конкретной стойки.
Поэтому телеком оборудование и ленточная библиотека нас в этом контексте не интересуют. Мы распределяем существенно много подобных друг другу серверов по соседним стойкам в рядах. И я упомянул, что их надо распределять горизонтально — такое распределение эффективным образом улучшает теплоотвод.
Наверное, стоило написать, что перед началом распределения стойки пустые.
Поэтому если мы не превышаем выделенное питание на стойку какое-то значимое время, тепло тут влиять не должно.
Если мы говорим о том, что вендор при проектировании «соптимизировал» и с машинного зала IT-мощностью 1МВт может отвести не более 700кВт тепла в расчете, что нагрузка выше 70% никогда не поднимется, то это мне кажется обманом клиента. Это надо тщательно проверять при выборе ДЦ.
Вопросы о принятии решений и компромиссе между надежностью/экономией очень важны, но немного выходят за рамки статьи.
И больше того, надо распределять реплики БД не просто по разным стойкам, но по разным свитчам в случае, если у нас сервера подключены только к одному ToR свитчу. Это нужно помнить в случае, когда у нас не один свитч на стойку, а один на две, три. Так, оба инстанса БД в соседних стойках умрут одновременно с падением одного свитча, к которому они подключены.
Коммерческие дата-центры имеют гораздо меньше влияния на оборудование, которое будет впоследствии установлено у них в машинном зале. Не думаю, что они могут позволить себе потерять клиента из-за того, что климат в ДЦ вдруг не будет соответствовать требованиям производителя оборудования.