Комментарии 18
За давностью уже не помню точно, но когда толи фейсбук толи гугл разместил свои сервера в Швеции, вроде бы в Лулео, средняя температура воздуха в районе размещения поднялась на 2-4 градуса.
Где-то ошибка в расчетах: Итого — почти 2,2 млн рублей в месяц только за электричество. За год — больше 260 млн
В двух ЦОД после расширения пытался договорится о том чтобы по счетчику считали, а не по номиналу блоков.
И в двух ЦОД в разных городах мне ответили что они не платят за расход электричества, а покупают емкость. Сколько она стоит я не знаю, но звучит логично.
К абзацу охлаждения у меня тоже есть вопросы.
Классический кондиционер - перенос тепла/холода из одного места в другое с помощью изменения агрегатного состояния.
И в домашних кондиционерах соотношения генерации тепла/холода от электричества примерно 1:3. Тратя 1кв электричества ты получаешь 3кв тепла/холода в среднем (конечно там внешние условия влияют)
И тут вопрос, а как 30-40% электричества тратится на охлаждение при классическом кондиционере и погоде жаркой (когда нет возможности фрикулинг делать) 2-3 месяца в году (я про Питер и Москву)?
Между тем: сервер в idle всё равно потребляет 40–60% от пика, виртуалки без дела гонят процессор, плохая конфигурация C-стейтов или отключённый EIST — и CPU никогда не уходит в пониженные частоты. Энергия уходит, работа — нет, а счёт идёт
Откуда вы взяли эти данные, у меня есть gen9 на 2699v4 на блоках 500 + 8SAS, сейчас специально посмотрел что он жрет 110W. Пик у него около 650W и это довольно старый сервер, на очень горячих процессорах. Классическая история это процессоры 2620/30 и думаю там будет 80-90W потолок в idle. Это опять же 20%, у вас опять вы цифрами играете.
Спасибо за комментарий — вы правы, в коммерческих ЦОД арендаторам часто выставляют счёт не по фактическому потреблению, а по выданной мощности. Это удобно для резервирования, но не всегда отражает реальную нагрузку. В статье речь шла о расходах самого дата-центра в целом.
По охлаждению, COP у классических кондиционеров может достигать 3, но в серверных работают прецизионные системы, у которых эффективность ниже — особенно с учётом постоянной работы, вентиляции, насосов и резервов.
Что касается idle — приведённые цифры усреднены, в ряде конфигураций простои действительно могут тянуть 40–60% от пика, особенно если отключены C-стейты или EIST.
Современные системы еще горячее. 2x9654, забитый памятью недавно выдал 1.55квт. Интелы давно за киловатт на юнит перевалили. А 2630 - древняя древность, которую в цод ставить дороже, чем он стоит
CPU-нагрузка (типичный web/DB): 200–400 Вт/сервер;
Где вы такие цифры видели? Лет 10 назад так и было. Современные серверы уже по 1.5квт/1u бывают и это без gpu и без набивки дисками под завязку. Несчастный 2x6430+1тб ram и 2 nvme под нагрузкой до 1.1-1.2 разгоняется легко. 400вт у него практически в покое. Да, можно повключать энергосбережение, а потом ловить потери пакетов, тормоза и т.п, но зачем... Отсюда и по 5 серверов на шкаф, т.к. до сих пор некоторые строят ЦОДы по 5-7.5квт на шкаф. Под коммутаторы, наверное... а может все ждут бума ARM серверов?
ИБП (источники бесперебойного питания) работают по схеме двойного преобразования: сначала переменное → в постоянное, потом обратно.
Вот это кажется абсолютно лишним. 50Гц трансформаторов нет нигде, всё современное оборудование питается от импульсных БП, у которых входное напряжение сразу подаётся на выпрямительный мост и сглаживается конденсаторами. И какой смысл делать синус чтобы сразу опять его выпрямить? Может просто выкинуть лишние компоненты и забесплатно сэкономить пару % энергии?
Унификация... С т.з. эфективности потребления убрать лишние преобразования полезно. Но тогда не от каждой сети получится запитать. Вынул сервер из стойки для ремонта/обслуживания/проверки и либо бп меняй, либо нужен такой же источник постоянки как в шкафу. И не получится запитывать от ИБП с низковольтными батареями 12-24в. В принципе есть стандарт 48в постоянки, но он в основном для телекоммуникационного оборудования. У серверного будут огромные токи по 48в шине, что опять доп. потери, в т.ч. самих бп серверов. Можно, конечно, гнать постоянку на вход обычных БП, но не все рассчитаны на wide range без ручной коммутации. Где-то работать будет в режиме, а где-то нет. И сколько гнать? 310? Опасный нестандарт, 230? Нужен wide range... и в таком духе
Наверное, когда-то придут к новому стандарту питания постоянкой в шкафах, но нужен кто-то крупный, кто залидит стандарт
Можно начать с малого - ИБП постоянного тока и существующие БП на оборудовании. По вольтажу - надо исследовать, но навскидку - при питании от сети напряжение периодически падает в 0, при этом БП отдаёт энергию, запасённую в конденсаторах. В это время входное напряжение падает, т.к. конденсаторы рязряжаются. Т.е. БП по умолчанию должен работать с приличным диапозоном входных напряжений - т.к. иначе разоришся на конденсаторах. Оптимальное рабочее напряжение надо определить, но ИМХО что 230 что 300 - значения одного порядка.
И кстати при заряде-разряде конденсаторов также теряется энергия, а если питать постоянкой - эти потери сводятся к нулю - т.е. экономия будет не только в ИБП, но и в самом оборудовании, которое вообще не трогали.
OCP стойки с шиной 48. И очень популярное решение как раз 21 дюйм OCP для GPU
Ocp пока подходит для очень больших проектов, оборудования по сравнению со стандартным 19" мизер, кто-то пытается пихать в массы, в основном это все внутренняя кухня контор масштаба фейсбуков. И та же шина питания у них уже менялась с 12 на 48, не факт, что через пару лет не скажут, что 48 не есть гуд и надо какой-нибудь 60/72, а то токи...
Тут же речь про цоды для массмаркета, где шкафы арендуются сотнями небольших клиентов. Где они еще эти ocp сервера поштучно брать будут... Разговоры начинаются с единиц-десятков шкафов, а не серверов, еще и под заказ. А пока нет толп клиентов с таким железом, цоды под них строить не будут... Надо чтоб кто-то рынок насытил и показал, что это эффективно
Повысить эффективность существующих - интересная задача, но зоопарк оборудования слишком большой. Большинство БП не сертифицированы на питание постоянкой, какие-то смогут, а у каких-то дежурка запитывается тупо через конденсатор и от постоянки не заведется, не разбирать же каждый бп.... При этом КПД импульсных бп зависит от питающего напряжения, при снижении токи растут, потери растут, так что не факт что будет сильно эффективно 220dc вместо ac. И не все wide-range, некоторые 220-110 механически переключателем выбираются, а тут получится что-то среднее, соответствующее 165в переменки, ни туда, ни сюда.
Стоимость электроэнергии для юриков неприятно высокая... недавно в России (да на сколько я знаю не только, повсеместная практика) внедрили механизмы отдачи энергии в общую сеть (например свои генераторы) по той же цене или сравнимой с ее стоимостью для этого же потребителя.
Внимание вопрос, возможно ли юридически ну и на практике, одним и тем же юридическим лицом генерировать энергию в одном месте, отдавая ее в сеть, а затем тратить ее в другом месте, не оплачивая ее по факту?
Ведь генерировать энергию в некоторых местах может оказаться очень выгодно в таком случае, особенно когда между генерацией и потреблением не стоит несколько посредников с государством в роли налоговой (я не изучал вопрос для России, потому что догадываюсь что все плюшки только для физиков с маленькими мощностями, а вот юрикам наверняка будут создаваться проблемы)
Можно ли выращивать персики в Краснодарском крае, сдавать их на рынок, а потом есть их в Якутии не оплачивая по факту? Конечно нет. Можно выйти на оптовый рынок мощности, продавать энергию в одном месте по рыночным ценам и покупать в другом месте так же по рыночным ценам. Если в месте генерации цена будет выше, то можно получать прибыль и наоборот.
ну так в россии рынка электроэнергии нет, этим рулит одна единственная гос компания, она же определяет цены
Это вам кто сказал? https://ru.wikipedia.org/wiki/Оптовый_рынок_электроэнергии_и_мощности_России
" Теперь умножаем это на средний тариф, скажем, 4,72 рубля за киловатт-час. "
Это откуда? Мы платим около 10 руб за кВтч +/- 50 коп (в зависимости от месяца цена плавает не понятно по какой причине)
Почему в бюджете ЦОДа лидирует статья «электричество»