Как-то к нам пришел один прогрессивный заказчик из города N, что в средней полосе России, и сказал: «Хотим чтобы дата-центр на 100% фрикулинге работал круглый год. Можете посчитать, это реально вообще? И если да, какая технология вам видится наиболее логичной?». Мы с холодильщиком воодушевились, ибо не каждый день тебе предлагают поработать над таким нетривиальным для средней полосы России проектом, и начали считать. Под катом много цифр и теории по части охлаждения дата-центров.

Привет! Я расскажу про геоохлаждение и геообогрев базовых станций сотовой сети, ветрогенерацию, практику солнечной энергетики (в частности, для обсерватории), генерацию тепла и энергии из биологических отходов, охлаждение дата-центра от реки, оптимизацию классических систем и немного про управляющий всем этим софт.

Начнём с реки в Сибири:


Проектировали ЦОД рядом с ТЭЦ. А ТЭЦ питается водой от реки. Собственно, температура воды в реке от 0 до +15, а ТЭЦ надо +25. Мы подумали: как это замечательно, что кому-то нужна тёплая вода! И сели с теплообменником на эту подпитку. В итоге подогреваем воду в среднем на один градус (зависит от вычислительной нагрузки и времени года) и передаём чуть более тёплую в контур ТЭЦ. От ТЭЦ не убудет, а для нас получается очень эффективно. PUE ЦОДа — 1,15 круглый год.

Сейчас расскажу про эволюцию устройства, изначально предназначенного для обеспечения питания военных дата-центров по всему миру. Вот такой:


Новое поколение, «бронепоезд» на жаргоне. Справа наша давняя мечта — решётка, чтобы крыс не засасывало.

Технология родилась примерно в тот же период, что и ядерная бомба, поэтому она простая и понятная, как автомат Калашникова. Берём огромный железный волчок, раскручиваем электромотором. После преодоления инерции покоя тяжеленная железка крутится почти без трения. Отрубается питание — железка начинает сама крутить электромотор, который её запускал, и тем самым преобразует свою кинетическую энергию в электрическую некоторое время, пока не остановится. За это время успевает запуститься дизель.

Старые советские ДДИБП, которые стояли на Байконуре, принципиально не отличаются от своих современных аналогов. Те же волчки, те же дизели. Но есть масса полезных нюансов. Вот о них и о том, как вообще эволюционирует такое «кондовое» железо, и поговорим.

Альтернативная энергетика в России (в первую очередь – ветряки и солнечные батареи) попросту не работает. Точнее, эти вещи пока не работают. Причин много, но главные — мы копаем нефть, газ и уголь, и городской ввод у нас не просто дешевле, а дешевле на порядок даже в самых запущенных случаях далёкого завода на берегу Балтийского моря, где, казалось бы, дует постоянный сильный ветер. В странах, где альтернативка реально работает, другие условия инфраструктуры: компактные географически сети, компенсации от государства для полей ветряков, есть возврат энергии в городскую сеть, если сейчас она не потребляется с батарей.

С другой стороны, у нас есть невероятное преимущество: длина страны такая, что когда где-то ночь, где-то на другом конце страны уже день. А, значит, можно очень хорошо «размазать» пики потребления за счёт продуманной инфраструктуры. А ещё у нас есть гидроэлектростанции, которые отлично работают на возобновляемой энергии. И очень-очень дешёвая атомная энергетика.

Монтаж ветрогенератора


Ветрогенератор, контейнер с батареями, геозонд и базовая станция в Самаре

Примерно 3 года назад мы начали эксперимент по обеспечению базовых станций энергией из источников на месте. Уже через полгода стало понятно, что геозонд для базовых станций — очень полезная вещь в средней полосе, солнечные батареи зеленоградского завода замечательно себя показывают, но главная проблема — не в получении энергии, а в её преобразованиях и накоплении.

Расскажу про сломанные ветряки и то, что мы поняли за три года, и уникальный геозонд для охлаждения стойки с оборудованием связи.

Пакетирование ДДИБП во всепогодный контейнер

Последние отечественные ДДИБП стоят на Байконуре. В какой-то момент в нашей стране была утеряна технология производства больших кинетических накопителей, и теперь мы возим их из Голландии.



Грубо говоря, ДДИБП — это большой такой волчок, установленный на строго горизонтальном валу. Ротор трёхфазной асинхронной машины вращается со скоростью 3 тысячи оборотов в минуту, а ротор генератора (снаружи) работает на скорости 1500 оборотов в минуту. Основная цепь питания проходит сквозь эту систему. Стоит питанию пропасть — и раскрученный тяжёлый волчок будет крутить генератор через электромагнитное поле ещё некоторое время. Переключения по факту нет — система продолжает работать без изменения графика напряжения, частоты и силы тока. На современных установках «горячий» дизель выходит на номинал 3–15 секунд.

В средней части первого этажа ЦОД «Компрессор» два машзала, строго над ними — два машзала на втором этаже. В каждом зале по 1 МВт электромощности на стойки. На первом этаже трансформаторная подстанция, распредпункт, электрощитовая. Слева-сверху на схеме бытовой комплекс, помещение охраны. Справа от машзалов – помещение системы охлаждения – насосная станция. Рядом с машзалами (по бокам) коридоры с фанкойлами, по центру — коридор с распредщитами.

В 2009 году здесь был уже давно не использующийся склад уникальных компрессоров (в частности для системы «Энергия-Буран»), куда когда-то заезжал для разгрузки поезд.



Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности. Через несколько лет на месте цеха появился современный ЦОД, который стал третьим в России, сертифицированным по уровню Tier III Uptime Institute как объект.

Недавно я нашел довольно много фотографий со строительства. Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.


А это 2012 год, машинный зал только начинает заполняться

Осторожно, под катом много фотографий

Несколько месяцев назад мы стартовали масштабный эксперимент и смонтировали два объекта, работающих на альтернативной энергии. Задача – понять, могут ли автономные комплексы небольшой мощности работать более-менее стабильно и иметь коммерческую перспективу в РФ.


Cолевая батарея нового поколения

До финальных результатов еще полгода, но уже есть необычные вещи: например, был запущен геозонд для охлаждения (уникален, скорее всего, пойдет в серию), проведены тесты солевой батареи нового поколения (но ее придется менять на обычную из-за бюджета), плюс на удивление хорошо показали себя в сложных условиях отечественные солнечные батареи производства Зеленограда.