Pull to refresh

Comments 164

снижается коррозия и износ металлических деталей — известная проблема в дата-центрах.

Проблема, скорее, надуманная, чем реальная. Бахилы на входе в машзал, стандартная вентиляция с фильтрами не ниже EU4, и ничего лишнего не прилетит.
Кислород и углекислый газ — еще те окислители, не надо выдумывать. Ты же там не в скафандре ходишь и не через шлюзовые отсеки заходишь. А вот отсутствие оных вполне себе способствует снижению коррозии и окислению. Вопрос — чем они заменили воздух? Или там нет вентиляторов вообще?
На фотографиях видно, что вентиляторов там предостаточно
Вообще-то, тамбур-шлюз в повышенным давлением, для ЦОД-ов, очень даже применяется (только это защита от пыли). Я не стал об этом писать в предыдущем комменте, но мне такое внедрять приходилось не раз, на практике.
Кислород — окислитель, по определению. Но, одного его недостаточно. Нужна ещё влажная среда, а с контролем влажности в ЦОДах строго.
Кроме того, там же не голый металл в стойках. А такие трущиеся детали, как рельсы, делают из нержавеющих материалов. У моего авто скол на крыле над колесом до металла уже 3 года, ничего не ржавеет, потому что хорошая оцинковка.
Наверное, закачан читый азот. Либо, вообще что-то типа хладона.
А еще они без перчаток в грязном пыльном коридоре собирают свои серверы. Потожировые человека приведут к окислению и кроррозии не хуже, чем кислород, углекислый газ или небольшая влажность (которая выгодныется из обычного машзала пром.кондиционерами). А пылища, осевшая на смазку подшипников вентиляторов приводит к выходу из строя. Почму не использовать для этого чистые помещения, спецодежду, перчатки? Стартап на коленке?
UFO landed and left these words here
Вопрос — чем они заменили воздух?

Воздух с водяными парами и вредным кислородом в серверных заменяют осушенным азотом.
Вопрос — чем они заменили воздух
Аппаратура для моря имеет водяное охлаждение, что более эффективно.
Азотом. Главное ж — убрать кислород и водяной пар.
Так там же написано
Воздух с водяными парами и вредным кислородом в серверных заменяют осушенным азотом
может, не заметил, а может, потом добавили… но я всё равно угадал :)
Углекислый газ — окислитель? Вы шутите?
Сам по себе — нет, а вот в присутствии влаги и кислорода помогает металлу стать карбонатом. В газированной минералке лакмус покажет кислую среду.
35 метров — вполне рабочая глубина для обычного дайвера… а вода рядом будет тепленькой
От одного контейнера — нет. От следующего этапа, когда будут топить уже связками по пять штук — экосистеме вокруг места затопления придет кабздец.
Не будет
Согласен, иначе возле корабля или п/л была бы полынья в северных морях…

Подплыл, свинтил себе пару винчестеров и домой? В России бы пришлось ещё охрану ставить.

А зачем вам дома винчестеры-утопленники?
И магнитики там сильные!
Во-во, можно ими счетчики останавливать, а можно старушек разводить на штрафы из-за того, что их антимагнитные пломбы на счетчиках сработали аакурат после появления проверяющих.

Дома на таких магнитиках все отвертки и металлические линейки висят, а друг сделал из них ловушку для металлических опилок у гриндера. Столько применений!
Подплыл, свинтил себе пару винчестеров и домой?
Угу, из герметичного неразборного контейнера, на хорошей такой глубине.
Как раз для России, на период отключения горячей воды…
Хм… и тут кто-то решит поменять пару правил фаирволла на пограничном коммутаторе данного ЦОД'а и накосячит.
Для файрвола там, наверное, сверху люк предусмотрен :)
С трубой длиной 35 метров…
UFO landed and left these words here
UFO landed and left these words here
Блин, многомиллионные спутники оправляют в космос безвозвратно, и не боятся. А если там что-то выйдет из строя?
А здесь подплыл на плавучем кране, достал, поменял, утопил. Глубина-то всего — 12 этажей. Не каждый же день там будет что-то из строя выходить… Ну и плюс — резервирование. Выйдет что-то одно из строя, чуть-чуть просядет производительность. И всё…
Есть такая штука — watchdog. Если подводная часть долго не может связаться с надводной, она сама сбросит правила.
А если не поможет, то сбросит балласт и всплывет.
А если и это не поможет, напишет адмуну в телеграмм…
Нужно там робота-паука с дистанционным управлением поселить, чтобы он в случае чего на ресет нажимал.
поэтому начальник ИТ демонстративно и молча положил рядом с админом ласты и акваланг
Думаю, там есть выделенная оптопара для реализации прямого доступа к оборудованию через конвертеры по RS-232 с береговой станции.

Интересно будет посмотреть на эти датацентры через 5 лет. По идее без обслуживания там должно накрыться порядка 15% вентиляторов к тому времени.

с чего бы им накрываться, если пыли и влаги нет, а подшипники качественные?
Смазка загустеет. КМК, ресурсы работы указываются как раз для таких идеальных условий.
Может быть магнитный подвес, без смазки.
Недавно, в связи с переездом, извлекли из-за подвесного потолка мини-сервер, провисевший там 8 лет — все в порядке. Просто зная, что проводить обслуживание будет проблематично, перед установкой набил все подшипники в вентиляторах графитной смазкой. Сохнет, твердеет, но графит никуда не денется — а он сам по себе замечательный антифрикционный материал. Не думаю, что проектировщики таких «монстров» менее предусмотрительны.
UFO landed and left these words here
Куда ж он полетит из-под резиновой заглушки, заклеенной этикеткой производителя? =)

Но смысл реплики был в том, что состояние вентиляторов, на мой взгляд, это последнее о чем стоит беспокоиться организаторам.
UFO landed and left these words here
Ну… помещение кмк не сильно хуже тех в которых «многомиллионные спутники» собирают ;)

Интересно другое, почему микрософт не разработало для этого проекта систему с без вентилятор иным охлаждением, какой смысл в воду опускать почти стандартные сервера?

Смысл в том, что стандарт дешевле.
Вполне возможно, что давление повышено до 5 атм. В таком случае эффективность охлаждения также возрастет в 5 раз. Кроме того, вентилятор это просто, надежно и проверено. А вот система водяного охлаждения будет очень сложной и состоять из большого количество элементов. Даже маленький подтек — большие проблемы.
Мне почему-то кажется что самое простое — медная шина связанная с внешней оболочкой корпуса.
Т.к. в данном проекте явно не было цели сэкономить средства(судя по устанавливающему оборудованию, как-бы не вышло что его аренда дороже самого контейнера), можно было бы переработать дизайн стандартных серверов, с прикручиванием охлаждения к данным шинам.
почему микрософт не разработало
… неглючащий и непадающий Windows, не отсылающий телеметрию неизвестно куда. ;-)
По идее вместо вентиляторов туда надо бы водянку с выводом на корпус. Насосы резервировать проще на случай выхода из строя, да и эффективность выше.
вентиляторы не знаю, а вот hdd точно могут повылетать.
хмм, воздух откачивают, а что тогда закачивают?
.oO(Надо делать ДЦ-Цеппелины)
Думаю, вакуума не должно быть, иначе смысла в кулерах не будет. Может, какой-нибудь инертный газ.

Я понимаю, что один дата-центр ничего не поменяет, но, если все последуют их примеру, то не навредит ли это морской эко-системе увеличением температуры? Да, я понимаю, что изменения минимальные, но зная аппетиты таких компаний…
Не больше, чем если теже самые ДЦ будут греть воздух.
Даже если все датацентры станут подводными, это будет меньше чем тепло атомных станций которое отводится в охладительные водоемы типа фукусимы.
В охладительных водоемах атомных станций нет экосистемы, напрямую подключенной к мировому океану.
Ну здрасте. Второй контур (нерадиоактивный) должен же как-то охлаждаться. Используется река, искусственное озеро, море, океан.

bit.ly/2kVEdKW

bit.ly/2Jh36zg

У атомной подводной лодки тоже «нет экосистемы, напрямую подключенной к мировому океану»?

Прямо в точку! А я бы купил готовую п/л и сделал в ней. Места — хоть сам заселяйся, система охлаждения есть и т.д.
А это уже бизнес-идея для росатома ибо можно делать вообще практически автономные ДЦ с собственным питанием от реактора и работающие на гораздо больших глубинах. Только дорого очень это будет стоить.
Зато переживет третью мировую и персонал для обслуживания будет на борту.
и персонал для обслуживания будет на борту
даже сложно себе представить запись в трудовой книжке «сисадмин-подводник»)))
UFO landed and left these words here
Главное — подумать насчёт 1) воздуха, 2) провианта, 3) утилизации отходов жизнедеятельности, 4) ещё насчёт кое-чего*.

-- -- -- --
* Того, для чего в дальнее плавание брали на борт нескольких девушек-подростков вплоть до конца XVIII века. Поговорка «Женщина на корабле приносит несчастье» появилась уже под закат парусной эпохи и начало паровой.
На сайте проекта написано — dry nitrogen (осушенный азот)
Сдаётся, что экономия там не на охлаждении, а на аренде поверхностей под ДЦ и налогах.
Скоро пиратская бухта будет настоящей бухтой в нейтральных водах.
А потом туда приплывет флот копирастов с глубинными бомбами…
У США вроде уже есть подводная лодка для незаметного подключения к океанским кабелям. А тут можно прям сразу к датацентру присосаться.
Интересно, как в этом дата-центре решается вопрос с переключением оборудования из-за форс-мажоров вроде отказа питания/процессора/ОЗУ и прочего. Не зеркалится же всё на все сервера.
И как планируется поднимать его после 5 лет эксплуатации. Те же кораллы(хотя не уверен что они в холодных морях есть) не успеют его приклеить? Да и растения и прочая живность тоже будут кучковаться вокруг теплого контейнера.
Это сервера к Azure скорее всего подключены. Т.е. при отказе нагрузка просто автоматически перебросится на другие. А через 5 лет эти сервера просто распродадут как морально устаревшие.
Некоторые экологи выражают беспокойство, что подводное размещение дата-центров приведёт к повышению температуры Мирового океана. Но приблизительные расчёты в уме говорят, что температура воды на глубине несколько метров повысится не более чем на тысячные доли градуса.


Вот у меня такие на факультете Экологии учатся, те самые люди котрые считают что Ветрянные установки перемалывают миллионы птиц ежедневно и нужно все их вырвать с корнем.

А по теме разве не надо в Дата Центрах проводить обслуживание техники? 5 Лет без обслуживания оптимистично, мне кажется.
Система охлаждения наверняка заложена с запасом, так что если путь даже 10-15% вентиляторов помрут ничего страшного не произойдет. С остальным железом ещё проще, минимальная ячейка померла и померла, жрать не просит.
По итогу такие потери наверняка не стоят в сравнении с переспективой эти штуки из воды доставать и обратно засовывать слишком часто.
Подозреваю что итоговая экономия на электричестве и поддержании инфроструктуры будет такая что пусть хоть там половина оборудования помрет, всё равно будет выгоднее чем сопостовимый объем железа охлаждать и держать в чистоте.
скорее всего, там всё оборудование (сервера, охлажение, сеть и СХД) установлено с избыточностью N+X.
Непонятно почему не сделали без вентиляторов, пассивное охлаждение на корпус.
Потому что при циркуляции охлаждение в разы эффективнее чем просто с пассивного радиатора. Альтернативой является ставить тепловые трубки от каждого заметного источника тепла на корпус.
Очевидно эффективнее, но здесь ведь необслуживаемая штуковина.
Тут дело в цене и статистике. Выше писали что наверно выйдут из строя ~15% вентеляторов. И наверняка часть серверов. Система их отключит и продолжит работать с остальными. Наверняка они при проэктировании закладывали сколько может выйти из строя.
Альтернативой как я писал, является отвод тепла тепловыми трубками к поверхности — это значительно дороже, и что существенно значительно сложнее. По фотографиям видно, что собрали все и задвинули в контейнер. Если нужно прислонить к поверхности тепловые трубки так просто не получится.
Ну или же наполнять более эффективным теплоносителем — тоже дорого.
Ну тут всегда упирается в затраты. Делать ли надолго или постараться уложить ресурс вплотную к сроку устаревания и замены. А так как конструктора и производство знатно натренировались укладываться поближе к указанному сроку (он же чаще всего гарантийный), то такой подход выгоднее в глазах заказчика.
Сделаю, пожалуй, себе такой на даче. Из канистры и трёх Raspberry. Или нет! Две Rapberry поместятся в банку от пива, ещё место под флешки останется. Мечты…
UFO landed and left these words here
У меня нет оптики, у меня есть круче — модем на 42 мГц. Пробивается через 15 см воды!
А шлюз для водолаза где?:)

Звонок в техподдержку: у нас тут пара дисков из рейда отвалилась, не посмотрите?

Одевает гидрокостюм, берет акваланг…
В датацентр требуется 2 инженера с сертификатом PADI AOWD+DEEP DIVER+DRY SUIT (без напарника нельзя нырять)
там еще как минимум нужен Cavern, Decompression Procedures, сертификаты на смеси всякие, долго на 40м не просидишь с азотом
На 40м можно и с кислородом обычным — но отдельная специальность DeepDiver. Сам сдавал)
Там bottom time на 40 м на воздухе около 5 минут если мне не изменяет память, особо не на чинишься за это время. Нужно декомпрессию проходить.
Плюс внутрь нельзя лазить без Overhead Environment сертификатов, только голову засунуть :)
Не надо забывать про простое устройство — водолазный колокол. Можно приборы, запчасти и тп доставлять не замочив.

Водолазный опыт все равно может быть нужно для экстренного покидания капсулы. Кроме того, первая часть комментов про особенности функционирования организма человека при повышенном давлении. А в колоколе / капсуле оно будет забортным, так что колокол не решает проблем, с быстрым выходом инженеров после смены. Но можно же вахтами работать!

А сторожевой катер поставили рядом?
Достаточно просто не сказать где лежит. Вон корабли некоторые по 300 лет ищут.
Так к ним оптоволокно с берега не идет.
Здесь несерьезно — 37 метров глубина, любой дайвер увидит. Если реально в глубинах, чтобы прятать, то уже скорлупка станет потолще и, вероятно, сильно подороже. В общем-то… никто не продает б\у подводные лодки? А кабель только у берега под дном «зарыт» специальной машиной, которая «копает» той же струей воды под давлением или в трубах, а на глубине с 1.7-2 км просто по дну лежит.
Да на Карибах корабли ищут столетиями с глубинами 10-15м.

Оптику замулит за месяц и все.
Сложно искать черную кошку в черной комнате, особенно, если ее там нет. Те, кто нашел на глубине 10-15 метров могут ведь свою находку и не афишировать?

Не правда. Посмотрите на фотографии затонувших якорей относительно небольших кораблей, которым больше 100 лет. Все контуры видны. А кабель на такой глубине не обрастает никаким илом и ракушками, а толщину имеет даже большую — картинка в habr.com/post/228415
для больших глубин не проблема поднять внутреннее давление. да и для теплообмена это будет дополнительным плюсом.

А для пущщего теплообмена закачивать не осушенный азот а гелий.

Я не знаю, почему, но в процессе чтения заголовка мой внутренний автокомплит после «дата-центр» добавил «Github» %)
есть мысль что с помощью GitHub они будут проталкивать Azure в массы, ибо сейчас им сложно конкурировать с AWS.
Первое предложение пришлось перечитывать, потому как сперва было «морское дно около Оркнейских островов (Шотландия) в Серверном море». Походу сперва всё-таки тоже было правильно.
UFO landed and left these words here
Робота… заменить… Где этот робот будет диск новый брать? Зачем менять, если можно перекоммутировать? Ну и т.д… Лучшее — враг хорошего.
UFO landed and left these words here
А нахрена? Такая система будет стоить дороже чем при каждом отказе просто новую капсулу топить

Не любите роботов? Но в чуть другом конструктиве обслуживать и людьми будет возможно. Просто именно в этом проекте предполагается необслуживаемая экспериментальная штуковина.

UFO landed and left these words here
UFO landed and left these words here
Было бы выгодно — прокинули. Значит невыгодно.
Любой каприз за ваши деньги. Есть ли они у вас?
Только если ЖД станет оператор связи… а других они не имеют права к своим столбам пускать… и даже в охранную зону
Надо рассказать это ТрансТелеКому. А то пацаны-то не знают.
Блин, у кого-то жемчуг мелкий. У меня на даче антенна на 15м мачте и репитер поднимает 2 палки(давно мерил, не помню в децибелах) и EPGP в пасмурный день без дождя на 94kbt. Тоже 50км, но от Брянска.
Тут в посёлках(не дачных, а вполне жилых) БС не ставят, потому что мало жителей(сотня-две) и никогда не окупится. При том, что в соседнем, километров 10 стоит БС, но низко чтобы напрямую добивать, и достаточной, чтобы сделать РРЛ. А ты оптику хочешь.
А что будет с данными этого цод если в случае аварии вода таки попадет внутрь этих контейнеров?
То же, что будет с данными в обычном ЦОД, если в случае аварии дождевая или водопроводная вода попадет внутрь помещения.
<<3,5 % всей электроэнергии жрут датацентры>>
Где-то недавно информация проскочила что майнинг биткоина уже жрёт 0,5%
Дата-центры потребляют огромное количество электричества (420 тераватт, то есть почти 3,5% мирового энергопотребления приходится на дата-центры), а 15−20% этой энергии уходит на охлаждение компьютеров.

А интересно сколько было бы, если бы не было


Premature optimization is the root of all evil

:D

UFO landed and left these words here
Плохо проект проработан. Надо от вентиляторов уходить вообще, а тепло передавать непосредственно на стенки бочки. Тогда ещё удастся уменьшить габариты и повысить продолжительность работы всей системы без обслуживания.
Не обязательно в море делать, у всех крупных городов есть реки. Трубу крупнее и длиннее с выходом на берег. И можно даже вход туда сделать для обслуживания. Хотя, у крупных городов и так найдётся куда более выгодно деть тепло, вместо обогрева головастиков ))

Через пять лет когда будут поднимать, поднимут вместе с пригревшимися, обнявшими бочку монстрами, спрутами и пр. )) Не факт что они его отдадут без боя ))
Зачем её поднимать? Только если экологи протолкнут закон «Об уборке старых дата-бочек».
Проблема надуманная, в том плане, что мешает использовать систему кондиционирования? Ведь масштаб таков, что каждый житель устанавливает для себя кондиционеры, однако не каждому жителю дано охлаждаться под морем! Что то иное нужно внедрять и/или улучшать, а у данной системы(пост темы) куча недостатков, намучаются ещё.
Странно, при размерах в 12.2m длины и 2.8 диаметра (3.18 включая внешние компоненты) тащили в Северное море аж на 35 метров топить. Это же корабли, кабели, инфраструктура… А от потребителей далеко. При том, что глубина рек позволяет полностью затопить в них. Вот например:
Москва-река глубина от 3 до 14 метров.
Темза глубина до 50 метров.
Днепр — от 3 до 19 метров.
Сена — средняя глубина в районе Парижа: 6,5 м.
Логично топить такие штуки в реках возле больших городов вне судоходных фарватеров. Выгоды: Недалеко тянуть коммуникации, легче поднять, если вдруг что, ближе конечные потребители(?).
два слова — «стресс-тестирование»
Вряд ли. Колебания для реки от +3 до +25 в зависимости от сезона. При том что в Северном море от +2 до +18. Не думаю что разница настолько критична.
Больше похоже на маркетинговый ход. Тепло можно с пользой утилизировать.
Как только заведёте себе «чудовище Максвела»
После покупки Гитхаб, они перенесли ядро Линукс, Кубернетес и т.д. именно в этот датацентр и затопили «в качестве эксперимента».
Якорь не бросать! Здесь Датацентр.
Наркобароны с субмаринами с интересом наблюдают за развитием новых технологий и прикидывают возможности по доработке субмарин для перехода к морскому пиратству.
я вот тоже думаю/ что если его украсть и сдать на цвет мет)))
Думаю, что процесс утилизации выйдет несопоставимо затратнее, чем полученный в результате его цветмет.
UFO landed and left these words here
Просто интересно, как сильно повлияет данный ДЦ на среднюю температуру воды.
Можно рассчитать, сколько ДЦ в воде смогут повлиять на среднюю температуру воды?

Есть знающие на эту тему? Я на самом деле не представляю, как рассчитать. Потому что нужно учитывать не только тепловыделение ДЦ, а теплоотдачу капсулы, течения воды и т.д.
UFO landed and left these words here
420 тераватт, говорите?
Давайте так, будем считать, что датацентры работают 24х7, следовательно, если 420 серверами потреблялось бы столькотераватт, то в год потреблялось бы 3679200 тераватт-часов. Мировое потребление газа ~3500млрд м^3.

1 куб газа при сгорании выделяет 9...10кВт*ч (если верить гуглу). Округлим до 10.

Дла производства 3679*10^12 кВт*ч понадобится 367*10^12 кубов газа,
или 367000 млрд кубов. Это на 2 порядка выше мирового потребления газа.

Не похоже, что 420 тераватт — сколь-нибудь близкая к реальности цифра.
image

Источник: U.S. Energy Information Administration. International Energy Statistics. Electricity. U.S. Department of Energy. Wash. D.C.
ну то есть вся энергия вырабатываемая в мире в 5 раз больше той, что вырабатывается на газу. Следовательно, 420тераватт — это в ~20 раз больше, чем вырабатывается во всем мире.
UFO landed and left these words here
Но в статье таки неточность — источник на который приводится ссылка говорит про 420 ТВт/ч
Only those users with full accounts are able to leave comments. Log in, please.