Серым июльским днем у шотландских островов на поверхность был поднят цилиндр, покрытый ракушками. Его можно было принять за неразорвавшийся боеприпас времен Второй мировой войны, но он был больше, чем любая бомба. Двенадцать метров в длину, два метра в диаметре и размером со сверхмалую подводную лодку X-класса, на которых тренировались подводники в 1942 году. Но баржа с грузом не вернула часть военной истории. Логотип на борту дал ясно понять – это собственность Microsoft.

В 2018 году Microsoft подвела к объекту силовые и оптоволоконные кабели и намеренно затопила. В течение последующих 2 лет под 117-метровой толщей воды внутри цилиндра находились 12 стоек с ИТ-оборудованием обрабатывая рабочие нагрузки по программе Microsoft Azure (лазурный). Подводный центр обработки данных был последним экспериментом в рамках в проекте Natick, который ставил перед собой цель запустить необслуживаемые серверы и выяснить, может ли облако работать под водой. В июле 2020 года пришло время поднять капсулу и оценить результаты.

Проект Natick

Проект получил начало в 2013 году, когда исследователь Microsoft Шон Джеймс (Sean James), ранее служивший подводником ВМС США, написал статью, в которой предлагалось использовать подводные центры обработки данных. В 2014 году компания решила заняться вопросом по-настоящему и собрала команду под руководством Бена Катлера (Ben Cutler). В 2015 году она предприняла первый шаг, запечатав единственную стойку серверов на судне и погрузила ее на мелководье у берегов Калифорнии. Микро-ЦОД надежно работал в течение трех месяцев, прежде чем его подняли для анализа. Это было доказательством предложенной концепции. Видео первого эксперимента.

И вот уже в 2018 году, как было сказано выше «Северные острова» или проект SSDC-002 стал для ЦОДа настоящим испытанием. На этот раз в цилиндре, заполненном инертным газом (азотом) уже было 864 сервера и 27,6 петабайта памяти. Он потреблял в общей сложности 240 кВт, что составляло около 20 кВт на стойку. 

«ЦОД рассчитан на мощность до 900 Вт/U и имеет стойки 42U высотой. Потенциально мы могли подать более 30 кВт на стойку. Система отработала успешно и превзошла все ожидания», – здесь и далее слова Бена Катлера в интервью порталу Data Centre Dynamics (DCD).

SSDC-002 не просто эквивалентен наземным аналогам. По некоторым параметрам проект превосходил их. Microsoft заявила, что оборудование, которое провело два года в подводном центре обработки данных, было в 8 раз надежнее, чем аналогичные серверы, работающие на суше.

Почему морские серверы работают лучше наземных? Как производилось сравнение? И каковы перспективы проекта?

Надежность, рожденная в море

В контейнере нет ничего особенного, по сути, ЦОД был предназначен для использования готового ИТ-оборудования. Более того, оно было даже не новое – серверы были взяты из существующего дата-центра. На них установили только новые SSD накопители для загрузочных дисков и новые жесткие диски для данных. Это было стандартное готовое оборудование.

Команда Катлера взяла партию из почти 1000 серверов, вывезенных из центра обработки данных, разделила между сушей и водой и нагрузила одинаковой рабочей нагрузкой в обеих локациях.

855 из этих серверов были помещены в цистерну на Северных островах и проработали под водой 25 месяцев и восемь дней без обслуживания. Остальные 135 серверов трудились в паре стоек обычного центра обработки данных вместе с оборудованием, на котором работало облако Microsoft Azure.

Корпоративные проекты Microsoft, отправленные на обработку были справедливо распределены между двумя наборами серверов, таким образом одно и то же происходило и на суше, и в воде. Исследователи хотели, чтобы одинаковые серверы работали в различных средах. Ни одна из групп серверов не получала физического обслуживания, хотя вокруг наземных серверов велась нормальная работа центра обработки данных.

Проект SSDC-002 никогда не обрабатывал данные о клиентах, но он работал так хорошо, что, когда в этом году у него освободилась емкость Microsoft направила ее на борьбу с Covid-19 в рамках проекта Folding@home с тем, чтобы изучить белковые структуры вируса.

Протяженные кабели от морского дна до суши могут означать угрозу безопасности, поэтому путь между центром обработки данных и землей был защищен пост-квантовой криптографией. Если бы каким-то образом на объекте был размещен квантовый компьютер, и кто-то бы его подслушивал, то он бы ничего не понял. Таким образом, это был испытательный полигон для множества других технологий, помимо технологий ЦОД.

Через два года подводные серверы, назовем их так, превзошли наземные. Из 135 наземных серверов было потеряно 8. В воде же потеряли 6 из 855. Катлер подчеркивает, что показатели отказов необслуживаемых бывших в употреблении систем несопоставимы вне проекта.

Температура в подводном судне была стабильной (прохожих не было :-). Но вполне вероятно, что основным фактором надежности подводных серверов была инертная азотная атмосфера. Атмосфера Земли состоит в основном из азота, но 21 процент в ней – кислород, являющийся окислителем, вступающим в реакции с различными веществами и вызывающий коррозию. Таким образом, гипотеза заключалась в том, что удаление кислорода и переход в полностью инертную азотную среду может дать системам более высокую надежность.

Natick провел детальные испытания долгосрочных изменений в этой атмосфере, но главный вывод заключается в том, что, оборудование очень комфортно себя чувствует в нереакционноспособной среде, что, собственно, неудивительно.

Как только ЦОД оказался на берегу он был отправлен для анализа партнеру Microsoft в исследовательски центр Naval Group во Франции. Те серверы, что вышли из строя были изучены наиболее тщательно с помощью сканирующих электронных микроскопов и рентгеновских снимков.

Один из выводов похоже можно сделать уже сейчас – аппаратное обеспечение может быть более надежным, чем ожидалось. Есть кривая для срока службы оборудования и оптимальная зона для температур. Если среда слишком горячая или слишком холодная, у вас могут быть проблемы. Устройства эксплуатировались при более низкой температуре, чем обычно, но это их не повредило.

Воздействие на окружающую среду

Обычные центры обработки данных поддерживают постоянную температуру и влажность. С герметичным контейнером команда Natick также должна была учитывать и изменение давления. Помните свой закон об идеальном газе из школы? Если мы повысим температуру, то давление возрастет. Так что в этой среде все немного по-другому.

Охлаждение осуществлялось с помощью теплообменника воздух-жидкость между каждой парой стоек. На каждом из этих теплообменников были установлены вентиляторы, которые прогоняли воздух по мере необходимости. Морская вода засасывалась снаружи, проходила через теплообменник и возвращалась обратно в океан.

Это большой плюс – дата-центры могут использовать много воды для охлаждения. И это позволяет развертывать их в любом месте на водных просторах – от Арктики до экватора. Затраты на охлаждение крайне малы, поэтому большая часть мощности направлялась на серверы, что давало эффективность использования энергии (Power Usage Effectiveness, PUE) всего 1,07.

Низкий PUE – это конечно хорошо, но влияет ли SSDC-002 на локальную среду? Вода, которая сбрасывалась в море, на долю градуса теплее той, что поступала из окружающего океана. И это очень небольшой процент воды, который выходит наружу. Так что буквально в нескольких метрах вниз по течению вы уже не сможете почувствовать разницу температур. Рассеивание тепла имеет важное значение, поэтому в данном случае не было никаких вредных локальных эффектов. Более того морским обитателям нравятся такие вещи. Это искусственный риф, который становится хорошим местом для поиска пищи и местом, где можно спрятаться от крупных морских существ.

Хотя использование возобновляемых источников энергии не входило в рамки этого проекта, в Шотландии есть много местных источников зеленой энергии. На Оркнейских островах, где проходили испытания, находится Европейский центр морской энергии – испытательный полигон для производства электроэнергии из волн. Данные электростанции имеют всплески, которые можно использовать, и исследователи фактически арендовали один из источников чистой волновой энергии – SSDC-002 был подключен к сети, как потребитель. 

Когда же новый старт?

Теперь встает очевидный вопрос: что дальше, ведь результат совсем неплох. Но чему научились исследователи с материальной точки зрения? Что можно сделать еще, какие следующие шаги нужно предпринять на суше? И будет ли больше подводных сооружений?

Ранее Катлер говорил, что море может стать убежищем для центров обработки данных и он по-прежнему очень хочет, чтобы это произошло. По его словам, окружающая среда там совсем не сурова, но обладает бесплатным охлаждением. Да и недвижимость дешевая.

Наконец, морское дно на самом деле является удобным местом, поскольку более половины населения мира живет в 200 км до моря. Это хороший способ разместить приложения рядом с людьми без социальных последствий строительства гигантского центра обработки данных, например, в черте Лондона.

В 2017 году Катлер подал патент для Microsoft, описывая подводный центр обработки данных, в котором контейнеры выстроены в линию, как искусственный риф.

Такой объект мог бы извлечь выгоду из возобновляемых источников энергии. Европа является лидером в области ветроэнергетики, многие из ветряных электростанций находятся море и при этом близки к населению. Поэтому центр обработки данных может быть совмещен с морской ветровой электростанцией. В этом случае не будут нужны междугородные линии электропередач для питания дата-центра, будет снято множество капитальных затрат и рисков, связанных с размещением трансформаторов и прочее. В таком ЦОДе не будет резервных генераторов и батарей, поскольку он будет использовать небольшую часть от производимой ветряной электростанцией энергии и в редкий день, когда не будет ветра, станет забирать энергию с земли. 

Проверка атмосферы

Исследователи вставили пробирки в верхней части резервуара для сбора проб воздуха с помощью приборов масс-спектроскопии и газовой хроматографии. Зачем это делать? При отсутствии воздуха, поступающего в резервуар, SSDC-002 представлял уникальную возможность ответить на вопрос, создает ли центр обработки данных собственное загрязнение воздуха. Но это была закрытая среда и не нужно было беспокоиться о каких-либо формах загрязнения, природного или техногенного происхождения. Не нужно было беспокоиться и о кислороде, но, с другой стороны, там находился пластик, покрывающий Ethernet кабели и прочее оборудование, который может выделять пары или газы, изменяя атмосферу.

Перед затоплением SSDC-002 команда Natick уже отработала наилучший способ создания комфортной 100-процентной атмосферы азота для ИТ-оборудования, начиная с обычного земного воздуха, состоящего из 78 процентов азота и 21 процента кислорода. Для первого испытания в Калифорнии команда Natick просто снизила давление в цилиндре, а затем впрыснула азот. Сначала влажность падает, потому что всё лишнее, в том числе и водяной пар заменяется чистым азотом. Но затем, если подождать несколько часов, влажность снова повысится, поскольку такие вещи, как сетевые кабели, содержат влагу.

Сухая атмосфера вызывает испарение влаги из кабелей, что влечет негативные последствия: если вы избавитесь от всей воды, то получите электростатические эффекты, поэтому влажность вам очень нужна.

Команда Natick впрыскивала азот в один конец цилиндра, а воздух вытягивала из другого. Они регулировали влажность воздуха перед запуском и дистанционно во время эксперимента, поддерживая ее на уровне 30%, что очень похоже на разумную атмосферу на суше.

Через два года нужно было проверить следующее: экспериментаторы не удаляли влагу из кабелей, но все еще приходилось беспокоиться о том, какие соединения в этих кабелях могут со временем выйти из строя и стать проблемой для электроники. К облегчению команды, анализ показал, что с атмосферой в цилиндре проблем нет.

Задачи на суше

Сейчас еще слишком рано говорить о том, построит ли Microsoft более крупное предприятие на морском дне. Необходимо понять, какие уроки мы можем извлечь из этого опыта и что применить в наземных центрах обработки данных. Но одно заключение можно сделать уже сейчас и состоит оно в том, что если в обычном дата-центре нечто ломается, то его можно заменить. В подводном дата-центре это сделать практически невозможно. Если что-то сломано, то оно умирает, случись оно за минуту до того, как мы вытащим его из воды, или сразу после погружения.

На самом деле эта модель очень похожа на центры обработки данных на суше в удаленных местах, на границе сети, куда подается только электричество. Люди не посещают эти объекты в течение длительного времени, потому что туда слишком сложно добраться. SDCC-002 эксплуатировался 25 месяцев и восемь дней, и никто его не трогал.

«Огромный процент стоимости центра обработки данных на протяжении всего срока его службы приходится на серверы, – говорит Бен Катлер. – Однако в мире после принятия закона Мура нет причин менять инфраструктуру каждые два года. В этом мире будет выгодно увеличить ожидаемую продолжительность жизни оборудования, потому что это снижает не только затраты, но и воздействие на окружающую среду».

Он говорит также о вложенной в оборудование энергии и материалах, о стоимости доставки и гарантийных работах. Всю эту сумму лучше потратить на другие вещи, например, на разработку более умных и качественных машин. Высокая надежность важна не только для граничных сред. С 1980-х годов мы находимся на кривой повышения надежности и стараемся двигаться дальше по этой кривой.

SSDC-002 вошел в историю, но в музей не попадет. Команда Катлера взяла на себя обязательство по вторичной переработке оборудования, которое было демонтировано и протестировано, а корпус капсулы был разрезан и переплавлен. В конце концов, заключает Бен Катлер, ценность проекта состоит в том, что мы можем извлечь из него уроки, а не в металлической оболочке.

Публикация подготовлена компанией ITSOFT. Размещение и аренда серверов и стоек в двух ЦОДах в Москве; colocation GPU-ферм и ASIC-майнеров, аренда GPU-серверов. Лицензии связи, SSL-сертификаты. Администрирование серверов и поддержка сайтов.