Серверы в морских контейнерах, туалетная вода для охлаждения, ледяные батареи, почта на магнитной ленте, аллигаторы в пруду и 500 кг выбросов CO2 в секунду.
Google был основан в 1998 году Ларри Пейджем и Сергеем Брином. Последний родился в Москве в семье советских евреев-математиков и выпускников МГУ, впоследствии переехавших в США.
За годы из обычной поисковой системы, размещенной внутри небольшого системного блока с корпусом из Lego, Гугл превратился в целую экосистему дата-центров, разбросанных по всему миру.
На момент 2022 года капитализация «Alphabet Inc», материнской компании Google, составляла порядка 1,5 триллиона долларов. Выручка за 2021 год — чуть больше 257 миллиардов долларов. Над продуктами компании трудится около 163 000 человек по всему миру.
Штаб-квартира Google, именуемая «Googleplex», с самого основания расположена на территории Кремниевой долины в городе Маунтин-Вью штата Калифорния.
Как и подобает огромной технологической компании, основной продукт Google — поисковая система — окружен множеством сервисов и приложений. Наиболее популярные из них: YouTube, Gmail, Google Maps, Google Drive, Google Docs, Google Translate, Google Play.
По данным Internet Live Stats за 2017 год, дата-центры Google обрабатывают в среднем 40 миллионов поисковых запросов в секунду, что дает около 3,5 миллиарда запросов в день и 1,2 триллиона — в год.
Поисковая система индексирует около 20 миллиардов веб-страниц каждый день, а сервис показа объявлений AdWords проводит миллионы рекламных аукционов в режиме реального времени. Gmail хранит электронную почту более 500 миллионов пользователей по всему миру, при этом на каждый почтовый ящик в среднем приходится 17 000 писем.
Чтобы покрыть стремительно растущий спрос на онлайн-сервисы, IT-гиганты вынуждены расширять свою сетевую инфраструктуру из года в год, наращивая вычислительные мощности. Поэтому строительство новых центров обработки данных, или сокращенно ЦОД — важная, если не основная, статья расходов Google.
Дата-центры в Америке, Европе и Азии
Согласно официальным данным, размещенным на сайте Google, по состоянию на 2022 год компания владеет 14 дата-центрами в Северной Америке, 1 в Южной, 6 в Европе и 2 в Азии. В общей сумме 23 ЦОД, каждый из которых имеет свою историю строительства и уникальные технические особенности. При этом, с 2018 по 2022 год было объявлено о начале возведения еще как минимум 6 дата-центров.
На самом деле, официальный сайт компании отражает лишь цифровые мощности, находящиеся в непосредственном владении Google. Помимо них, компания имеет множество стратегических партнеров по всему миру.
Например, регион платформы Google Cloud в Польше был открыт благодаря партнерству с польской компанией DCP (Poland’s Domestic Cloud Provider). Google инвестировал около 2 миллиардов долларов в инфраструктуру ЦОД в Польше, превращая страну в центральную облачную локацию Европы.
Но самый первый сервер компании находился в колокейшн дата-центре Exodus в Санта-Кларе штата Калифорния. Тогда, в 1999 году, у Гугла еще не было своих ЦОД, а имеющаяся мощность — всего 2,5 квадрата инфраструктуры. По соседству стояли серверные стойки eBay, DEC и AltaVista.
В 2003 году, на заре строительства собственных ЦОД, Google разрабатывал модульные дата-центры, которые планировал использовать в будущем. Впоследствии, в 2007 году, технология была запатентована.
Конструкция представляла собой ангар, внутри которого размещались готовые к использованию металлические контейнеры с серверами и охладительным оборудованием внутри.
Предполагались разнообразные схемы соединения контейнеров с центральным «стержнем» питания. В одном случае контейнеры укладывались поверх друг друга в башню. В другом — собирались в многорядную одноэтажную конструкцию.
Однако, амбициозные идеи молодой по тем временам компании оказались на пыльной полке опрометчивых идей.
Один из изобретателей, указанный в патенте, Уильям Уиттед, еще в 2007 году публично заявил, что проект портативного центра обработки данных закрыт. Об этом он сообщил в статье San Francisco Chronicle, повествующей о «пенсионерах» компании: «Одна из идей, которую я отстаивал, заключалась в том, чтобы построить переносные центры обработки данных в грузовых контейнерах. Проект, который Google тестировал на стоянке своей штаб-квартиры, в конечном итоге был отменен».
В дальнейшем компания использовала более консервативные, но не менее инновационные в своем исполнении подходы.
Пока инженеры компании тестировали технологию контейнеров, Google в 2003 году построил первый полноценный ЦОД в округе Дуглас города Атланта — столицы штата Джорджия. Избыточная электроэнергия, низкие тарифы на коммунальные услуги (50% от средней по стране), лояльная налоговая система и низкий риск стихийных бедствий делают Дуглас привлекательным местом для размещения дата-центров.
С 2015 года Google, Switch, Microsoft, PWC, Stack, T5 и Digital Realty инвестировали в серверную инфраструктуру Дугласа более 4 млрд долларов. Поэтому в лесистой местности округа возвышается другой крупнейший дата-центр Атланты от компании Switch — The Keep Campus. Его можно наблюдать на спутниковых снимках буквально через дорогу от ЦОД Google.
На строительство собственного дата-центра в Дугласе Google потратил 1,2 миллиарда долларов, создав около 500 рабочих мест для его дальнейшего обслуживания.
Изначально Google охлаждал оборудование объекта, используя водопроводную воду напрямую, как и в большинстве местных домов. Но в какой-то момент стало понятно, что вода не обязательно должна быть кристально чистой. К тому же, потребление ЦОД настолько велико, что может вызвать нехватку питьевой воды во время засух.
Для уменьшение нагрузки на естественное водоснабжение округа часть воды забирается из сточных вод Дугласа. Управление водоснабжения и канализации округа владеет сооружением, которое очищает канализационные воды от местных домов и возвращает их в реку Чаттахучи в Джорджии. Часть этой воды уходит на вторую очистную станцию, построенную и оплаченную Google. После очистки вода направляется в дата-центр компании.
По сути, когда жители округа принимают душ или спускают воду в туалетах, они помогают охлаждать ЦОД Google. В планах компании увеличить количество оборотной воды до 100 процентов, исключив использование водопровода округа.
Традиционные ЦОД охлаждают серверные комнаты с помощью гигантских кондиционеров, которые размещаются под фальшполами. Это требует огромного количества энергии. Известно, что дата-центры потребляют до 1,5% всей электроэнергии в мире.
Урс Хёльцле, восьмой сотрудник Google и первый вице-президент по инженерным вопросам, вместе со своей командой пришел к выводу, что серверные комнаты не должны быть такими холодными, как это принято в обычных дата-центрах.
Подход, используемый в Google, делит серверное пространство на две части: холодная и горячая.
«Холодный коридор» — основное пространство перед серверными стойками, где поддерживается более высокая температура в 26 градусов Цельсия.
«Горячий коридор» — узкое пространство между задними панелями двух рядов серверов, плотно закрытое металлическими листами на концах. Температура здесь достигает 50 градусов Цельсия.
Вентиляторы в задней части корпуса обеих стоек всасывают воздух, направляя его из холодного коридора в горячий. Проходя через компоненты серверов, воздух нагревается, после чего, поднимаясь в верхнюю часть горячего коридора, передает свое тепло медным змеевикам (катушкам), которые заполнены водой, циркулирующей через охладительное оборудование. Далее, охлажденный до комнатной температуры воздух выпускается через верхнюю часть корпуса стоек.
Сам змеевик соединен с гибким трубопроводом, который спускается через отверстие в полу и, проходя под фальшполом, ведет к градирням, расположенным в другой части здания.
Такая конструкция, известная как «Close-Coupled Cooling», является системой охлаждения последнего поколения. За счет близкого расположения кондиционера к стойке с оборудованием обеспечивается более точное перемещение приточного и отработанного воздуха.
Этот подход более эффективен, чем потолочная камера для перемещения горячего отработанного воздуха на большие расстояния в кондиционеры машинного зала, именуемая «Computer Room Air Condition» (CRAC).
В качестве оборудования для охлаждения многие дата-центры полагаются на чиллеры, потребляющие приличное количество энергию, но в ЦОД Google обычно используются градирни, где горячая вода просачивается вниз через огромные радиаторы. Часть воды испаряется, а часть достигает комнатной температуры или ниже.
Однако чиллеры в дата-центре Дугласа есть до сих пор. Правда их количества едва ли хватит на весь объект. Они используются только в те дни, когда канализационные воды и градирни становятся слишком горячими.
Второй дата-центр Google был построен в 2006 году в городе Даллас штата Орегон. Здесь, на берегу реки Колумбия, в 1950-е годы располагался алюминиевый завод, который закрылся к концу 1980-х.
Как и все последующие ЦОД компании, дата-центр в Орегоне имеет похожую организацию серверных стоек, подвода энергопитания, оборудования для охлаждения и горячих/холодных коридоров.
За все время в дата-центр Далласа было инвестировано 1,8 миллиарда долларов. Первоначальная площадь здания составляла 164 000 квадратных футов. Однако размер последующих расширений держался в тайне.
В холодное время суток над зданиями центра можно наблюдать поднимающиеся столбы водяного пара, испускаемого круглосуточно работающими градирнями. Однако вода в них поступает не из близлежащей реки, а через обычный водопровод.
Дело в том, что водоносный горизонт Далласа был сильно истощен к 1950-м годам из-за сельскохозяйственного орошения и бывшего алюминиевого завода на территории Google. С 1959 года город отводит воду из реки Колумбия на близлежащие фермы в новый ирригационный район. Тем не менее, городская зона продолжает расширяться, увеличивая ежедневное потребление воды. Поэтому город относится весьма осторожно к любому промышленному использованию воды.
Федеральный закон не разрешает снятие воды с Колумбии. Исключение возможно, если водопользователь возвращает воду обратно в реку. Однако сейчас Google сбрасывает воду в городскую канализацию, где она смешивается с остальными сточными водами, которые проходят стадии очистки для соответствия принятым стандартам.
В 2007 году было закончено строительство дата-центра в округе Беркли штата Южная Каролина. С 2013 года объект несколько раз расширялся, достигнув общего объема инвестиций в 2,4 миллиарда долларов. Сегодня здесь работает около 400 человек.
Увидеть масштаб вложений в подобные ЦОД можно со снимков Google Maps — территория объекта действительно впечатляет. Он похож на небольшой микрорайон со своими улицами, дорогами и парковочными местами.
Дата-центр в Южной Каролине один из самый дорогих и нестандартных ЦОД компании. Чтобы уменьшить нагрузку на водоснабжение округа Google собирает дождевую воду в небольшой пруд и использует ее в системе охлаждения.
Для очищения водоема от цветущих водорослей компания экспериментировала с «телапией» — пресноводной рыбой, питающейся водными растениями. Она также является популярным пунктом меню в ресторанах.
По слухам, некогда в пруду обитал 4-футовый аллигатор, однако как обстоят дела сейчас — неизвестно.
В 2017 году Google опубликовал документ, описывающий преимущества добычи грунтовых вод в округе Беркли для охлаждения своих серверов. На запрос об откачке 1,5 миллионов галлонов в день или 550 миллионов в год законодательный орган ответил крайне жесткими условиями.
Google может извлекать подземные воды только в крайнем случае, когда все другие запасы воды исчерпаны. Это возможно во время пикового спроса в жаркие летние дни, или в случае чрезвычайной ситуации. Единственный другой сценарий — проведение технического обслуживания своей скважины.
На самом деле, водные потребности дата-центров вызывают серьезные споры среди местного населения и активистов. Миллионы галлонов воды в сутки на один объект зачастую выглядят несуразно на фоне заявлений об экологичности серверной инфраструктуры. Компании Google приходится серьезно обосновывать использование столь больших объемов.
Чтобы Google соблюдала вышеуказанные правила, компания должна публично отчитываться об использовании подземных вод каждый квартал.
А вот где Google может использовать воду свободно, так это в Хамине, Финляндия. В феврале 2009 года Google заплатил 52 миллиона долларов за заброшенную бумажную фабрику на берегу Финского залива, после того, как решил, что 56-летнее здание — идеальное место для строительства массивного вычислительного центра.
Часть привлекательности заключалась в том, что мельница в Хамине включала в себя подземный туннель, который когда-то использовался для забора воды из моря. Первоначально эта холодная балтийская вода охлаждала паровую установку на заводе, но Google увидел в этом способ охлаждения своих серверов.
С 2009 года Google инвестировал 1,2 миллиарда евро в дата-центр в Хамине и его периферийную сетевую инфраструктуру. К моменту завершения первого этапа строительства в 2011 году, более 2000 человек и около 50 финских компаний из различных отраслей приложили руку к проектированию этого ЦОД.
Здесь, как и в Бельгийском дата-центре, Google не использует чиллеры вообще — тут их просто нет. Для отвода тепла от серверов используется система перекачки морской воды.
Как и в остальных ЦОД компании, воздух из горячего коридора позади серверных стоек передает свое тепло воде.
Чтобы резкий перепад температуры не нарушал среду вокруг, горячая вода от серверов сбрасывается в море не сразу, а проходит дополнительную стадию охлаждения. Да, вода, охлаждающая серверы, впоследствии тоже охлаждается.
Для этого она проходит несколько стадий смешивания с холодной морской водой, после чего сбрасывается обратно в Финский залив. На выходе ее температура такая же, как и температура Балтийского моря.
В то время как предприятие в Хамине перекачивает воду из моря, в бельгийском центре обработки данных используется система испарительного охлаждения, которая забирает воду из близлежащего промышленного канала.
Таким образом, за счет собственной водоочистной станции Google экономит питьевую воду городского водопровода Валлонии, где расположен дата-центр.
Объект, полностью введенный в эксплуатацию в 2010 году, стал первым дата-центром Google в мире, где полностью отсутствует механическое охлаждение в виде чиллеров. Общая сумма инвестиций 1,6 миллиарда евро.
Эти усилия не остались незамеченными, и в 2018 году Европейская комиссия признала дата-центр в Сен-Гилен лучшим за последние десять лет в номинации «Кодекс поведения в области энергоэффективности в центрах обработки данных».
Мягкий бельгийский климат способствует низкой температуре серверов, упрощению систем охлаждения и росту энергоэффективности объекта, но требует локального прогнозирования погоды в управлении ЦОД.
Несмотря на то, что оптимальное для дата-центра место не обязательно будет оптимальным для солнечной или ветряной электростанции, требующей огромные участки земли, Google решил попробовать свой солнечный проект.
Установленные рядом с дата-центром 10 665 фотоэлектрических панелей генерирует 2,8 гигаватт-час чистой электроэнергии, питая водоочистную установку предприятия круглый год.
В 2022 году Google модернизировала свой дата-центр в Бельгии, заменив дизельные генераторы на модульные батареи Gridstack от компании Fluence. Аккумуляторы имеют общую энергетическую емкость 5,5 МВтч. Это еще один уверенный шаг в сторону зеленой энергетики.
Резервные источники питания используются во время перебоев в электросети, обеспечивая работоспособность серверов 24 часа в сутки.
Контроль батарей осуществляется программным обеспечением FlexPond от компании Centrica. Система также допускает возможность поставки энергии в электросеть города для обеспечения ее стабильности.
Интересно, что у Google есть так называемые «экскурсионные часы», когда сотрудники покидают здание ЦОД, хотя серверы остаются в рабочем состоянии. Это происходит, когда по климатическим причинам в дата-центрах становится слишком жарко.
А вот один из азиатских дата-центров в Тайване, расположенный на берегу округа Уезд Чанхуа, со всех сторон окружен 100-метровыми ветряными турбинами.
Особенность этого ЦОД в том, что он аккумулирует ночную электроэнергию в холодных батареях со льдом или хладагентом, после чего использует ее днем для охлаждения серверов. Причина такого решения — дешевые ночные тарифы на Тайваньскую электроэнергию.
Похожая система накопления энергии в виде холода используется в дата-центре Phoenix ONE от компании Iron Mountain. Ночью чиллеры охлаждают резервуар с ледяными шариками из криогеля, а днем шарики отводят тепло от воды, циркулирующей через дата-центр.
Помимо термальных батарей, Google совместно с тайваньской энергетической компанией New Green Power создает проект из 40 000 солнечных панелей, расположенных в 100 км от дата-центра.
Несмотря на то, что Тайвань — относительно небольшой остров, плотность застройки в Сингапуре, где расположен второй азиатский дата-центр Google, гораздо выше. Поэтому, это первый городской ЦОД компании, где серверные стойки размещаются сразу на нескольких этажах. Напротив — местная начальная школа и пара многоквартирных домов.
Территория комплекса в городе Джуронг-Уэст всего 3 гектара земли. Из-за этого градирни размещены на крыше, а их резервуары — на предпоследнем этаже.
Дешевые серверы, магнитные ленты и армия охранников
Официальных данных о том, сколько серверов находится в распоряжении Google нет. По предположениям Gartner, компании технологических исследований, на момент 2016 года Google владела 2,5 миллионами серверов. Скорее всего, это число стремительно увеличивается по мере расширения серверной инфраструктуры компании.
Однако, точно известно, что еще в самом начале Google отказался от типовых решений, имеющихся на рынке, и разработал собственную серверную платформу.
Подход к проектированию серверов у Google отнюдь не максималистский, как следовало бы ожидать от IT-гиганта. Компоненты серверов выбираются исходя из соотношения цены и качества, а не максимальной производительности, доступной в конкретный технологический период.
Серверы имеют незамысловатый вид и открытый корпус, что обеспечивает легкий доступ для администраторов, регулярно заменяющих вышедшие из строя компоненты. Функциональный дизайн позволяет избежать затрат на косметические атрибуты и декоративные излишества, характерные для OEM-серверов: причудливые обложки, крашенные кожухи из листового металла и сложные крепления.
В классических дата-центрах используются источники бесперебойного питания (ИБП) — громоздкие батареи с собственной системой охлаждения, включающиеся во время неполадок с электросетью.
Поскольку стойки Google уже охлаждаются змеевиками, в корпус каждого сервера устанавливается небольшая батарея — каждая соответствуют уровню Gold стандарта Energy Star с КПД не менее 90%. Такая схема снижает потери электроэнергии примерно на 15%.
Процесс установки сервера прост: администратор вытягивает металлическую заглушку из стойки и вставляет вместо нее сервер, свободно продувающийся системой охлаждения.
Когда серверные части ломаются, Google пытается их починить. Если это невозможно, они разбираются на расходники, используемые в ремонте других серверов или в производстве новых.
В 1999 Урс Хёльцле купил детали для сборки 2000 рабочих прототипов серверов у небольшого поставщика электроники. Исключив ненужные компоненты, Google построил партию серверов примерно по 1500 долларов за штуку вместо стандартных на те времена 5000 долларов.
Изначально Google создавал собственные серверы ради экономии денег, однако сегодня проектирование ЦОД требует более комплексного подхода — серверы должны работать в тандеме с оборудованием для питания и охлаждения, словно единый организм. Это минимизирует затраты на электроэнергию, воду, строительные ресурсы и персонал.
В 2021 году Google заявил о начале проектирования собственных серверных чипов SoC — «систем на кристалле», где несколько функций выполняются на одном чипе. По сути, это замена материнским платам, которая снижает энергопотребление и повышает производительность. Для этого Google наняла Ури Франка, бывшего исполнительного директора Intel, на должность вице-президента по разработке серверных чипов.
С 2016 года Google использует собственные аппаратные акселераторы для приложений машинного обучения. Специальная плата, именуемая «Tensor Processing Unit» (TPU), устанавливается в слот для жесткого диска на сервере и обеспечивают более высокую производительность на ватт для машинного обучения.
За счет того, что чип адаптирован для неточных вычислений, ему требуется меньше транзисторов на операцию. Благодаря этому на единицу площади микросхемы можно уместить большее количество транзисторов, увеличив скорость вычислений.
Известно также, что, кроме аппаратного обеспечения, Google использует собственную файловую систему Google File System (GFS), предназначенную для хранения больших объемов данных между вычислительными системами — отдельными серверами и дата-центрами.
Файловая система является кластерной, несовместима с POSIX и тесно интегрирована с другим продуктом Google — MapReduce. GFS распараллеливает операции на несколько машин одновременно, шифруя и сохраняя информацию минимум в 3 местах одновременно.
GFS, будучи закрытой и кастомизированной, создана для внутренних потребностей Google — такие системы, помимо решения утилитарных задач, устойчивы против внешних атак и имеют меньше уязвимостей.
С 2018 года системы охлаждения в дата-центрах Google полностью управляются искусственным интеллектом, разработанным совместно с DeepMind — лондонской компанией, которую Google приобрел в 2014 году.
Изначально эта система давала лишь рекомендации персоналу, который управлял ЦОД, что приводило к снижению энергопотребления на 40 процентов. Однако, впоследствии Google полностью передал управление алгоритму.
Система имеет средства безопасности, предотвращающие действия, которые отрицательно влияют на охлаждение. Менеджер дата-центра может наблюдать за системой в режиме реального времени и вмешиваться, если что-то идет не так.
Как сообщает Google, компания снизила энергопотребление периферических систем, не связанных с вычислением (охлаждение, трансформаторы, освещение) до 11%, в отличие от большинства ЦОД, где это значение достигает 50% от общих энергозатрат — то есть около половины.
Поэтому, за счет множества оптимизаций, дата-центры Google имеют беспрецедентный показатель энергоэффективности PUE- 1,10. Для сравнения, согласно опросу среди серверных компаний, проведенному Uptime Institute в 2021 году, средний мировой показатель крупнейших ЦОД составляет около 1,57.
Показатель PUE, первоначально разработанный в 2006 компанией The Green Grid, был опубликован в 2016 году как глобальный стандарт в соответствии с ISO/IEC 30134-2:2016.
Он определяется компанией как «отношение всей энергии, используемой для работы целого объекта, к энергии, используемой только для питания серверов».
Однако Google расширил формулу, включив в список накладных расходов электрические потери в кабеле питания сервера и энергии трансформатора в подстанциях. В энергию ИТ-оборудования входят только серверы, системы хранения и сетевое оборудование.
Если бы Google использовал стандартную для отрасли интерпретацию стандарта, каким его задала The Green Grid, дата-центры могли бы похвастаться PUE менее 1,06.
При этом, расчеты показателя основываются на средней производительности всех дата-центров компании, а не только нескольких лучших объектов.
Точность PUE обеспечивается десятками онлайн-измерителей в разных участках дата-центра. Одна часть счетчиков учитывает расходы на общую инфраструктуру объекта, другая — на ИТ-оборудование и его компоненты.
Повысить энергоэффективность ЦОД можно и с помощью специальных накопителей информации. Многие могли бы подумать, что технология ленточных носителей осталась в далеком прошлом, однако именно она используется в дата-центрах Google для архивации данных на случай их потери.
Информация с жестких дисков периодически копируется на магнитную ленту.
Почему именно магнитная лента? У ленточных накопителей рекордная плотность информации и практически отсутствует энергопотребление. В отличие от пластин жесткого диска, требующих постоянного питания, лента находится в неактивном состоянии при отсутствии операций чтения и записи. Ее энергопотребление в сотни раз меньше классических решений эквивалентной емкости.
Еще в 2010 году инженеры IBM компании Fujifilm разработали прототип кассетного накопителя, плотность записи которого около 29,5 Гбит на квадратный дюйм, что является мировым рекордом по плотности записи информации на магнитную ленту — на маленький картридж 10x10x2 сантиметров поместится 35 терабайт данных.
Да, магнитная лента существенно уступает жёсткому диску в скорости работы, однако ее предназначение — не операции над данными за сравнительно короткие промежутки времени, а почти вечное хранение — в ожидании того единственного случая, когда потребуется резервная копия.
И такой случай уже был. В 2011 году произошел крупный сбой Gmail. Потерянные письма 40 000 пользователей были восстановлены из ленточных библиотек Oracle StreamLine 8500 с использованием дисков Linear Tape-Open (LTO).
Google имеет несколько десятков роботизированных библиотек. Каждая лента внутри имеет уникальный штрих-код, по которому рука робота может оперативно находить необходимые блоки информации.
Однако, сохранность информации за счет архивации - это одно. Но совсем другое — ее конфиденциальность. Помимо программных систем защиты, дата-центр должен обеспечивать физическую безопасность данных.
Google рассматривает свои ЦОД как конкурентное преимущество, поэтому только критически важные сотрудники имеют прямой доступ к серверным стойкам.
Компания утверждает о существовании 6 уровней безопасности, которые направлены на защиту пользовательских данных и сокрытие определенных технологических решений компании.
Первый уровень, наиболее очевидный и важный — ограждения и предупреждающие знаки. Высокий забор с защитой от перелезания — разумное, но достаточно консервативное решение. Но в случае Google, забор покрыт специальным волокном, сообщающим охране о любом прикосновении человека к нему.
Второй уровень — безопасный периметр. Он включает в себя главные ворота, систему видеонаблюдения, регулярное патрулирование территории охраной и автоматические барьеры для транспортных средств, способные выдержать удар грузовика.
Третий уровень — доступ к зданию. На входе в здание, помимо личного пропуска, проводится проверка биометрии — сканирование радужной оболочки глаза. В ключевых участках внутри дата-центра аналогично требуется подтверждение личности. Проходить через любые точки авторизации (шлюзы, двери, ворота) можно только по одному.
Четвертый уровень — центр управления безопасностью. Это отдельное защищенное помещение внутри ЦОД, куда «стекается» информация от всех систем защиты на объекте: данные от камер, открытия/закрытия дверей, биометрии. Это «мозг» всей системы безопасности дата-центра.
Пятый уровень — этаж центра обработки данных. Доступ сюда имеет меньше 1% сотрудников ЦОД. Учитывая, что среднее количество персонала на объектах Google — 350 человек — это не более 3-4 сотрудников на весь дата-центр. Это исключительно инженеры и техники, обслуживающие, модернизирующие и ремонтирующие серверное оборудование.
Несмотря на это, хранящиеся данные зашифрованы. В результате те, у кого есть доступ к машинам, не имеют доступа к данным, которые на них находятся.
Шестой уровень — безопасное уничтожение жестких дисков. В отличие от вышедших их строя серверов, которые компания пытается реанимировать или разобрать на компоненты, поломанные жесткие диски полностью уничтожаются. Это общий подход Google по сохранению конфиденциальности данных. Контроль над носителями информации внутри ЦОД — целая цепочка действий, начинающаяся от прибытия дисков с завода на объект, и заканчивающаяся их вывозом на мусоропереработку.
Носители информации в дата-центре занесены в базу данных, позволяющую отслеживать статус каждого диска на складе или в одном из работающих серверов. При поломке, администратор вынимает жесткий диск из серверной стойки, пробивает его штрихкод и помещает в защищенную ячейку, которая передается в отдел утилизации через двустороннюю систему шкафчиков. Это гарантирует, что только специалисты могут производить манипуляции над сломанными носителями.
Сперва диск попадает под пресс с металлическим наконечником, который продавливает камеру с памятью, и только потом его прокручивают через промышленный измельчитель. Только после этого жесткий диск может покинуть территорию дата-центра.
Наконец, вынести с серверного этажа что-либо почти невозможно — каждый сотрудник проходит металлодетектор.
Каждый год уровни безопасности тестируются группой инженеров SRE (Site Reliability Engineering), которые имитируют реальную атаку на дата-центры.
Сценарии самые разные: отключение внутренней корпоративной сети, протечки в водопроводных трубах, акции протеста перед воротами для отвлечения внимания от «злоумышленников», попытка физического проникновения для похищения данных, сбой целого дата-центра в одной из стран или потеря оптоволоконной связи с Азией.
Обычно специалисты SRE собираются в конференц-зале одного из ЦОД США, после чего наблюдают за реакцией сотрудников в атакуемых дата-центрах в других частях мира. Менеджеры по ликвидации чрезвычайных ситуаций должны выполнять процедуры реагирования для поддержания работоспособности ЦОД.
Команда SRE отслеживает телефонные линии и IRC-каналы, чтобы наблюдать за реакцией дежурных диспетчеров Google по всему миру. В среднем, Европе требуется около пяти минут на обнаружение проблемы, после чего персонал начинает связываться с другими. Если ответственные команды не могут найти исправления, атаки прерываются, чтобы не затронуть реальных пользователей.
Наконец, Google является крупнейшим в мире корпоративным покупателем возобновляемой энергии. Подписывая соглашения о покупке электроэнергии у зеленых поставщиков, компания инвестирует огромные средства в строительство новых ветряных турбин и солнечных панелей.
В Финляндии, Дании и Чили расположены три крупные электростанции, питающие местные дата-центры Google.
Чилийская компания AES Chile с помощью ветряных турбин генерирует 125 МВт энергии для дата-центра в муниципалитете Киликура недалеко от Сантьяго.
В Финляндии Google подписал контракт с Ilmatar на покупку примерно 60% от 211 МВт энергии, вырабатываемых крупнейшей ветряной электростанции Финляндии. Ее продукция покрывает потребности ЦОД в Хамине и 36 000 домов поблизости.
В Дании благодаря солнечному проекту Rodby Fjord 150 МВт энергии поставляется в дата-центр Фредерисии.
Согласно официальным планам, Google стремится обеспечить 5 ГВт безуглеродной энергии в ключевых производственных регионах к 2030 году — это около 5 миллиардов долларов инвестиций, позволяющих избежать количества выбросов, равного ежегодному вывозу с дорог более 1 миллиона автомобилей.
Google даже разработал отдельный продукт — Environmental Insights Explorer, позволяющий отслеживать выбросы углекислого газа более, чем в 3000 городах по всему миру.
Однако, в 2015 году исследователь Джоана Молл показала, что выбросы сетевой инфраструктуры Google все еще велики — около 500 кг CO2 в секунду. Она основывалась на данных об интернет-трафике за 2015 год, где среднее количество запросов — 47 000 в секунду. Поэтому каждый запрос — приблизительно 0,01 кг CO2. Google никак не оспаривал эти данные, хотя еще в 2009 году он сам публиковал отчет о 0,2 граммах CO2 на каждый запрос.
Что в итоге?
Определенно, подход Google к проектированию своих ЦОД весьма прагматичен. Он сочетает в себе здравый консерватизм и разумный прогрессивизм.
Предиктивный взгляд компании на серверные технологии, способы добычи энергии и варианты использования природных ресурсов заканчивается в аккурат в той точке, где обычно начинается дорогостоящее, но не факт, что эффективное решение. Можно сказать, Google следует правилу Парето, не пытаясь ухватиться за дополнительные 20% эффективности, потеряв при этом 80% ресурсов. Google весьма рационален в таких вопросах.
Тем не менее, он определенно задает тренды, которым спустя время следуют и другие участники рынка. В том числе крупные IT-гиганты: Apple, Facebook, Microsoft, Amazon.
Особенность IT-гигантов в том, что их, если так можно выразиться, капиталистический эгоизм сочетается с высокой антиципацией — они прекрасно понимают последствия плохой экологии для себя. Именно для себя, а не для остальных.
Поэтому, такие экономические агенты, как Google, весьма искренни в своих зеленых устремлениях — неблагоприятная среда вокруг может весьма пагубно влиять на производственную инфраструктуру компании.
И это правда — на сегодняшний день вряд ли кто-либо может предложить экологические решения лучше и в большем объеме, чем это делает Google. Да, ветряные турбины и солнечные панели имеют свои недостатки — приличное потребление масла на «винты», отрицательное влияние на почву и птиц, выбросы CO2 при производстве панелей и т.д.
Важно помнить, что идеальных решений не бывает, и прогресс не стоит на месте — мир продолжает двигаться вперед. Всему свое время и место.
Используемые в материале изображения были взяты из официальной галереи Google.
НЛО прилетело и оставило здесь промокод для читателей нашего блога:
— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.
