Распределительная сеть дата-центров мирового масштаба — сердце империи Google

    «Гу́гол (от англ. googol) — десятичной системе счисления изображаемое единицей со ста нулями».
    (Википедия).
    Многие знают многоликость Google — это и популярный поисковик, и социальная сеть, а также еще множество других полезных и новаторских сервисов. Но мало кто задумывался: каким образом удалось компании развернуть и поддерживать их со столь высоким быстродействием и отказоустойчивостью? Как организовано то, что обеспечивает такие возможности,— дата-центр Google, каковы его особенности? Как раз об этом и пойдет речь в данной статье.

    Собственно, корпорация Google уже давно никого не удивляет мощной динамикой своего роста. Активный борец за «зеленую энергетику», множество патентов в различных областях, открытость и дружественность по отношению к пользователям — вот те первые ассоциации, которые возникают при упоминании Google у многих. Не менее впечатляет и ЦОД компании: это целая сеть дата-центров, размещённых по всему миру, суммарной мощностью220 МВт (по состоянию на прошлый год). Учитывая тот факт, что инвестиции в ЦОД только за последний год составили 2,5 миллиарда долларов, понятно, что компания считает это направление стратегически важным и перспективным. В то же время наблюдается некое диалектическое противоречие, ведь, несмотря на публичность деятельности корпорации Google, его дата-центры являются этаким ноу-хау, тайной, скрытой за семью печатями. В компании считают, что разглашение деталей проектов может быть использовано конкурентами, поэтому лишь часть информации о наиболее передовых решениях просачивается в широкие массы, но даже эта информация весьма интересна.

    Начнем с того, что непосредственно сам Google не занимается строительством ЦОД. У него есть департамент, который занимается развитием и сопровождением, а компания сотрудничает с местными интеграторами, которые и выполняют внедрение. Точное количество построенных дата-центров не афишируется, но в прессе их количество варьируется от 35 до 40 по всему миру. Основная концентрация дата-центров приходится на США, Западную Европу и Восточную Азию. Также некоторая часть оборудования размещается и в арендованных помещениях коммерческих ЦОД, имеющих хорошие каналы связи. Известно, что Google использовал площади для размещения оборудования коммерческих дата-центров Equinix (EQIX) и Savvis (SVVS). Google стратегически нацелен на переход исключительно к использованию собственных дата-центров — в корпорации это объясняют растущими требованиями к конфиденциальности информации пользователей, которые доверились компании, и неизбежностью утечки информации в коммерческих дата-центрах. Следуя последним тенденциями, летом этого года было заявлено, что Google будет предоставлять в аренду «облачную» инфраструктуру для сторонних компаний и разработчиков, соответствующую модели IaaS-сервис Compute Engine, который будет предоставлять вычислительные мощности фиксированных конфигураций с почасовой оплатой за пользование.

    Основная особенность сети дата-центров не в столько в высокой надежности отдельно взятого дата-центра, сколько в гео-кластеризации. Каждый дата-центр имеет множество высокоемких каналов связи с внешним миром и реплицирует свои данные в несколько других дата-центров, территориально распределенных по миру. Таким образом, даже форс-мажорные обстоятельства вроде падения метеорита существенным образом не повлияют на сохранность данных.

    География дата-центров



    Первый из публичных дата-центров находится в Дугласе, США. Этот контейнерный ЦОД (рис. 1) был открыт в 2005 году. Этот же дата-центр является наиболее публичным. По сути это некая каркасная конструкция, напоминающая ангар, внутри которой в два ряда расставлены контейнеры. В одном ряду — 15 контейнеров, расположенных в один ярус, и во втором — 30 контейнеров, расположенных в два яруса. В данном дата-центре находится примерно 45 000 серверов компании Google. Контейнеры — 20-футовые морские. На текущий момент введены в работу 45 контейнеров, а мощность ИТ-оборудования составляет 10 МВт. Каждый контейнер имеет собственное подключение к гидравлическому контуру охлаждения, свой блок распределения питания — в нем есть, кроме автоматических выключателей, еще и анализаторы потребления электроэнергии групп электропотребителей для вычисления коэффициента PUE. Отдельно расположены насосные станции, каскады чиллеров, дизель-генераторные установки и трансформаторы. Декларируется PUE, равный 1.25. Система охлаждения — двухконтурная, при этом во втором контуре используются экономайзеры с градирнями, позволяющие значительно снизить время работы чиллеров. По сути это не что иное, как открытая градирня. Вода, забирающая тепло из серверной, подается в верхнюю часть башни, откуда распыляется и стекает вниз. Благодаря распылению воды тепло передается воздуху, который нагнетается извне вентиляторами, а сама вода частично испаряется. Такое решение позволяет значительно сократить время работы чиллеров в дата-центре. Интересно, что первоначально для пополнения запасов воды во внешнем контуре использовалась очищенная водопроводная вода, пригодная для питья. В компании Google быстро поняли, что вода не обязательно должная быть настолько чистой, поэтому была создана система, очищающая сточные воды из близлежащих очистных сооружений и пополняющая запасы воды во внешнем контуре охлаждения.

    Внутри каждого контейнера стойки с серверами выстроены по принципу общего «холодного» коридора. Вдоль него под фальшполом находятся теплообменник и вентиляторы, которые выдувают охлажденный воздух через решетки к воздухозаборникам серверов. Нагретый воздух с тыльной части шкафов забирается под фальшпол, проходит через теплообменник и охлаждается, образуя рециркуляцию. Контейнеры оборудованы аварийным освещением, кнопками EPO, дымовыми и температурными датчиками пожарной безопасности.


    Рис. 1. Контейнерный ЦОД в Дугласе

    Интересно, что Google впоследствии запатентовал идею «контейнерной башни»: контейнеры ставятся друг на друга, с одной стороны организован вход, а с другого — инженерные коммуникации — системы электроснабжения, кондиционирования и подвод наружных каналов связи (рис. 2).


    Рис. 2. Принцип охлаждения воздуха в контейнере


    Рис. 3. Запатентованная «контейнерная башня»

    Открытый годом позже, в 2006-м, в Даллесе (США), на берегу реки Колумбия, дата-центр уже состоял из трех отдельно стоящих зданий, два из которых (каждое площадью 6 400 кв. метров) были возведены в первую очередь (рис.4) — в них расположены машинные залы. Рядом с этими строениями находятся здания, в которых размещены холодильные установки. Площадь каждого здания — 1 700 кв. метров. Кроме этого, в комплексе есть административное здание (1 800 кв. метров) и общежитие для временного проживания персонала (1 500 кв. метров).

    Ранее данный проект был известен под кодовым названием Project 02. Следует отметить, что само место для дата-центра было выбрано не случайно: до этого здесь функционировала алюминиевая плавильня мощностью 85 МВт, работа которой была приостановлена.


    Рис. 4. Строительство первой очереди ЦОД в Далласе

    В 2007 году Google начал строить дата-центр на юго-западе штата Айова — в Каунсил–Блафсе, недалеко от реки Миссури. Концепция напоминает предыдущий объект, однако есть и внешние отличия: здания объединены, а холодильное оборудование вместо охлаждающих башен размещено вдоль обеих сторон основного строения (рис. 5).


    Рис. 5. Дата-центр в Каунсил-Блафсе — типовая концепция построения дата-центров Google

    Видимо, именно такая концепция была взята в качестве best practices, так как она прослеживается в дальнейшем. Примеры тому — дата-центры в США:
    • Ленуар-Сити (Северная Каролина) —здание площадью в 13 000 кв. метров; построен в 2007—2008 гг. (рис. 6);
    • Монкс Корнер (Южная Каролина) — открылся в 2008 году;  состоит из двух зданий, между которыми зарезервирована площадка под постройку третьего; наличие собственной высоковольтной подстанции;
    • Майес Каунти (Оклахома) —строительство затянулось на три года — с 2007 по 2011 год; ЦОД реализовывался в две очереди — каждая включала в себя постройку здания площадью 12 000 кв. метров; электроснабжение дата-центра обеспечивается ветряной электростанцией.



    Рис. 6. Дата-центр в Ленуар-Сити

    Но первенство по секретности принадлежит дата-центру в Сен-Гислене (рис. 7а). Построенный в Бельгии в 2007—2008 гг., этот дата-центр по размерам превосходит дата-центр в Каунсил-Блафсе. Кроме того, данный ЦОД примечателен тем, что при попытке рассмотреть спутниковую карту Google, вместо него вы увидите пустую площадку в чистом поле (рис. 7б). Google говорит об отсутствии негативного влияния от работы данного ЦОД на окружающие населенные пункты: в качестве воды для градирень в дата-центре используются очищенные сточные воды. Для этого рядом построена специальная станция многостадийной очистки, а вода к станции подводится по техническому судоходному каналу.


    Рис. 7а. Дата-центр в Сен-Гислене на карте поисковика bing


    Рис. 7б. А вот на карте Google его не существует!

    Специалисты Google в процессе строительства отметили, что воду, которая используется для охлаждения наружного контура, было бы логично получать из ее естественного хранилища, а не забирать из водопровода. Корпорация для своего будущего дата-центра приобрела в Финляндии (г. Хамина) старую бумажную фабрику, которая была реконструирована под центр обработки данных (рис. 8). Проект выполнялся в течение 18 месяцев. В его реализации участвовало 50 компаний, а успешный финиш проекта пришелся на 2010 год. В то же время такой размах не случаен: разработанная концепция охлаждения действительно позволила Google заявить еще и о экологичности своих ЦОД. Северный климат в совокупности с низкой точкой замерзания соленой воды позволил обеспечить охлаждение вообще без чиллеров, применив только насосы и теплообменники. Здесь используется типовая схема с двойным контуром «вода — вода» и промежуточным теплообменником. Морская вода закачивается, попадает на теплообменники, охлаждает дата-центр и затем сбрасывается в залив в Балтийском море.


    Рис. 8. Реконструкция старой бумажной фабрики в г. Хамина превращает ее в энергоэффективный ЦОД

    В 2011 году в северной части Дублина (Ирландия) был построен дата-центр площадью 4 000 кв. метров. Для создания ЦОД было реконструировано уже существовавшее здесь здание склада. Это самый скромный из известных дата-центров, построенных в качестве плацдарма для развертывания сервисов компании в Европе. В этом же году началось развитие сети дата-центров и в Азии: три дата-центра должны появиться в Гонконге, Сингапуре и Тайване. А в этом году Google объявил о покупке земли для постройки дата-центра в Чили.

    Примечательно, что в строящемся тайванском ЦОД специалисты Google пошли по-другому пути, решив воспользоваться экономической выгодой от наболее дешевого, ночного тарифа на  электроэнергию. Вода в огромных резервуарах охлаждается при помощи  чиллерной установки с баками—аккумуляторами холода и используется для охлаждения в дневное время. А вот будет ли тут использоваться фазовый переход теплоносителя или компания остановится только на баке с охлажденной водой — неизвестно. Возможно, после ввода ЦОД в эксплуатацию Google предоставит эту информацию.

    Интересно, что полярной идеей является еще более смелый проект корпорации —плавучий ЦОД, который еще в 2008 году запатентовал Google. В патенте указывается, что ИТ-оборудование располагается на плавучем судне, охлаждение выполняется холодной забортной водой, а электричество производится плавучими генераторами, генерирующими электроэнергию от движения волн. Для пилотного проекта планируется использовать плавучие генераторы производства Pelamius: 40 таких генераторов, плавающих на площади 50х70 метров, позволят вырабатывать до 30 МВт электроэнергии, достаточной для работы ЦОД.

    Кстати, Google регулярно обнародует показатель энергоэффективности PUE своих дата-центров. Причем интересна сама методика измерения. Если в классическом понимании стандартов Green Grid это отношение потребляемой мощности дата-центра к ее ИТ-мощности, то Google измеряет PUE в целом для объекта, включая не только системы жизнеобеспечения ЦОД, но и потери на преобразование в трансформаторных подстанциях, кабелях, энергопотребление в офисных помещений и т. д. — то есть всего, что находится внутри периметра объекта. Измеренный PUE приводится как усредненное значение для годичного периода. По состоянию на 2012 год усредненный PUE по всем дата-центрам Google составлял 1.13.

    Особенности выбора места построения ЦОД



    Собственно, понятно, что, строя такие громадные ЦОД, их местоположение Google выбирает не случайно. Какие же критерии в первую очередь учитывают специалисты компании?
    1. Достаточно дешевая электроэнергия, возможность ее подвода и ее экологически чистое происхождение. Придерживаясь курса на сохранение окружающей среды, компания использует возобновляемые источники электроэнергии, ведь один крупный дата-центр Google потребляет около 50—60 МВт — достаточное количество, чтобы быть единоличным клиентом всей электростанции. Более того, возобновляемые источники позволяют быть независимыми от цен на энергоносители. В настоящее время используются ГЭС и парки ветряков.
    2. Наличие большого количества воды, которую можно использовать для системы охлаждения. Это может быть как канал, так и естественный водоем.
    3. Наличие буферных зон между дорогами и населенными пунктами для построения охраняемого периметра и сохранения максимальной конфиденциальности объекта. В то же время требуется наличие магистралей для нормального транспортного сообщения с дата-центром.
    4. Площадь земли, покупаемой под строительство дата-центров, должна позволять его дальнейшее расширение и постройку вспомогательных зданий либо собственных возобновляемых источников электроэнергии.
    5. Каналы связи. Их должно быть несколько, и они должны быть надежно защищены. Это требование стало особенно актуально после регулярных проблем пропадания каналов связи в дата-центре, расположенном в Орегоне (США). Воздушные линии связи проходили по ЛЭП, изоляторы на которых стали для местных охотников чем-то вроде мишеней для состязаний в стрельбе. Поэтому в сезон охоты связь с дата-центром постоянно обрывалась, и на ее восстановление требовалось много времени и значительные силы. В итоге проблему решили, проложив подземные линии связи.
    6. Налоговые льготы. Логичное требование, учитывая, что используемые «зеленые технологии» стоят значительно дороже традиционных. Соответственно, при расчете окупаемости налоговые льготы должны снизить и без того высокие капитальные затраты на первом этапе.



    Особенности в деталях



    Начнем с серверного парка. Количество серверов не разглашается, но различные источники информации называют цифру от одного до двух миллионов серверов, при этом говорится, что даже последняя цифра не предел, а существующие дата-центры заполнены не полностью (учитывая площади серверных помещений, с этим сложно не согласиться). Серверы выбираются исходя из соотношения цены и качества, а не исходя из абсолютного качества или производительности. Платформа серверов — x86, а в качестве операционной системы используется модифицированная версия Linux. Все серверы объединены в кластерное решение.

    Компания еще в 2000 году задумалась над уменьшением потерь передачи и трансформации электроэнергии в серверах. Поэтому блоки питания соответствуют уровню Gold стандарта Energy Star — КПД блока питания не менее 90%. Также из серверов были убраны все компоненты, которые не требуются для выполнения приложений, работающих на них. К примеру, в серверах отсутствуют графические адаптеры, стоят вентиляторы с контролем оборотов, а компоненты позволяют пропорционально загрузке уменьшать свое энергопотребление. Интересно, что в больших дата-центрах и контейнерных ЦОД, где серверы являются по сути расходным материалом, видимо, было решено: срок жизни серверов сопоставим с жизнью аккумуляторов. А раз так, то вместо ИБП – батарея, которая устанавливается в корпус самого сервера. Так удалось уменьшить потери на ИБП и исключить проблему его низкого КПД при малой нагрузке. Известно, что использовалась двухпроцессорная платформа x86, а производством материнских плат специально для Google занималась небезызвестная компания Gigabyte. Любопытно, что сервер не имеет привычного нам закрытого корпуса: присутствует лишь нижняя его часть, где размещаются жесткие диски, материнская плата, батарея и блок питания (рис. 9). Процесс установки очень прост: администратор вытягивает металлическую заглушку из монтажного поля и вставляет вместо нее сервер, который свободно продувается с фронтальной части на тыльную. После установки выполняется подключение батареи и блока питания.

    Состояние и работоспособность каждого жесткого диска сервера отслеживается. Дополнительно выполняется архивация данных на ленточные носители. Своеобразно решена проблема утилизации нерабочих носителей информации — жестких дисков. На первом этапе диски по очереди попадают на некое подобие пресса: металлический наконечник продавливает жесткий диск, спрессовывает камеру с пластинами, чтобы сделать невозможным чтение с них любым имеющимся на данный момент способом. Затем диски попадают в шредер, где их измельчают, и только после этого они могут покинуть территорию дата-центра.

    Столь же высокий уровень безопасности и для сотрудников: охрана периметра, бригады быстрого реагирования дежурят круглосуточно, идентификация служащего вначале по пропуску, выполненному с использованием линзовой (лентикулярной) печати, снижающей вероятность подделки, а после — биометрический контроль по радужке глаза.


    Рис. 9. Типовой «спартанский» сервер Google — ничего лишнего

    Все серверы устанавливаются в 40-дюймовые двухрамные открытые стойки, которые размещаются в ряды с общим «холодным» коридором. Интересно, что в дата-центрах Google не использует специальные конструкции для ограничения «холодного»коридора, а использует навесные жесткие подвижные полимерные ламели, уверяя, что это простое и недорогое решение, позволяющее очень быстро доустанавливать в существующие ряды шкафы и при необходимости сворачивать существующие ламели над верхом шкафа.

    Известно, что, кроме аппаратного обеспечения, Google использует файловую систему  Google File System (GFS), предназначенную для больших массивов данных. Особенность этой системы в том, что она кластерная: информация делится на блоки по 64 Мбайт и хранится минимум в трех местах одновременно с возможностью находить реплицированные копии. Если какая-то из систем выйдет из строя, реплицированные копии находятся автоматически, с помощью специализированных программ модели MapReduce. Сама модель подразумевает распараллелирование операций и выполнение задач на нескольких машинах одновременно. При этом внутри системы информация шифруется. Система BigTable использует распределенные массивы хранения данных для сохранения большого массива информации с быстрым доступом для хранения, например, веб-индексации, Google Earth and Google Finance. В качестве базовых веб-приложений применяются Google Web Server (GWS) и Google Front-End (GFE), использующие оптимизированное ядро Apache. Все эти системы являются закрытыми и кастомизированными — Google объясняет это тем, что закрытые и кастомизированные системы очень устойчивы против внешних атак и в них значительно меньше уязвимостей.

    Подводя итоги, хотелось бы отметить несколько важных моментов, которые не могут не удивлять. Компания Google разумно планирует затраты и стратегию развития дата-центров, применяя понятие «лучшее по цене/качеству» вместо «наилучшее решение». Нет лишнего функционала, нет никаких декоративных излишеств — только «спартанское» наполнение,  хотя кому-то это может показаться не эстетичным. Компания активно использует «зеленые» технологии, причем не как самоцель, а как средство для снижения операционных затрат на электроэнергию и штрафов за загрязнение окружающей среды. При построении дата-центров уклон делается не на большое количество резервирования систем — резервируются сами ЦОД (тем самым минимизируется влияние внешних факторов). Основной упор делается на программный уровень и нестандартные решения. Ориентация на возобновляемые источники электроэнергии и использование ресурсов естественных водоемов говорит о том, что компания старается быть максимально независимой от растущих цен на энергоносители. Экологичность применяемых решений хорошо коррелирует с их энергоэффективностью. Все этого говорит о том, что компания Google имеет не только сильную техническую компетенцию, но и умеет правильно инвестировать деньги, смотреть вперед, идя в ногу с тенденциями рынка.

    Константин Коваленко журнал ЦОДы.РФ, выпуск №1
    Медиа Грус
    Company
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 54

      +4
      не решето.
        +1
        Всегда было интересно узнать о таких секретных объектах. Спасибо
          +2
          Вот уж где, наверняка, иерархия доменных имён состоит из великого множества зон. :)
            0
            А в России есть ЦОДы Google?
              +2
              На сколько мне известно своих дата-центров в России у Google не и не планируется.

              В РФ Google размещает оборудование на арендованных площадях.
              –14
              К сожалению, некоторые статьи на хабре не выглядят, как статьи по следующему пункту — с самого начала не указывается расшифровка какой-либо аббревиатуры, и приходится искать в интернете, что именно эта аббревиатура значит.
              В данной статье с самого начала и по всей статье очень часто используется аббр. ЦОД. Мне пришлось искать в интернете расшифровку данного слова, что не очень хорошо.
              Я думаю, что правильным было бы при первом упоминании аббревиатуры указывать в скобках ее расшифровку.
              Извините, спасибо.
                0
                Учтем на будущее.
                  +24
                  Думаю, те, кто заинтересовался статьей, знает, что такое ЦОД.
                    +1
                    Как ни странно, я заинтересовался статьей, но я не знал до сего момента, что такое ЦОД.
                      +11
                      Ну тогда будьте готовы к тому, что статья, написанная для технических специалистов, будет содержать технические термины :).
                        –12
                        К сожалению, это не технический термин, а аббревиатура.
                          +8
                          … распространенная в среде технических специалистов. Суть не меняется.
                            +5
                            Хм, а аббревиатура не может быть термином?
                            CPU, IP, DNS, GPS — не термины?
                              +1
                              А если там будет написано ОЗУ, вы тоже будет сожалеть
                            –1
                            В (на) Украине обычно принято говорить «датацентр» (ДЦ), я тоже только недавно узнал что такое ЦОД
                              0
                              Украина тут не причём, просто это первое что устоялось в жаргоне админов, да и в технической терминологии.
                              * ДЦ (дата центр) пошло от английского Data Centre, мы же любим английские слова принимать, а ЦОД собственно тоже самое только по-русски.
                          +2
                          Расшифровка ЦОД в заголовке было бы вопиющим неуважением к большинству пользователей хабра :)))
                          +1
                          У Google нет датацентра в Далласе (Dallas), есть в Dalles, Oregon:
                          www.google.com/about/datacenters/inside/locations/index.html
                            0
                            Dalles по-русски, видимо, будет Даллес.
                              +1
                              Спасибо поправили. Даллес находиться в Орегоне на на берегу реки Колумбия, а Даллас в Техас на реке Тринити.
                              0
                              Дополнительно выполняется архивация данных на ленточные носители. wat? поподробнее этот момент можно?
                                +2
                                Я подозреваю, что используются кассеты. Если мне не изменяет память, сейчас это самый дешевый способ бэкапить много данных, и используется очень много где.
                                  0
                                  Вот тут статья, в которой озвучены преимущества ленты.
                                  +2
                                  Да, причем на очень суровые библиотеки.
                                  0
                                  «Google объясняет это тем, что закрытые и кастомизированные системы очень устойчивы против внешних атак и в них значительно меньше уязвимостей.» на счет устойчивости спорить не буду — черный ящик сложнее исследовать. Но вот прямой связи между закрытостью и меньшим количеством уязвимостей не вижу.
                                    +1
                                    Найти уязвимость в закрытой и никому не известной да еще и кастомизированной ИТ-инфраструктуре значительно сложнее чем в открытой, предназначенной для широкой категории потребителей. Конечно прямой связи нет, но воспользоваться многими из этих уязвимостей не удастся они скорей всего просто не будут обнаружены, а через какое-то время они сами уйдут либо с новыми заплатками разработчика, либо при смене ПО
                                      0
                                      ORLY? То есть главный козырь открытых систем, которыми обычно так гордятся любители того же гугла внезапно обернулся наоборот, по мановению руки?
                                        0
                                        MS Windows открытая система?
                                        Я не имел ввиду Open Source, хотя на таком решении и построена OS Google, только допилена во всех местах, а что допилено и в каких местах, конечно же никто не знает и знать не будет.
                                          –2
                                          MS Windows закрытая система и именно это ей постоянно ставят в упрёк, когда говорят о безопасности. А теперь вот, оказывается, что закрытые системы (если они от идеологически верного вендора) оказывается безопаснее.
                                            +2
                                            В том-то и дело, если бы MS Windows нельзя было бы просто так взять и пощупать очень вероятно, что количество найденных уязвимостей в ней в разы было бы меньше, хотя они и остались бы в ней в том же объеме и вполне возможно наследовались бы из версии в версию. В итоге получается, что находят такое количество проблем, что латать не успевают, а система постоянно существует с угрозой взлома.
                                              0
                                              Ставят и правильно делают. Потому, что MS продаёт её, в смысле, предлагает использовать другим, и, значит, зависят от её безопасности другие люди.

                                              Google никому свою закрытую систему не дают. Они и не смогут как-либо распространять Linux с модификациями, не открыв эти модификации.

                                              (Я не имею ввиду «безопасность персональных данных» и тому подобное. Речь о безопасности самой системы.)

                                      0
                                      не пойму, что за лента, которой обмотан блок питания сервера? для чего?
                                        0
                                        Похоже не ленту-липучку, которой БП крепится к раме сервера…
                                          0
                                          я тоже подумал о чем-то подобном, но это как-то кустарно, что ли…
                                      0
                                      Только мне одному т.н. «плавучий ЦОД» напомнил кораблик Корпорации «Umbrella»? )))))
                                        0
                                        Статья какая-то больно рекламная получилась. К чему, например, последний абзац, в котором «несколько важных моментов, которые не могут не удивлять»? Удивляться далее предлагается тому, что «компания Google имеет не только сильную техническую компетенцию, но и умеет правильно инвестировать деньги, смотреть вперед, идя в ногу с тенденциями рынка». Ну офигеть, да.
                                          +1
                                          Задачи прорекламировать Google у нас не было. Философия, корпоративная культура, подходы и решения в бизнесе этой компании у нас вызывают восхищение, мое лично мнение, что Google -это локомотив индустрии Дата-Центров в мире.
                                            0
                                            Локомотив — однозначно. Но статья получилось не про это.
                                          0
                                          Мне интересно, что же они делают со списанным оборудованием, ведь это должно быть десятки или даже сотни сервевров в год. Продают ли они это с молотка или сразу отправляют на утилизацию?
                                            0
                                            Вот тут есть небольшой фоторассказ telecombloger.ru/8038, о том Google в несколько этапов уничтожает HDD
                                            +1
                                            Это, безусловно, интересно, но куда они отправляют остальные комплектующие? Было бы любопытно узнать.
                                              +1
                                              дата-центры сверху похожи на микросхему в DIP-корпусе
                                              • UFO just landed and posted this here
                                                  0
                                                  Интересно что унификация серверов побеждает тенденции, которые существуют в традиционных цод — схд и большие ибп. Вместо этого наиболее дешевые сата винты и батарейка в каждый сервер. Странно что на специально разработанных под них материнках есть пара явно ненужных разъемов :)
                                                    0
                                                    Учитывая подход Google очень сомневаюсь, что разъемы лишние, это все к вопросу скрытности компании при всей кажущейся открытости.
                                                      +2
                                                      Не побеждает, просто ЦОДы гугла и традиционные ЦОДы — это совершенно ортогональные по бизнес-задачам сооружения.

                                                      У Гугла в основном слабосвязанные данные, прекрасно распаралеливающиеся задачи, нет требований к надежности каждого элемента (сдох сервер, пересчитаем независимую задачу на другом) и, как следствие, для них оптимальнее применять много дешевых, обрезанных по самые уши однотипных серверов — расходных материалов.
                                                      Однако, даже из этой статьи видно, что Гугл применяет и традиционные энтерпрайзные технологии, такие как бекап данных на ленту. И, я думаю, у них и обычных серверов достаточно для других типов задач…

                                                      Перед классическими же ЦОДами стоят совсем другие задачи и, как следствие, совершенно другие решения. А СХД и большие ИБП непосредственно вытекают из сильносвязнных задач. Какой смысл питать только часть сервера банковского билинга, когда он должен либо работать весь, либо лежать весь(а работать должно зеркало в другом ДЦ), а не находиться в заранее непредсказуемом состоянии.
                                                        0
                                                        Специфика задач такая — легко распараллеливаются. Ну и эффект масштаба — когда у вас 1-2 миллиона серверов, то даже если десяток тысяч сломается, это будет всего 1%, можно оптимизировать обслуживание — вынимать/заменять серверы раз в неделю или месяц сразу пачками. Обычные компании себе такого позволить не могут — если из сотни (а это уже крупная компания) вылетит всего десяток, то это будет 10%.
                                                        +1
                                                        >Придерживаясь курса на сохранение окружающей среды
                                                        >В настоящее время используются ГЭС
                                                        То, что ГЭС экологичный источник энергии — заблуждение.
                                                          0
                                                          Никто не утверждает что ГЭС на 100% экологический источник энергии, наверное таких еще не придумали, но они гораздо меньше наносят вред окружающей среде чем угольные электростанции.
                                                            +1
                                                            некорректно их сравнивать, для ГЭС затопляют пойму, что меняет биотопы и микроклимат, в этом ее вред.
                                                              0
                                                              Самая авторитетная природоохранная организация Greenpeace успешно сравнивает telecombloger.ru/12495
                                                          0
                                                          Немногие государства так же тщательно хранят свои секреты как «корпорация добра».
                                                            0
                                                            "… открытость и дружественность по отношению к пользователям..." — не смешите мои тапочки )

                                                            Only users with full accounts can post comments. Log in, please.