В последнее время штат Айова стал весьма популярным местом среди операторов дата центров. Компания Facebook официально объявила об открытии первого здания своего новейшего модульного ЦОД с воздушным охлаждением в городе Алтуна. Представители соцсети также сообщили, что этот дата центр станет самым длинным во всем мире.
![](https://habrastorage.org/r/w780q1/files/ecf/87e/943/ecf87e943918494d83574c9d754176eb.jpg)
Это первый ЦОД Facebook, который на 100% будет питаться с помощью электроэнергии вырабатываемой на ветровой электростанции (ВЭС). При строительстве дата центр было применено то, что Facebook называет «data center fabric» – проектирование третьего поколения на основе единой высокопроизводительной сети, которая заменит традиционные кластеры.
«Это одно из самых быстрых процессов строительства среди всех наших объектов, и этим мы в первую очередь должны быть благодарны местному населению Айовы», – заявил Брайс Таунс, руководитель строительных работ в Алтуне. Facebook уже начал строительство второго здания для ЦОД, предполагаемая дата завершения и ввода в эксплуатацию – конец 2015 года.
![](https://habrastorage.org/r/w780q1/files/3a7/888/b58/3a7888b58f5d4741bde2167b07619255.jpg)
Еще в апреле 2013 года компания планировала вложить около $300 млн. в строительство первой очереди. Она включает в себя ЦОД площадью в 44,2 тыс. кв. м., который состоит из 4-х зданий хранения данных. Электропитание будет поступать от ВЭС вблизи города Уэллсберг. Данная ветровая электростанция планирует вырабатывать порядка 140 МВт энергии, что более чем достаточно для покрытия возможного роста в будущем.
Для привлечения компании Facebook, власти город Алтуна освободили ее от всех налогов на недвижимость на срок в 20 лет. Этот дата центр станет первым, где введут в эксплуатацию новую архитектуру сети. Сети Facebook были ранее построены с использованием кластеров, но компания заявила, что такой метод не подходит для хорошей работы «мега ЦОД».
![](https://habrastorage.org/r/w780q1/files/b96/7ec/08b/b967ec08b8ab40fe88c9773a09f6f139.jpg)
Сетевой инженер Алексей Андреев объясняет, что размер кластера ограничен плотностью порта коммутатора. «Они имеют собственные внутренние архитектуры, которые требуют более обширных знаний в области программного и аппаратного обеспечения. Учитывая большую площадь дата центра, влияние аппаратных и программных сбоев может быть довольно таки существенным», – сказал Андреев.
Развертывание небольших кластеров «pods», так их назвала компания Facebook, и использование децентрализованной (пиринговой) архитектуры сети, где каждый pod-кластер может «разговаривать» с другим pod-кластером, исключает необходимость использовании коммутаторов с высокой плотностью.
![](https://habrastorage.org/r/w780q1/files/405/658/400/405658400cd84412861b6b2c31cd06e3.jpg)
Кластер pod состоит из 4 устройств – «fabric switches» и 48 обычных коммутаторов, каждый из которых соединен с «fabric switches» посредством канала в 40 Гбит. Серверы в стойке подключены к TOR коммутатору с помощью 10 Гбит канала, общая пропускная способность каждой стойки – 160 Гбит.
![](https://habrastorage.org/r/w780q1/files/954/ab6/273/954ab627342f426eadb6ab4ecf43b9fc.jpg)
Система полностью автоматизирована, и инженерам никогда не придётся настраивать отдельно взятое устройства вручную. Если устройство выходить из строя, оно заменяется и автоматически настраивается с помощью программного обеспечения.
Отныне все свои дата центры Facebook собирается строить используя новую сетевую архитектуру, а уже существующие объекты будут переходить на нее постепенно.
![](https://habrastorage.org/files/ecf/87e/943/ecf87e943918494d83574c9d754176eb.jpg)
Это первый ЦОД Facebook, который на 100% будет питаться с помощью электроэнергии вырабатываемой на ветровой электростанции (ВЭС). При строительстве дата центр было применено то, что Facebook называет «data center fabric» – проектирование третьего поколения на основе единой высокопроизводительной сети, которая заменит традиционные кластеры.
«Это одно из самых быстрых процессов строительства среди всех наших объектов, и этим мы в первую очередь должны быть благодарны местному населению Айовы», – заявил Брайс Таунс, руководитель строительных работ в Алтуне. Facebook уже начал строительство второго здания для ЦОД, предполагаемая дата завершения и ввода в эксплуатацию – конец 2015 года.
![](https://habrastorage.org/files/3a7/888/b58/3a7888b58f5d4741bde2167b07619255.jpg)
Еще в апреле 2013 года компания планировала вложить около $300 млн. в строительство первой очереди. Она включает в себя ЦОД площадью в 44,2 тыс. кв. м., который состоит из 4-х зданий хранения данных. Электропитание будет поступать от ВЭС вблизи города Уэллсберг. Данная ветровая электростанция планирует вырабатывать порядка 140 МВт энергии, что более чем достаточно для покрытия возможного роста в будущем.
Новый вид архитектуры сети
Для привлечения компании Facebook, власти город Алтуна освободили ее от всех налогов на недвижимость на срок в 20 лет. Этот дата центр станет первым, где введут в эксплуатацию новую архитектуру сети. Сети Facebook были ранее построены с использованием кластеров, но компания заявила, что такой метод не подходит для хорошей работы «мега ЦОД».
![](https://habrastorage.org/files/b96/7ec/08b/b967ec08b8ab40fe88c9773a09f6f139.jpg)
Сетевой инженер Алексей Андреев объясняет, что размер кластера ограничен плотностью порта коммутатора. «Они имеют собственные внутренние архитектуры, которые требуют более обширных знаний в области программного и аппаратного обеспечения. Учитывая большую площадь дата центра, влияние аппаратных и программных сбоев может быть довольно таки существенным», – сказал Андреев.
Развертывание небольших кластеров «pods», так их назвала компания Facebook, и использование децентрализованной (пиринговой) архитектуры сети, где каждый pod-кластер может «разговаривать» с другим pod-кластером, исключает необходимость использовании коммутаторов с высокой плотностью.
![](https://habrastorage.org/files/405/658/400/405658400cd84412861b6b2c31cd06e3.jpg)
Кластер pod состоит из 4 устройств – «fabric switches» и 48 обычных коммутаторов, каждый из которых соединен с «fabric switches» посредством канала в 40 Гбит. Серверы в стойке подключены к TOR коммутатору с помощью 10 Гбит канала, общая пропускная способность каждой стойки – 160 Гбит.
![](https://habrastorage.org/files/954/ab6/273/954ab627342f426eadb6ab4ecf43b9fc.jpg)
Система полностью автоматизирована, и инженерам никогда не придётся настраивать отдельно взятое устройства вручную. Если устройство выходить из строя, оно заменяется и автоматически настраивается с помощью программного обеспечения.
Отныне все свои дата центры Facebook собирается строить используя новую сетевую архитектуру, а уже существующие объекты будут переходить на нее постепенно.