Учитывая, что к 2025 году ожидается 175 зеттабайт данных, дата-центры будут продолжать играть чрезвычайно важную роль в приеме, исчислении, хранении и управлении информации.
Часто так бывает, что скрытые с виду, центры обработки данных являются основной нашего интернета. Они транспортируют, хранят и передают информацию которую мы создаем каждый день.
Чем больше данных мы создаём, тем более жизненно важным становятся дата-центры.
На сегодняшний день многие центры обработки данных нецелесообразные, не эффективные и устаревшие. Для сохранения их в рабочем состоянии, операторы центров данных, от FAMGA до колокейшн ценров, работают над их модернизацией, чтобы соответствовать тенденциям постоянно меняющего мира.
В этом докладе мы погружаемся во многие аспекты будущего информационных центров и их эволюцию. Начиная от того, где и как они создаются, какую используют энергию и какое аппаратное обеспечению работает внутри них.
![image](https://habrastorage.org/r/w1560/webt/yz/yr/aa/yzyraaagjhgutmyykd8c4xux8dq.png)
Местоположение
Доступ к оптоволоконным сетям, тарифы на источники энергии и окружающая среда — все это играет важную роль в выборе места для создания центров обработки данных.
По некоторым оценкам, мировой рынок строительства ЦОД к 2025 г. может составить до $57млрд. Это достаточно большой вызов, так, как гигант коммерческой недвижимости CBRE запустил целое подразделение, специализирующееся именно на дата-центрах
Карта центров обработки данных
![image](https://habrastorage.org/r/w1560/webt/z-/dd/3y/z-dd3yplqe0jz8ro1u5xzfarso4.png)
Строительство рядом с дешевыми источниками энергии
Размещение энергоемких центров обработки данных рядом с дешевыми источниками питания может сделать их более доступными для запуска. Поскольку выбросы растут, а крупные технологические компании все чаще используют грязную энергию для питания центров обработки данных, зеленые источники энергии являются важным фактором
Apple и Facebook построили дата-центры рядом с гидроэнергетическими ресурсами. В центре штата Орегон компания Apple приобрела гидроэнергетический проект для обеспечения своего центра обработки данных в Принвилле зеленой электроэнергией. Компания уточнила, что дерегулированные рынки электроэнергии штата Орегона являются основной причиной почему они построили несколько центров обработки данных в этом районе. Дерегулирование позволяет Apple покупать электроэнергию непосредственно у сторонних поставщиков, которые используют возобновляемые источники энергии, а не только у местных коммунальных служб.
В Лулео, Швеция, Facebook построил мегацентр данных рядом с гидроэлектростанцией. В Швеции, дата-центры начали появляться в северном регионе, так как, помимо того, что климат прохладный, и локация не подвержена землетрясениям, в этой части очень много возобновляемых источников энергии(гидроэнергия и ветер).
![image](https://habrastorage.org/r/w1560/webt/af/xj/y-/afxjy-ywhpslmq_fduurh0u4ohu.png)
Строительство Facebook в Лулеа, Швеция, в 2012 году. Источник: Facebook
Несколько крупных центров обработки данных уже переехали в Северный регион, некоторые только присматриваются к нему.
В декабре 2018 года Amazon Web Services объявила об открытии своего дата-центра AWS Europe Region, расположенного примерно в часе езды от Стокгольма. В том же месяце Microsoft приобрела 130 гектаров земли в двух соседних частях Швеции, в Евле и Сандвикене, с целью строительства там центров обработки данных.
Помимо близости к дешевым, экологически чистым источникам энергии, компании, которые занимаются строительством центров обработки данных, так же обращают внимание на прохладный климат. Места вблизи Полярного круга, такие как Северная Швеция, могут позволить дата-центрам экономить на охлаждении.
Телекоммуникационная компания Altice Portugal заявляет, что ее дата-центр Covilhã использует наружный воздух для охлаждения своих серверов на 99%. А старый центр обработки данных Google в Хамина, Финляндия, использует морскую воду из Финского залива для охлаждения объекта и снижения энергопотребления.
Компания Verne Global открыла в Исландии кампус, который подключается к местным геотермальным и гидроэнергетическим источникам. Он расположен на территории бывшей базы НАТО и находится между Европой и Северной Америкой — двумя крупнейшими рынками данных в мире.
Строительство в странах с развивающейся экономикой
Размещение центра обработки данных в точке растущего интернет-трафика снижает нагрузку и увеличивает скорость передачии данныхв в регионе.
Например, в 2018 году китайская компания Tencent, которой принадлежат Fortnite и WeChat, разместила центры обработки данных в Мумбаи. Этот шаг стал признаком того, что в регионе активно используется интернет и игровые платформы Tencent становятся все более популярными.
Строительство центров обработки данных в районах, где интенсивно используется интернет, также является стратегическим бизнес-шагом. Если местные предприятия развиваются, то они будут рассматривать возможность переноса своих операций в ближайший центр обработки данных.
Так же у дата-центрах есть функция colocation. Это означает, что они обеспечивают здание охлаждением, питанием, пропускной способностью и физической безопасностью, а затем сдают пространство в аренду клиентам, которые устанавливают там свои серверы и хранилища. Услуга колокейшн обычно ориентируются на компании с небольшими потребностями, это так же помогает компаниям экономить средства на инфраструктуре.
Налоговые льготы и местное законодательство
Информационные центры являются важным новым источником доходов для производителей электроэнергии и поэтому государство привлекает крупные компании разными льготами.
Начиная с января 2017 года, шведское правительство снизило налог на 97% на любую электроэнергию, используемую центрами обработки данных. Электроэнергия в Швеции относительно дорогая, и снижение налогов поставило Швецию в один ряд с другими скандинавскими странами.
В декабре 2018 года компания Google договорилась об освобождении от уплаты налога на продажу центра обработки данных в Новом Олбани, штат Огайо, на 100% 15-летний срок для центра обработки данных стоимостью 600 млн долл. Льгота было предложена с возможностью продления до 2058 года. В сентябре 2018 года Франция, после Брексита надеясь привлечь экономические таланты и мировой капитал, объявила о своих планах по снижению налогов на потребление электроэнергии для дата-центров.
В некоторых случаях создание центра хранения и обработки данных — это один из способов, с помощью которого компании могут продолжать свою деятельность в странах со строгим режимом.
В феврале 2018 года компания Apple начала хранить данные в центре, расположенном в Гуйчжоу, Китай, чтобы соответствовать местным законам. Если раньше для получения доступа к информации граждан Китая, хранящейся в американском центре обработки данных, китайским властям приходилось пользоваться правовой системой США, то теперь местный центр обработки данных предоставляет властям Китая более простой и быстрый доступ к информации граждан Китая, хранящейся в «облаке» Apple.
В то время как китайским властям ранее приходилось проходить через правовую систему США, чтобы получить доступ к информации китайских граждан, хранящейся в американском дата центре, местный центр данных предоставляет властям более легкий и быстрый доступ к информации о китайских граждан, хранящейся в облаке Apple.
Подключение к оптоволокну и безопасность
Еще два важнейших фактора, когда речь заходит о местоположениях центров хранения и обработки данных ,- это подключение к оптоволоконным сетям и строгая безопасность.
В течение многих лет оптоволоконные сети были ключевым фактором при выборе места строительства центров обработки данных. Хотя данные часто пердаются на мобильные устройства по беспроводным сетям или локальным Wi-Fi.
Большую часть времени данные перемещаются в хранилища и обратно через волоконно-оптические кабели. Оптоволокно соединяет центры обработки данных с сотовыми антеннами, домашними маршрутизаторами и другими устройствами для хранения данных.
![image](https://habrastorage.org/r/w1560/webt/2t/pq/zu/2tpqzu9k_viefpxeshj160lgy5q.png)
Карта подводных кабелей
Эшберн, штат Вирджиния, и его соседние регионы превратились в крупный рынок для центров обработки данных, во многом благодаря большой сети оптоволоконной инфраструктуры, которая была создана интернет-компанией AOL, как только она построила там свою штаб-квартиру. В это время другие компании, такие как Equinix, переехали в регион и построили свои собственные дата-центры, оптоволоконные сети в регионе продолжают расти, что привлекает все больше новых центров обработки данных.
Facebook инвестировал почти $2B в центр обработки данных в Хенрико, штат Вирджиния, а в январе 2019 года компания Microsoft в шестой раз получила грант в размере $1,5 млн на расширение своего центра обработки данных в Саутсайде, штате Вирджиния.
Так же появляются новые альтернативы оптоволоконным сетям, поскольку крупный технический персонал строит свою собственную инфраструктуру подключений.
В мае 2016 года Facebook и Microsoft объявили о совместной работе по прокладке подводного кабеля между Вирджиния Бич, Вирджиния и Бильбао, Испания. В 2017 году Facebook объявил о дальнейших планах по строительству собственной волоконно-оптической сети длиной 200 миль в земле в Лас-Лунасе, штат Нью-Мексико, для подключения своего центра обработки данных в Нью-Мексико к другим серверным фермам. Подземная волоконно-оптическая система создаст три уникальных сетевых маршрута для информационного путешествия в Лас-Лунас.
Помимо подключения, еще одним важным пунктом является безопасность. Это особенно важно для центров обработки данных, в которых хранится конфиденциальная информация.
Например, норвежский финансовый гигант DNB в партнерстве с центром обработки данных Green Mountain создал свой центр обработки данных. Green Mountain разместила дата-центр DNB в объекте повышенной безопасности — переоборудованном бункере в горе. Компания утверждает, что гора полностью защищена от всех видов опасностей, включая террористические атаки, извержения вулкана, штормы, землетрясения.
Центр обработки данных «Swiss Fort Knox» расположен под Швейцарскими Альпами, дверь которого замаскирована под камень. Его сложная внутренняя система включает в себя множество туннелей, доступ к которым возможен только при соответствующей расчистке. Центр обработки данных защищен аварийными дизельными двигателями и системой воздушного давления, которая предотвращает попадание в помещение ядовитого газа.
![image](https://habrastorage.org/r/w1560/webt/sp/fb/vw/spfbvwned4aumuchrlqaxn7pxfu.png)
Форт Нокс Швеции ‘является физически и цифрово-гипербезопасным. Источник: Маунт 10
В связи с высокой степенью защищенности серверов в некоторых дата-центрах, существует множество дата-центров, местонахождение которых никогда не афишировалось. Информацию о местоположении этих центров можно использовать как оружие.
В октябре 2018 года WikiLeaks опубликовала внутренний список объектов AWS. Среди обнаруженной информации был и тот факт, что Amazon была претендентом на создание частного облака стоимостью около $10B для Министерства обороны.
Сама WikiLeaks столкнулась с трудностями при поиске подходящего центра обработки данных для размещения своей информации. AWS прекратила хостинг для WikiLeaks, потому что компания нарушила условия о предоставления услуг — а именно, выпустила документы, на которые не имела прав, и подвергла к риску жизни людей.
В следствии чего WikiLeaks переехала во множество различных дата-центров. В какой-то момент даже ходили слухи, что WikiLeaks рассматривает возможность размещения своего центра обработки данных в океане, в непризнанном государстве Сеаланд в Северном море.
Структура
В то время как местоположение, возможно, является самым главным фактором, что бы уменьшить риск в сбое работы центров данных, структуры центров данных также играют важную роль в обеспечении надежности и долговечности.
Правильное строительство центра обработки данных может сделать его устойчивым к сейсмической активности, наводнениям и другим видам стихийных бедствий. Кроме того, конструкции могут быть приспособлены для расширения, снижения энергозатрат.
Во всех отраслях — от здравоохранения до финансов и производства — компании полагаются на центры обработки данных для поддержки растущего потребления данных. В некоторых случаях эти центры обработки данных могут быть собственными и располагаться на месте, в то время как другие могут совместно использоваться и располагаться удаленно.
В любом случае центры обработки данных находятся в центре растущего технологического мира и продолжают испытывать собственные физические трансформации. Согласно инструменту CB Insights Market Sizing, глобальный рынок услуг центров обработки данных оценивается в $228 млрд. к 2020 году.
Одним из последних преобразований в построении центров обработки данных является размер. Некоторые центры обработки данных стали меньше и более распостраненными (их называют периферийными центрами обработки данных). В то же время другие центры обработки данных стали больше и более централизованными, чем когда-либо — это мега-центры обработки данных)).
В этом разделе мы рассмотрим периферийные и мегацентры центров обработки данных.
Периферийные центры обработки данных
Небольшие распределенные центры обработки данных, называемые периферийными центрами обработки данных, создаются для обеспечения гиперлокальной системы хранения.
В то время как облачные вычисления традиционно служили надежным и экономически эффективным средством подключения многих устройств к Интернету, непрерывный рост IoT и мобильных вычислений привел к нагрузке на пропускную способность сетей дата-центров.
В настоящее время появляется технология Edge computing, предлагающая альтернативное решение. (Граничные вычисления (Edge computing) — это парадигма распределенных вычислений, осуществляемых в пределах досягаемости конечных устройств. Данный тип вычислений используется для сокращения времени сетевого отклика, а также более эффективного использования пропускной способности сети.)
Это предполагает размещение вычислительных ресурсов ближе к месту, откуда поступают данные (т.е. к двигателям, генераторам или другим элементам. Сделав так мы уменьшаем время на перемещения данных в централизованные вычислительные локации, такие как облака.
Хотя эта технология еще только зарождается, она уже обеспечивает более эффективный метод обработки данных для многочисленных случаев использования, включая автономные транспортные средства. Например, автомобили Tesla имеют мощные бортовые компьютеры, которые позволяют обрабатывать данные с малой задержкой (практически в режиме реального времени) для данных, собираемых десятками периферийных датчиков автомобиля. Это позволяет автомобилю своевременно принимать самостоятельные решения.)
![image](https://habrastorage.org/r/w1560/webt/m3/_s/so/m3_ssojp1pruiyo_zjnylp4aldc.png)
Однако другие передовые технологии, такие как беспроводные медицинские устройства и датчики, не обладают необходимой вычислительной мощностью для непосредственной обработки больших потоков сложных данных.
В результате этого развертываются меньшие по размеру модульные центры обработки данных для обеспечения гиперлокальных систем хранения и обработки данных. По данным инструмента CB Insights Market Sizing, к 2023 году мировой рынок вычислительной техники достигнет $34B.
Эти центры обработки данных, которые, как правило, размером с транспортный контейнер, размещаются в основании сотовых вышек или как можно ближе к источнику данных.
Помимо транспорта и здравоохранения, эти модульные центры данных используются в таких отраслях, как обрабатывающая промышленность, сельское хозяйство, энергетика и коммунальное хозяйство. Они также помогают операторам мобильных сетей (МНС) быстрее доставлять контент мобильным абонентам, в то время как многие технологические компании используют эти системы для хранения (или кэша) контента ближе к своим конечным пользователям.
Vapor IO — одна из компаний, предлагающая услуги колокейшн, размещая небольшие ЦОДы на базе вышек сотовой связи. Компания имеет стратегическое партнерство с Crown Castle, крупнейшим поставщиком беспроводной инфраструктуры в США.
![image](https://habrastorage.org/r/w1560/webt/bb/fh/jn/bbfhjn5iviyb08fww4gtavlun5q.png)
Другие передовые компании центров данных, такие как Edgemicro, предоставляют центры микроданных, которые соединяют операторов мобильной сети (МНС) с провайдерами контента (CPS). Основатели EdgeMicro используют опыт руководителей таких организаций, как Schneider Electric, одна из крупнейших энергетических компаний в Европе, и CyrusOne, один из крупнейших и наиболее успешных поставщиков услуг центров обработки данных в США.
Недавно компания представила свое первое производственное подразделение и планирует продавать свои услуги колокейшн контент-провайдерам, таким как Netflix и Amazon, которые получат выгоду от повышения скорости и надежности доставки контента. Эти колокейшн-сервисы идеально подходят для компаний, которые стремятся владеть, но не управлять своей инфраструктурой данных.
![image](https://habrastorage.org/r/w1560/webt/bv/ae/ij/bvaeij_qbllzzl1ylrar5eqprcw.png)
Edge Micro
И стартапы не единственные, кто участвует в рынке периферийных центров обработки данных.
Крупные компании, такие как Schneider Electric, не только сотрудничают со стартапами, но и разрабатывают собственные продукты для центров обработки данных. Schneider предлагает несколько различных сборных модульных центров обработки данных, которые идеально подходят для различных отраслей промышленности, которые нуждаются в гипер-локальных вычислительных ресурсах и места для хранения.
![image](https://habrastorage.org/r/w1560/webt/9i/sz/99/9isz99hr_00qge0tg7pzdl8sth4.png)
Huawei
Эти комплексные решений объединяют системы питания, охлаждения, пожаротушения, освещения и управления в одном корпусе. Они предназначены для быстрого развертывания, надежной работы и удаленного мониторинга.
Мегацентры обработки данных
На другом конце спектра находятся мега-центры обработки данных — центры обработки данных с площадью не менее 1 млн кв. футов. Эти объекты достаточно велики, чтобы удовлетворять потребности десятков тысяч организаций одновременно, и в значительной степени выигрывают от экономии за счет эффекта масштабности.
Несмотря на то, что строительство таких мегацентров обходится дорого, стоимость квадратного фута гораздо выше, чем стоимость среднего ЦОДа.
Одним из крупнейших проектов является объект площадью 17,4 млн кв. футов, построенный компанией Switch Communications, который обеспечивает предприятия жильем, охлаждением, питанием, пропускной способностью и физической безопасностью своих серверов.
![image](https://habrastorage.org/r/w1560/webt/kq/i5/f0/kqi5f08_s7fo7mf_v6iwgotmyrg.png)
Switch
В дополнение к этому огромному кампусу «Citadel» в Тахо Рино, у компания есть так же центр обработки данных площадью 3,5 млн кв. футов в Лас-Вегасе, кампус площадью 1,8 млн кв. футов в Гранд-Рапидс и кампус площадью 1 млн кв. футов в Атланте. Кампус Citadel является крупнейшим в мире центром колокейшн-данных, по данным сайта компаниих.
Big tech также активно строит мега-центры обработки данных в США, с Facebook, Microsoft и Apple — все здания для поддержки их растущих потребностей в хранении данных.
Например, Facebook строит дата-центр площадью 2,5 млн кв. футов в Форт-Уэрте, штат Техас, для обработки и хранения личных данных своих пользователя. Предполагалось, что дата-центр будет занимать всего 750 тыс. Кв. Футов, но компания социальных сетей решила утроить свой размер.
![image](https://habrastorage.org/r/w1560/webt/nt/sy/er/ntsyer6c5fkm1paxkrb4a5zyf7w.png)
Источник: Facebook
Новый дата-центр будет стоить около 1 миллиарда долларов и разместится на 150-акровом участке земли, что даст возможность в будущем расширяться. В мае 2017 года было введено в эксплуатацию 440 тыс. Кв. Футов.
Одна из последних инвестиций Microsoft — центр обработки данных в Уэст-Де-Мойн, штат Айова, который обошелся компании в 3,5 миллиарда долларов. Вместе этот кластер центра обработки данных занимают 3,2 миллиона квадратных футов пространства, а самый большой центр обработки данных занимает 1,7 миллиона квадратных футов. Этот специальный дата-центр, который называется Project Osmium, расположен на 200 акрах земли, ожидается, что строительство будет завершено к 2022 году.
В последние годы Айова стала популярным местом для центров обработки данных из-за низких цен на энергию (одни из самых низких в стране) и низкого риска стихийных бедствий.
Apple также строит не большой объект в Айове: площадь 400 тыс. кв.футов и его стоимость составит $1,3 млрд.
![image](https://habrastorage.org/r/w1560/webt/f6/nm/vu/f6nmvuk2mmrsnsncc3cx7noetis.png)
Источник: Apple Newsroom
В то время как некоторые объекты Apple построены с нуля, чтобы управлять всем контентом — хранилищем приложений, потоковым музыкальным сервисом, хранилищем iCloud, пользовательскими данными, Apple перепрофилировала завод по производству солнечных панелей площадью 1,3 м²в Месе, Аризона, который был открыт в августе 2018 года. Новый центр данных работает на 100% зеленой энергии благодаря расположенной поблизости солнечной ферме.
За пределами США к конкретным регионам, которые привлекли эти мега-центры обработки данных, относится Северная Европа, которая была популярным местом для строительства технологических гигантов благодаря своей прохладной температуре и налоговыми льготами.
Хух-Хото, Китай, расположенный во Внутренней Монголии, также имеет удобное расположение для мега-центров обработки данных, так как есть доступ к дешевой местной энергии, прохладную температуру и университетским талантам (с Inner Mongolia University).
В то время как крупные центры обработки данных стали популярной темой для всего Китая, регион Внутренней Монголии стал центром таких разработок. China Telecom (10,7 млн SF), China Mobile (7,8 млн SF) и China Unicom (6,4 млн SF) создали в этом регионе мега-центры обработки данных.
![image](https://habrastorage.org/r/w1560/webt/mt/cv/f5/mtcvf5irscvmexz2k5yed0jnoc0.png)
Источник: World’s Top Data Centers
Инновация центра обработки данных
В дополнение к дата-центрам, новые структуры центров обработки данных, разработанные с учетом преимуществ окружающей среды, являются еще одной новой тенденцией.
Сегодня многие организации экспериментируют с центрами данных, которые работают в океане и на его территории. Эти структуры используют свое окружение и свои ресурсы для естественного охлаждения серверов по очень низкой стоимости.
Одним из наиболее прогрессивных примеров использования океана с естественным охлаждением является проект Microsoft Project Natick. Как было отмечено в патентной заявке, поданной в 2014 году и названой «Погружной центр обработки данных», компания Microsoft погрузила под воду небольшой цилиндрический центр обработки данных побережья Шотландии.
![image](https://habrastorage.org/r/w1560/webt/kc/lq/r1/kclqr1zzjoiwkecnf09krsehlq0.png)
В центре обработки данных используется 100% возобновляемой электроэнергии местного производства от береговых ветровых и солнечных источников, а также от морских приливов и волн. Объект использует океан для отвода тепла от инфраструктуры.
![image](https://habrastorage.org/r/w1560/webt/vw/b4/h9/vwb4h9lhapndggpxh4vy9-8cy98.png)
Источник: Microsoft
Находясь еще на ранних стадиях, Microsoft добилась больших успехов в этом проекте, что может дать зеленый свет для распространения центров обработки данных в океане в будущем.
Google также экспериментировал с океаническими центрами данных. В 2009 году компания подала заявку на патент для Центра данных на водной основе, который предусматривает создание центров данных на борту плавающих барж.
![image](https://habrastorage.org/r/w1560/webt/j5/qt/mu/j5qtmuhl2inlqvg7kpqqjpd3brc.png)
По аналогии с дизайном Microsoft, структура будет использовать окружающую воду для естественного охлаждения объекта. Кроме того, баржа может также генерировать энергию от океанических течений.
Несмотря на то, что Google не сообщал, проводились ли испытания этих конструкций, считается, что компания несет ответственность за плавучую баржу в заливе Сан-Франциско еще в 2013 году.
Запуск Nautilus Data Technologies осуществлялся с очень похожей задумкой. За последние годы компания привлекла $58 млн, чтобы воплотить в жизнь концепцию этого плавучего ЦОДа.
![image](https://habrastorage.org/r/w1560/webt/h8/an/xv/h8anxvhq3nzbgbblms9q1qzkmr0.png)
Источник: Business Chief
Компания уделяет меньше внимания самому судну, а больше технологии, необходимой для питания и охлаждения центров хранения данных. Основными задачами Nautilus являются: снижение стоимости вычислительной техники, сокращение потребления энергии, прекращение потребления воды, уменьшение загрязнения воздуха и сокращение выбросов парниковых газов.
Энергоэффективность и экономичность
В настоящее время 3% всего потребления электроэнергии в мире приходится на центры обработки данных, и это процент будет только расти. Это электричество не всегда «чистое»: по данным Организации Объединенных Наций(ООН), сектор информационных и коммуникационных технологий (ИКТ), который в значительной степени подпитывается центрами обработки данных, обеспечивает такое же количество парниковых газов, что и авиационный сектор с топлива.
Хотя ИКТ удалось сдержать рост потребления электроэнергии отчасти за счет закрытия старых, неэффективных дата-центров, эта стратегия может привести лишь к росту потребления Интернета и производства данных.
В будущем для центров обработки данных есть два выхода для снижения выбросов: повысить эффективность использования энергии внутри центра обработки данных и обеспечить чистоту используемой энергии.
Снижение потребление и повышение энергоэффективности
В 2016 году DeepMind и Google работали над системой рекомендаций по ИИ, которая поможет сделать центры обработки данных Google более энергоэффективными. Основное внимание уделялось мельчайшим усовершенствованиям: даже небольших изменений было достаточно, чтобы помочь значительно сэкономить энергию и сократить выбросы. Однако после того, как рекомендации были введены в действие, их реализация потребовала от оператора слишком больших усилий.
Операторы центров обработки данных поинтересовались, могут ли они быть реализованы автономно. Однако, согласно Google, ни одна система искусственного интеллекта еще не готова полностью контролировать процессы охлаждения и нагрева в центре обработки данных.
Текущая система управления ИИ компании Google работает над конкретными действиями, но может выполнять их только в ограниченных условиях, приоритетом которых является безопасность и надежность. По данным компании, новая система обеспечивает в среднем до 30% экономии энергии.
![image](https://habrastorage.org/r/w1560/webt/2j/xt/g6/2jxtg600sri6cct4810sr8v-br4.png)
Типичный день PUE (эффективность использования энергии) при включенном и выключенном ML.
Источник: DeepMind
Компания Google также использовала систему искусственного интеллекта для регулировки эффективности в центре обработки данных на Среднем Западе во время наблюдения за торнадо. В то время как человек-оператор мог сосредоточиться на подготовке к шторму, система ИИ использовала преимущества и знания условий торнадо — такими как, падение атмосферного давления и изменения температуры, влажности — чтобы настроить системы охлаждения центра обработки данных на максимальную эффективность во время торнадо. Зимой система управления ИИ адаптируется к погоде, чтобы уменьшить потребление энергии, которая необходима для охлаждения центра обработки данных.
Однако этот метод не лишен недостатков. Пробелы в технологии ИИ затрудняют создание условий для того, чтобы центр мог легко принимать эффективные решения, а искусственный интеллект очень трудно масштабировать.Каждый из центров обработки данных компании Google уникален, и трудно развернуть инструмент ИИ( искуственный интеллект) во всех сразу.
Еще один способ повысить эффективность является изменение способа охлаждения перегретых частей центра обработки данных, таких как серверы или определенные типы микросхем.
Один из таких методов заключается в использовании жидкости вместо воздуха для охлаждения деталей. Генеральный директор Google Сундар Пичаи (Sundar Pichai) сказал, что недавно выпущенные чипы компании настолько мощны, что компании пришлось погрузить их в жидкость, чтобы охладить их в нужной степени.
Некоторые центры обработки данных экспериментируют с погружением центров обработки данных под воду, чтобы упростить охлаждение и повысить энергоэффективность. Это позволяет дата-центрам иметь постоянный доступ к естественной прохладной глубоководной воде, поэтому тепло от оборудования уходит в окружающий океан. Поскольку ЦОД может быть размещен у любого побережья, что дает возможность выбрать подключение к экологически чистой энергии — как, например, Microsoft Project Natick длиной 40 футов, работающий от ветра сети Оркнейских островов.
Преимущество, которым обладают более мелкие подводные центры обработки данных, состоит в том, что они могут быть модульными. Это упрощает их развертывание в сравнению с новыми центрами на суше.
Однако, несмотря на эти преимущества, некоторые эксперты с осторожностью относятся к центрам обработки данных под водой, так как возможно затопление. Поскольку процесс охлаждения включает в себя втягивание чистой воды и выпуск горячей воды в окружающий регион, эти дата-центры могут сделать море теплее, влияя на местную морскую флору и фауну. И хотя подводные центры обработки данных, такие как Project Natick, предназначены для работы без контроля со стороны человека, в случае возникновения каких-либо проблем их может быть трудно исправить.
В будущем центры обработки данных также могут внести свой вклад в экологически чистую энергию и эффективность за счет утилизации части производимого ими электричества. Некоторые проекты уже изучают возможность повторного использования тепла. Северный центр обработки данных DigiPlex сотрудничает с поставщиком систем отопления и охлаждения Stockholm Exergi для создания системы повторного использования тепла. Концпция этого решения заключается, в то, что бы собирать избыточное тепло в центре обработки данных и отправлять его в местную систему централизованного теплоснабжения, чтобы потенциально обогреть до 10 000 жителей Стокгольма.
По данным МЭА, индустрия ИКТ добилась определенных успехов в области экологически чистой энергии и в настоящее время закрывает почти половину всех корпоративных соглашений о покупке электроэнергии из возобновляемых источников.
По состоянию на 2016 год Google является крупнейшим покупателем корпоративной возобновляемой энергии на планете.
![image](https://habrastorage.org/r/w1560/webt/8j/mu/mm/8jmummsf9k--g_geg8mxqixy9rq.png)
Источник: Google Sustainability
В декабре 2018 года Facebook приобрел 200 МВт энергии у компании которая производит солнечную энергию. В Сингапуре, где площадь суши ограничена, Google объявил о планах купить 60 Мвт солнечной энергии на крыше.
В тоже время крупные компаний, таких как Google и Facebook, у которых есть ресурсы для покупки больших объемов возобновляемой энергии, это может быть трудно для небольших компаний, которые могут не нуждаться в больших объемах энергии.
Еще одним более дорогим вариантом получения энергии является MicroGrid: установка независимого источника энергии внутри центра обработки данных.
Одним из примеров такой стратегии являются топливные элементы, подобные тем, которые продает недавно публичная компания Bloom Energy. Ячейки используют водород в качестве топлива для создания электричества. Хотя эти альтернативные источники часто используются в качестве резервной энергии, центр обработки данных может полностью полагаться на эту систему, чтобы выжить, хотя это эконономически дорогой вариант.
Другой способ, с помощью которого центры обработки данных иследуют экологически чистую энергию, — - это использование возобновляемых источников энергии (REC), которые представляют определенное количество чистой энергии и обычно используются для уравновешивания «грязной энергии», которую использовала компания. Для любого количества произведенной грязной энергии, REC представляют производство эквивалентного количества чистой энергии в мире. Эти восстановленные суммы затем продаются обратно на рынок возобновляемой энергии.
Однако с моделью REC существуют определенные проблемы. С одной стороны, REC только компенсируют грязную энергию -это не означают, что центр обработки данных работает на чистой энергии. Хотя метод REC, как правило, проще, чем поиск доступных источников, которые могут обеспечить достаточное количество энергии для удовлетворения потребностей центра обработки данных. Минус в том, что метод, как правило, недоступен для небольших компаний, у которых не всегда есть капитал, чтобы делать ставку на колебания солнечной или ветряной электростанции.
В будущем технологии облегчат тесное сотрудничество между мелкими производителями и покупателями. Появляются рыночные модели и портфели возобновляемых источников энергии (подобно тем, которые создаются взаимными фондами), позволяющие оценивать и количественно оценивать колебания возобновляемых источников энергии.
Твердотельный накопитель (SSD)
Твердотельные накопители, или SSD, представляют собой разновидность запоминающего устройства, поддерживающего чтение и запись данных. Эти устройства могут хранить данные без питания — это называется постоянным хранением. Это отличается от временных форм хранения данных, таких как Random Access Memory (RAM), которые хранят информацию только во время работы устройства.
SSDs накопители конкурируют с HDD — еще одной формой массового хранения данных. Основное различие между SSD и HDD заключается в том, что SSD функционируют без движущихся частей. Это позволяет твердотельным накопителям быть более долговечными и легкими.
Тем не менее, SSD накопители остаются более дорогими, чем традиционные HDD диски — тенденция, которая, скорее всего, продолжится и без прорыва в процессе производства твердотельных накопителей.
![image](https://habrastorage.org/r/w1560/webt/yx/dz/kl/yxdzkloshkbwz70zt7lq5af1nuo.png)
Источник: Silicon Power Blog
И хотя твердотельные накопители стали стандартом для ноутбуков, смартфонов и других устройств с тонким профилем, они менее практичны, а, следовательно, менее распространены в крупных ЦОДах из-за их более высокой цены.
![image](https://habrastorage.org/r/w1560/webt/q_/bz/qu/q_bzqudchhlycfzsayh80us0glc.png)
Источник: Seagate & IDC
По данным IDC, к концу 2025 года более 80% объема корпоративных систем хранения данных останется в виде жестких дисков. Но после 2025 года SSD могут стать предпочтительным средством хранения данных для предприятий и их центров данных.
По мере широкого распространения твердотельных накопителей в бытовой электронике и устройствах IoT рост спроса может привести к увеличению предложения и, в конечном счете, к снижению стоимости.
Холодное хранение
В отличие от новых SSD, холодное хранение используют многие старые технологии, такие как CD-R и магнитные ленты, чтобы хранение данных, использовало как можно меньше энергии.
При холодном хранении доступ к данным занимает гораздо больше времени, чем при горячем хранении (например, SSD). В таких системах должны храниться лишь нечасто используемые данные.
«Горячие» облака работают на SSD и гибридных дисках, обеспечивают максимально быстрый доступ к информации. Холодное хранение — решения более экономичное и медленное. В «Холодных облаках» хранят информацию, которая не требуется для мгновенного ознакомления. После запроса, данные могут выгружаться от нескольких минут до десятков часов.
А если говорить буквально, разница в температуре внутри дата-центров — чем быстрее облако, тем больше тепла выделяет оборудование.
Тем не менее, крупнейшие в мире технологические компании, такие как Facebook, Google и Amazon, используют холодное хранилище для хранения даже самых гранулированных пользовательских данных. Облачные провайдеры, такие как Amazon, Microsoft и Google, также предлагают эти услуги клиентам, которые хотят хранить данные по низким ценам.
Согласно инструменту калибровки рынка CB Insights, рынок холодного хранения, как ожидается, достигнет почти $213B к 2025 году.
habrastorage.org/webt/cr/cc/t-/crcct-u3vtckequtnd0eazlwkqk.png
Источник: IBM
Ни один бизнес не хочет оказаться за кривой в сборе данных. Большинство организаций утверждают, что лучше собирать как можно больше данных сегодня, даже если они еще не определились с тем, как они будут использоваться завтра.
Этот тип неиспользуемых данных называется темными данными. Это данные, которые собираются, обрабатываются и хранятся, но обычно не используются для конкретных целей. По оценкам компании IBM, примерно 90% данных датчиков, собранных из Интернета, никогда не используются.
![image](https://habrastorage.org/r/w1560/webt/sb/xz/x-/sbxzx-cwxtovbpbu-hbd6lkiths.png)
В дальнейшем, возможно, существуют более эффективные способы сокращения общего количества собираемых и хранимых темных данных. Но в настоящее время, даже с развитием искусственного интеллекта и машинного обучения, предприятия по-прежнему заинтересованы в том, чтобы собирать и хранить как можно больше данных, что бы использовать эти данные в будущем.
Поэтому в обозримом будущем лучший холодное хранение дает возможно хранить данные по самой низкой цене. Эта тенденция сохранится по мере того, пока пользователи будут генерировать больше данных, а организации будут собирать их.
Другие формы хранения данных
В дополнение к твердотельным накопителям, жестким дискам, компакт-дискам и магнитным лентам появляется ряд новых технологий хранения данных, которые обещают увеличение емкости на единицу хранения.
Одна из перспективных технологий — термомагнитная запись (также тепловая магнитная запись) или HAMR. HAMR значительно увеличивает объем данных, которые могут храниться на устройствах, таких как жесткие диски, нагревая поверхность диска с помощью высокоточного лазера во время записи. Это обеспечивает более точную и стабильную запись данных, что увеличивает емкость хранилища.
Ожидается, что к 2020 году эта технология позволит выпускать до 20 ТБ жестких дисков на одном 3,5-дюймовом накопителе, а в дальнейшем ежегодно увеличивать емкость на 30% — 40%. Компания Seagate уже создала 3,5-дюймовый диск емкостью 16 ТБ, о чем было объявлено в декабре 2018 года.
В течение последнего десятилетия Seagate активно патентовала эту технологию HAMR. В 2017 году компания подала на рекордное количество патентов, связанных с этой технологией.
(Примечание: Существует 12-18-месячная задержка между подачей патентов и их опубликованием, так что 2018 год может увидеть еще большее число патентов HAMR.)
Немного рекламы :)
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Часто так бывает, что скрытые с виду, центры обработки данных являются основной нашего интернета. Они транспортируют, хранят и передают информацию которую мы создаем каждый день.
Чем больше данных мы создаём, тем более жизненно важным становятся дата-центры.
На сегодняшний день многие центры обработки данных нецелесообразные, не эффективные и устаревшие. Для сохранения их в рабочем состоянии, операторы центров данных, от FAMGA до колокейшн ценров, работают над их модернизацией, чтобы соответствовать тенденциям постоянно меняющего мира.
В этом докладе мы погружаемся во многие аспекты будущего информационных центров и их эволюцию. Начиная от того, где и как они создаются, какую используют энергию и какое аппаратное обеспечению работает внутри них.
![image](https://habrastorage.org/webt/yz/yr/aa/yzyraaagjhgutmyykd8c4xux8dq.png)
Местоположение
Доступ к оптоволоконным сетям, тарифы на источники энергии и окружающая среда — все это играет важную роль в выборе места для создания центров обработки данных.
По некоторым оценкам, мировой рынок строительства ЦОД к 2025 г. может составить до $57млрд. Это достаточно большой вызов, так, как гигант коммерческой недвижимости CBRE запустил целое подразделение, специализирующееся именно на дата-центрах
Карта центров обработки данных
![image](https://habrastorage.org/webt/z-/dd/3y/z-dd3yplqe0jz8ro1u5xzfarso4.png)
Строительство рядом с дешевыми источниками энергии
Размещение энергоемких центров обработки данных рядом с дешевыми источниками питания может сделать их более доступными для запуска. Поскольку выбросы растут, а крупные технологические компании все чаще используют грязную энергию для питания центров обработки данных, зеленые источники энергии являются важным фактором
Apple и Facebook построили дата-центры рядом с гидроэнергетическими ресурсами. В центре штата Орегон компания Apple приобрела гидроэнергетический проект для обеспечения своего центра обработки данных в Принвилле зеленой электроэнергией. Компания уточнила, что дерегулированные рынки электроэнергии штата Орегона являются основной причиной почему они построили несколько центров обработки данных в этом районе. Дерегулирование позволяет Apple покупать электроэнергию непосредственно у сторонних поставщиков, которые используют возобновляемые источники энергии, а не только у местных коммунальных служб.
В Лулео, Швеция, Facebook построил мегацентр данных рядом с гидроэлектростанцией. В Швеции, дата-центры начали появляться в северном регионе, так как, помимо того, что климат прохладный, и локация не подвержена землетрясениям, в этой части очень много возобновляемых источников энергии(гидроэнергия и ветер).
![image](https://habrastorage.org/webt/af/xj/y-/afxjy-ywhpslmq_fduurh0u4ohu.png)
Строительство Facebook в Лулеа, Швеция, в 2012 году. Источник: Facebook
Несколько крупных центров обработки данных уже переехали в Северный регион, некоторые только присматриваются к нему.
В декабре 2018 года Amazon Web Services объявила об открытии своего дата-центра AWS Europe Region, расположенного примерно в часе езды от Стокгольма. В том же месяце Microsoft приобрела 130 гектаров земли в двух соседних частях Швеции, в Евле и Сандвикене, с целью строительства там центров обработки данных.
Помимо близости к дешевым, экологически чистым источникам энергии, компании, которые занимаются строительством центров обработки данных, так же обращают внимание на прохладный климат. Места вблизи Полярного круга, такие как Северная Швеция, могут позволить дата-центрам экономить на охлаждении.
Телекоммуникационная компания Altice Portugal заявляет, что ее дата-центр Covilhã использует наружный воздух для охлаждения своих серверов на 99%. А старый центр обработки данных Google в Хамина, Финляндия, использует морскую воду из Финского залива для охлаждения объекта и снижения энергопотребления.
Компания Verne Global открыла в Исландии кампус, который подключается к местным геотермальным и гидроэнергетическим источникам. Он расположен на территории бывшей базы НАТО и находится между Европой и Северной Америкой — двумя крупнейшими рынками данных в мире.
Строительство в странах с развивающейся экономикой
Размещение центра обработки данных в точке растущего интернет-трафика снижает нагрузку и увеличивает скорость передачии данныхв в регионе.
Например, в 2018 году китайская компания Tencent, которой принадлежат Fortnite и WeChat, разместила центры обработки данных в Мумбаи. Этот шаг стал признаком того, что в регионе активно используется интернет и игровые платформы Tencent становятся все более популярными.
Строительство центров обработки данных в районах, где интенсивно используется интернет, также является стратегическим бизнес-шагом. Если местные предприятия развиваются, то они будут рассматривать возможность переноса своих операций в ближайший центр обработки данных.
Так же у дата-центрах есть функция colocation. Это означает, что они обеспечивают здание охлаждением, питанием, пропускной способностью и физической безопасностью, а затем сдают пространство в аренду клиентам, которые устанавливают там свои серверы и хранилища. Услуга колокейшн обычно ориентируются на компании с небольшими потребностями, это так же помогает компаниям экономить средства на инфраструктуре.
Налоговые льготы и местное законодательство
Информационные центры являются важным новым источником доходов для производителей электроэнергии и поэтому государство привлекает крупные компании разными льготами.
Начиная с января 2017 года, шведское правительство снизило налог на 97% на любую электроэнергию, используемую центрами обработки данных. Электроэнергия в Швеции относительно дорогая, и снижение налогов поставило Швецию в один ряд с другими скандинавскими странами.
В декабре 2018 года компания Google договорилась об освобождении от уплаты налога на продажу центра обработки данных в Новом Олбани, штат Огайо, на 100% 15-летний срок для центра обработки данных стоимостью 600 млн долл. Льгота было предложена с возможностью продления до 2058 года. В сентябре 2018 года Франция, после Брексита надеясь привлечь экономические таланты и мировой капитал, объявила о своих планах по снижению налогов на потребление электроэнергии для дата-центров.
В некоторых случаях создание центра хранения и обработки данных — это один из способов, с помощью которого компании могут продолжать свою деятельность в странах со строгим режимом.
В феврале 2018 года компания Apple начала хранить данные в центре, расположенном в Гуйчжоу, Китай, чтобы соответствовать местным законам. Если раньше для получения доступа к информации граждан Китая, хранящейся в американском центре обработки данных, китайским властям приходилось пользоваться правовой системой США, то теперь местный центр обработки данных предоставляет властям Китая более простой и быстрый доступ к информации граждан Китая, хранящейся в «облаке» Apple.
В то время как китайским властям ранее приходилось проходить через правовую систему США, чтобы получить доступ к информации китайских граждан, хранящейся в американском дата центре, местный центр данных предоставляет властям более легкий и быстрый доступ к информации о китайских граждан, хранящейся в облаке Apple.
Подключение к оптоволокну и безопасность
Еще два важнейших фактора, когда речь заходит о местоположениях центров хранения и обработки данных ,- это подключение к оптоволоконным сетям и строгая безопасность.
В течение многих лет оптоволоконные сети были ключевым фактором при выборе места строительства центров обработки данных. Хотя данные часто пердаются на мобильные устройства по беспроводным сетям или локальным Wi-Fi.
Большую часть времени данные перемещаются в хранилища и обратно через волоконно-оптические кабели. Оптоволокно соединяет центры обработки данных с сотовыми антеннами, домашними маршрутизаторами и другими устройствами для хранения данных.
![image](https://habrastorage.org/webt/2t/pq/zu/2tpqzu9k_viefpxeshj160lgy5q.png)
Карта подводных кабелей
Эшберн, штат Вирджиния, и его соседние регионы превратились в крупный рынок для центров обработки данных, во многом благодаря большой сети оптоволоконной инфраструктуры, которая была создана интернет-компанией AOL, как только она построила там свою штаб-квартиру. В это время другие компании, такие как Equinix, переехали в регион и построили свои собственные дата-центры, оптоволоконные сети в регионе продолжают расти, что привлекает все больше новых центров обработки данных.
Facebook инвестировал почти $2B в центр обработки данных в Хенрико, штат Вирджиния, а в январе 2019 года компания Microsoft в шестой раз получила грант в размере $1,5 млн на расширение своего центра обработки данных в Саутсайде, штате Вирджиния.
Так же появляются новые альтернативы оптоволоконным сетям, поскольку крупный технический персонал строит свою собственную инфраструктуру подключений.
В мае 2016 года Facebook и Microsoft объявили о совместной работе по прокладке подводного кабеля между Вирджиния Бич, Вирджиния и Бильбао, Испания. В 2017 году Facebook объявил о дальнейших планах по строительству собственной волоконно-оптической сети длиной 200 миль в земле в Лас-Лунасе, штат Нью-Мексико, для подключения своего центра обработки данных в Нью-Мексико к другим серверным фермам. Подземная волоконно-оптическая система создаст три уникальных сетевых маршрута для информационного путешествия в Лас-Лунас.
Помимо подключения, еще одним важным пунктом является безопасность. Это особенно важно для центров обработки данных, в которых хранится конфиденциальная информация.
Например, норвежский финансовый гигант DNB в партнерстве с центром обработки данных Green Mountain создал свой центр обработки данных. Green Mountain разместила дата-центр DNB в объекте повышенной безопасности — переоборудованном бункере в горе. Компания утверждает, что гора полностью защищена от всех видов опасностей, включая террористические атаки, извержения вулкана, штормы, землетрясения.
Центр обработки данных «Swiss Fort Knox» расположен под Швейцарскими Альпами, дверь которого замаскирована под камень. Его сложная внутренняя система включает в себя множество туннелей, доступ к которым возможен только при соответствующей расчистке. Центр обработки данных защищен аварийными дизельными двигателями и системой воздушного давления, которая предотвращает попадание в помещение ядовитого газа.
![image](https://habrastorage.org/webt/sp/fb/vw/spfbvwned4aumuchrlqaxn7pxfu.png)
Форт Нокс Швеции ‘является физически и цифрово-гипербезопасным. Источник: Маунт 10
В связи с высокой степенью защищенности серверов в некоторых дата-центрах, существует множество дата-центров, местонахождение которых никогда не афишировалось. Информацию о местоположении этих центров можно использовать как оружие.
В октябре 2018 года WikiLeaks опубликовала внутренний список объектов AWS. Среди обнаруженной информации был и тот факт, что Amazon была претендентом на создание частного облака стоимостью около $10B для Министерства обороны.
Сама WikiLeaks столкнулась с трудностями при поиске подходящего центра обработки данных для размещения своей информации. AWS прекратила хостинг для WikiLeaks, потому что компания нарушила условия о предоставления услуг — а именно, выпустила документы, на которые не имела прав, и подвергла к риску жизни людей.
В следствии чего WikiLeaks переехала во множество различных дата-центров. В какой-то момент даже ходили слухи, что WikiLeaks рассматривает возможность размещения своего центра обработки данных в океане, в непризнанном государстве Сеаланд в Северном море.
Структура
В то время как местоположение, возможно, является самым главным фактором, что бы уменьшить риск в сбое работы центров данных, структуры центров данных также играют важную роль в обеспечении надежности и долговечности.
Правильное строительство центра обработки данных может сделать его устойчивым к сейсмической активности, наводнениям и другим видам стихийных бедствий. Кроме того, конструкции могут быть приспособлены для расширения, снижения энергозатрат.
Во всех отраслях — от здравоохранения до финансов и производства — компании полагаются на центры обработки данных для поддержки растущего потребления данных. В некоторых случаях эти центры обработки данных могут быть собственными и располагаться на месте, в то время как другие могут совместно использоваться и располагаться удаленно.
В любом случае центры обработки данных находятся в центре растущего технологического мира и продолжают испытывать собственные физические трансформации. Согласно инструменту CB Insights Market Sizing, глобальный рынок услуг центров обработки данных оценивается в $228 млрд. к 2020 году.
Одним из последних преобразований в построении центров обработки данных является размер. Некоторые центры обработки данных стали меньше и более распостраненными (их называют периферийными центрами обработки данных). В то же время другие центры обработки данных стали больше и более централизованными, чем когда-либо — это мега-центры обработки данных)).
В этом разделе мы рассмотрим периферийные и мегацентры центров обработки данных.
Периферийные центры обработки данных
Небольшие распределенные центры обработки данных, называемые периферийными центрами обработки данных, создаются для обеспечения гиперлокальной системы хранения.
В то время как облачные вычисления традиционно служили надежным и экономически эффективным средством подключения многих устройств к Интернету, непрерывный рост IoT и мобильных вычислений привел к нагрузке на пропускную способность сетей дата-центров.
В настоящее время появляется технология Edge computing, предлагающая альтернативное решение. (Граничные вычисления (Edge computing) — это парадигма распределенных вычислений, осуществляемых в пределах досягаемости конечных устройств. Данный тип вычислений используется для сокращения времени сетевого отклика, а также более эффективного использования пропускной способности сети.)
Это предполагает размещение вычислительных ресурсов ближе к месту, откуда поступают данные (т.е. к двигателям, генераторам или другим элементам. Сделав так мы уменьшаем время на перемещения данных в централизованные вычислительные локации, такие как облака.
Хотя эта технология еще только зарождается, она уже обеспечивает более эффективный метод обработки данных для многочисленных случаев использования, включая автономные транспортные средства. Например, автомобили Tesla имеют мощные бортовые компьютеры, которые позволяют обрабатывать данные с малой задержкой (практически в режиме реального времени) для данных, собираемых десятками периферийных датчиков автомобиля. Это позволяет автомобилю своевременно принимать самостоятельные решения.)
![image](https://habrastorage.org/webt/m3/_s/so/m3_ssojp1pruiyo_zjnylp4aldc.png)
Однако другие передовые технологии, такие как беспроводные медицинские устройства и датчики, не обладают необходимой вычислительной мощностью для непосредственной обработки больших потоков сложных данных.
В результате этого развертываются меньшие по размеру модульные центры обработки данных для обеспечения гиперлокальных систем хранения и обработки данных. По данным инструмента CB Insights Market Sizing, к 2023 году мировой рынок вычислительной техники достигнет $34B.
Эти центры обработки данных, которые, как правило, размером с транспортный контейнер, размещаются в основании сотовых вышек или как можно ближе к источнику данных.
Помимо транспорта и здравоохранения, эти модульные центры данных используются в таких отраслях, как обрабатывающая промышленность, сельское хозяйство, энергетика и коммунальное хозяйство. Они также помогают операторам мобильных сетей (МНС) быстрее доставлять контент мобильным абонентам, в то время как многие технологические компании используют эти системы для хранения (или кэша) контента ближе к своим конечным пользователям.
Vapor IO — одна из компаний, предлагающая услуги колокейшн, размещая небольшие ЦОДы на базе вышек сотовой связи. Компания имеет стратегическое партнерство с Crown Castle, крупнейшим поставщиком беспроводной инфраструктуры в США.
![image](https://habrastorage.org/webt/bb/fh/jn/bbfhjn5iviyb08fww4gtavlun5q.png)
Другие передовые компании центров данных, такие как Edgemicro, предоставляют центры микроданных, которые соединяют операторов мобильной сети (МНС) с провайдерами контента (CPS). Основатели EdgeMicro используют опыт руководителей таких организаций, как Schneider Electric, одна из крупнейших энергетических компаний в Европе, и CyrusOne, один из крупнейших и наиболее успешных поставщиков услуг центров обработки данных в США.
Недавно компания представила свое первое производственное подразделение и планирует продавать свои услуги колокейшн контент-провайдерам, таким как Netflix и Amazon, которые получат выгоду от повышения скорости и надежности доставки контента. Эти колокейшн-сервисы идеально подходят для компаний, которые стремятся владеть, но не управлять своей инфраструктурой данных.
![image](https://habrastorage.org/webt/bv/ae/ij/bvaeij_qbllzzl1ylrar5eqprcw.png)
Edge Micro
И стартапы не единственные, кто участвует в рынке периферийных центров обработки данных.
Крупные компании, такие как Schneider Electric, не только сотрудничают со стартапами, но и разрабатывают собственные продукты для центров обработки данных. Schneider предлагает несколько различных сборных модульных центров обработки данных, которые идеально подходят для различных отраслей промышленности, которые нуждаются в гипер-локальных вычислительных ресурсах и места для хранения.
![image](https://habrastorage.org/webt/9i/sz/99/9isz99hr_00qge0tg7pzdl8sth4.png)
Huawei
Эти комплексные решений объединяют системы питания, охлаждения, пожаротушения, освещения и управления в одном корпусе. Они предназначены для быстрого развертывания, надежной работы и удаленного мониторинга.
Мегацентры обработки данных
На другом конце спектра находятся мега-центры обработки данных — центры обработки данных с площадью не менее 1 млн кв. футов. Эти объекты достаточно велики, чтобы удовлетворять потребности десятков тысяч организаций одновременно, и в значительной степени выигрывают от экономии за счет эффекта масштабности.
Несмотря на то, что строительство таких мегацентров обходится дорого, стоимость квадратного фута гораздо выше, чем стоимость среднего ЦОДа.
Одним из крупнейших проектов является объект площадью 17,4 млн кв. футов, построенный компанией Switch Communications, который обеспечивает предприятия жильем, охлаждением, питанием, пропускной способностью и физической безопасностью своих серверов.
![image](https://habrastorage.org/webt/kq/i5/f0/kqi5f08_s7fo7mf_v6iwgotmyrg.png)
Switch
В дополнение к этому огромному кампусу «Citadel» в Тахо Рино, у компания есть так же центр обработки данных площадью 3,5 млн кв. футов в Лас-Вегасе, кампус площадью 1,8 млн кв. футов в Гранд-Рапидс и кампус площадью 1 млн кв. футов в Атланте. Кампус Citadel является крупнейшим в мире центром колокейшн-данных, по данным сайта компаниих.
Big tech также активно строит мега-центры обработки данных в США, с Facebook, Microsoft и Apple — все здания для поддержки их растущих потребностей в хранении данных.
Например, Facebook строит дата-центр площадью 2,5 млн кв. футов в Форт-Уэрте, штат Техас, для обработки и хранения личных данных своих пользователя. Предполагалось, что дата-центр будет занимать всего 750 тыс. Кв. Футов, но компания социальных сетей решила утроить свой размер.
![image](https://habrastorage.org/webt/nt/sy/er/ntsyer6c5fkm1paxkrb4a5zyf7w.png)
Источник: Facebook
Новый дата-центр будет стоить около 1 миллиарда долларов и разместится на 150-акровом участке земли, что даст возможность в будущем расширяться. В мае 2017 года было введено в эксплуатацию 440 тыс. Кв. Футов.
Одна из последних инвестиций Microsoft — центр обработки данных в Уэст-Де-Мойн, штат Айова, который обошелся компании в 3,5 миллиарда долларов. Вместе этот кластер центра обработки данных занимают 3,2 миллиона квадратных футов пространства, а самый большой центр обработки данных занимает 1,7 миллиона квадратных футов. Этот специальный дата-центр, который называется Project Osmium, расположен на 200 акрах земли, ожидается, что строительство будет завершено к 2022 году.
В последние годы Айова стала популярным местом для центров обработки данных из-за низких цен на энергию (одни из самых низких в стране) и низкого риска стихийных бедствий.
Apple также строит не большой объект в Айове: площадь 400 тыс. кв.футов и его стоимость составит $1,3 млрд.
![image](https://habrastorage.org/webt/f6/nm/vu/f6nmvuk2mmrsnsncc3cx7noetis.png)
Источник: Apple Newsroom
В то время как некоторые объекты Apple построены с нуля, чтобы управлять всем контентом — хранилищем приложений, потоковым музыкальным сервисом, хранилищем iCloud, пользовательскими данными, Apple перепрофилировала завод по производству солнечных панелей площадью 1,3 м²в Месе, Аризона, который был открыт в августе 2018 года. Новый центр данных работает на 100% зеленой энергии благодаря расположенной поблизости солнечной ферме.
За пределами США к конкретным регионам, которые привлекли эти мега-центры обработки данных, относится Северная Европа, которая была популярным местом для строительства технологических гигантов благодаря своей прохладной температуре и налоговыми льготами.
Хух-Хото, Китай, расположенный во Внутренней Монголии, также имеет удобное расположение для мега-центров обработки данных, так как есть доступ к дешевой местной энергии, прохладную температуру и университетским талантам (с Inner Mongolia University).
В то время как крупные центры обработки данных стали популярной темой для всего Китая, регион Внутренней Монголии стал центром таких разработок. China Telecom (10,7 млн SF), China Mobile (7,8 млн SF) и China Unicom (6,4 млн SF) создали в этом регионе мега-центры обработки данных.
![image](https://habrastorage.org/webt/mt/cv/f5/mtcvf5irscvmexz2k5yed0jnoc0.png)
Источник: World’s Top Data Centers
Инновация центра обработки данных
В дополнение к дата-центрам, новые структуры центров обработки данных, разработанные с учетом преимуществ окружающей среды, являются еще одной новой тенденцией.
Сегодня многие организации экспериментируют с центрами данных, которые работают в океане и на его территории. Эти структуры используют свое окружение и свои ресурсы для естественного охлаждения серверов по очень низкой стоимости.
Одним из наиболее прогрессивных примеров использования океана с естественным охлаждением является проект Microsoft Project Natick. Как было отмечено в патентной заявке, поданной в 2014 году и названой «Погружной центр обработки данных», компания Microsoft погрузила под воду небольшой цилиндрический центр обработки данных побережья Шотландии.
![image](https://habrastorage.org/webt/kc/lq/r1/kclqr1zzjoiwkecnf09krsehlq0.png)
В центре обработки данных используется 100% возобновляемой электроэнергии местного производства от береговых ветровых и солнечных источников, а также от морских приливов и волн. Объект использует океан для отвода тепла от инфраструктуры.
![image](https://habrastorage.org/webt/vw/b4/h9/vwb4h9lhapndggpxh4vy9-8cy98.png)
Источник: Microsoft
Находясь еще на ранних стадиях, Microsoft добилась больших успехов в этом проекте, что может дать зеленый свет для распространения центров обработки данных в океане в будущем.
Google также экспериментировал с океаническими центрами данных. В 2009 году компания подала заявку на патент для Центра данных на водной основе, который предусматривает создание центров данных на борту плавающих барж.
![image](https://habrastorage.org/webt/j5/qt/mu/j5qtmuhl2inlqvg7kpqqjpd3brc.png)
По аналогии с дизайном Microsoft, структура будет использовать окружающую воду для естественного охлаждения объекта. Кроме того, баржа может также генерировать энергию от океанических течений.
Несмотря на то, что Google не сообщал, проводились ли испытания этих конструкций, считается, что компания несет ответственность за плавучую баржу в заливе Сан-Франциско еще в 2013 году.
Запуск Nautilus Data Technologies осуществлялся с очень похожей задумкой. За последние годы компания привлекла $58 млн, чтобы воплотить в жизнь концепцию этого плавучего ЦОДа.
![image](https://habrastorage.org/webt/h8/an/xv/h8anxvhq3nzbgbblms9q1qzkmr0.png)
Источник: Business Chief
Компания уделяет меньше внимания самому судну, а больше технологии, необходимой для питания и охлаждения центров хранения данных. Основными задачами Nautilus являются: снижение стоимости вычислительной техники, сокращение потребления энергии, прекращение потребления воды, уменьшение загрязнения воздуха и сокращение выбросов парниковых газов.
Энергоэффективность и экономичность
В настоящее время 3% всего потребления электроэнергии в мире приходится на центры обработки данных, и это процент будет только расти. Это электричество не всегда «чистое»: по данным Организации Объединенных Наций(ООН), сектор информационных и коммуникационных технологий (ИКТ), который в значительной степени подпитывается центрами обработки данных, обеспечивает такое же количество парниковых газов, что и авиационный сектор с топлива.
Хотя ИКТ удалось сдержать рост потребления электроэнергии отчасти за счет закрытия старых, неэффективных дата-центров, эта стратегия может привести лишь к росту потребления Интернета и производства данных.
В будущем для центров обработки данных есть два выхода для снижения выбросов: повысить эффективность использования энергии внутри центра обработки данных и обеспечить чистоту используемой энергии.
Снижение потребление и повышение энергоэффективности
В 2016 году DeepMind и Google работали над системой рекомендаций по ИИ, которая поможет сделать центры обработки данных Google более энергоэффективными. Основное внимание уделялось мельчайшим усовершенствованиям: даже небольших изменений было достаточно, чтобы помочь значительно сэкономить энергию и сократить выбросы. Однако после того, как рекомендации были введены в действие, их реализация потребовала от оператора слишком больших усилий.
Операторы центров обработки данных поинтересовались, могут ли они быть реализованы автономно. Однако, согласно Google, ни одна система искусственного интеллекта еще не готова полностью контролировать процессы охлаждения и нагрева в центре обработки данных.
Текущая система управления ИИ компании Google работает над конкретными действиями, но может выполнять их только в ограниченных условиях, приоритетом которых является безопасность и надежность. По данным компании, новая система обеспечивает в среднем до 30% экономии энергии.
![image](https://habrastorage.org/webt/2j/xt/g6/2jxtg600sri6cct4810sr8v-br4.png)
Типичный день PUE (эффективность использования энергии) при включенном и выключенном ML.
Источник: DeepMind
Компания Google также использовала систему искусственного интеллекта для регулировки эффективности в центре обработки данных на Среднем Западе во время наблюдения за торнадо. В то время как человек-оператор мог сосредоточиться на подготовке к шторму, система ИИ использовала преимущества и знания условий торнадо — такими как, падение атмосферного давления и изменения температуры, влажности — чтобы настроить системы охлаждения центра обработки данных на максимальную эффективность во время торнадо. Зимой система управления ИИ адаптируется к погоде, чтобы уменьшить потребление энергии, которая необходима для охлаждения центра обработки данных.
Однако этот метод не лишен недостатков. Пробелы в технологии ИИ затрудняют создание условий для того, чтобы центр мог легко принимать эффективные решения, а искусственный интеллект очень трудно масштабировать.Каждый из центров обработки данных компании Google уникален, и трудно развернуть инструмент ИИ( искуственный интеллект) во всех сразу.
Еще один способ повысить эффективность является изменение способа охлаждения перегретых частей центра обработки данных, таких как серверы или определенные типы микросхем.
Один из таких методов заключается в использовании жидкости вместо воздуха для охлаждения деталей. Генеральный директор Google Сундар Пичаи (Sundar Pichai) сказал, что недавно выпущенные чипы компании настолько мощны, что компании пришлось погрузить их в жидкость, чтобы охладить их в нужной степени.
Некоторые центры обработки данных экспериментируют с погружением центров обработки данных под воду, чтобы упростить охлаждение и повысить энергоэффективность. Это позволяет дата-центрам иметь постоянный доступ к естественной прохладной глубоководной воде, поэтому тепло от оборудования уходит в окружающий океан. Поскольку ЦОД может быть размещен у любого побережья, что дает возможность выбрать подключение к экологически чистой энергии — как, например, Microsoft Project Natick длиной 40 футов, работающий от ветра сети Оркнейских островов.
Преимущество, которым обладают более мелкие подводные центры обработки данных, состоит в том, что они могут быть модульными. Это упрощает их развертывание в сравнению с новыми центрами на суше.
Однако, несмотря на эти преимущества, некоторые эксперты с осторожностью относятся к центрам обработки данных под водой, так как возможно затопление. Поскольку процесс охлаждения включает в себя втягивание чистой воды и выпуск горячей воды в окружающий регион, эти дата-центры могут сделать море теплее, влияя на местную морскую флору и фауну. И хотя подводные центры обработки данных, такие как Project Natick, предназначены для работы без контроля со стороны человека, в случае возникновения каких-либо проблем их может быть трудно исправить.
В будущем центры обработки данных также могут внести свой вклад в экологически чистую энергию и эффективность за счет утилизации части производимого ими электричества. Некоторые проекты уже изучают возможность повторного использования тепла. Северный центр обработки данных DigiPlex сотрудничает с поставщиком систем отопления и охлаждения Stockholm Exergi для создания системы повторного использования тепла. Концпция этого решения заключается, в то, что бы собирать избыточное тепло в центре обработки данных и отправлять его в местную систему централизованного теплоснабжения, чтобы потенциально обогреть до 10 000 жителей Стокгольма.
Покупка экологически чистых видов энергии
По данным МЭА, индустрия ИКТ добилась определенных успехов в области экологически чистой энергии и в настоящее время закрывает почти половину всех корпоративных соглашений о покупке электроэнергии из возобновляемых источников.
По состоянию на 2016 год Google является крупнейшим покупателем корпоративной возобновляемой энергии на планете.
![image](https://habrastorage.org/webt/8j/mu/mm/8jmummsf9k--g_geg8mxqixy9rq.png)
Источник: Google Sustainability
В декабре 2018 года Facebook приобрел 200 МВт энергии у компании которая производит солнечную энергию. В Сингапуре, где площадь суши ограничена, Google объявил о планах купить 60 Мвт солнечной энергии на крыше.
В тоже время крупные компаний, таких как Google и Facebook, у которых есть ресурсы для покупки больших объемов возобновляемой энергии, это может быть трудно для небольших компаний, которые могут не нуждаться в больших объемах энергии.
Еще одним более дорогим вариантом получения энергии является MicroGrid: установка независимого источника энергии внутри центра обработки данных.
Одним из примеров такой стратегии являются топливные элементы, подобные тем, которые продает недавно публичная компания Bloom Energy. Ячейки используют водород в качестве топлива для создания электричества. Хотя эти альтернативные источники часто используются в качестве резервной энергии, центр обработки данных может полностью полагаться на эту систему, чтобы выжить, хотя это эконономически дорогой вариант.
Другой способ, с помощью которого центры обработки данных иследуют экологически чистую энергию, — - это использование возобновляемых источников энергии (REC), которые представляют определенное количество чистой энергии и обычно используются для уравновешивания «грязной энергии», которую использовала компания. Для любого количества произведенной грязной энергии, REC представляют производство эквивалентного количества чистой энергии в мире. Эти восстановленные суммы затем продаются обратно на рынок возобновляемой энергии.
Однако с моделью REC существуют определенные проблемы. С одной стороны, REC только компенсируют грязную энергию -это не означают, что центр обработки данных работает на чистой энергии. Хотя метод REC, как правило, проще, чем поиск доступных источников, которые могут обеспечить достаточное количество энергии для удовлетворения потребностей центра обработки данных. Минус в том, что метод, как правило, недоступен для небольших компаний, у которых не всегда есть капитал, чтобы делать ставку на колебания солнечной или ветряной электростанции.
В будущем технологии облегчат тесное сотрудничество между мелкими производителями и покупателями. Появляются рыночные модели и портфели возобновляемых источников энергии (подобно тем, которые создаются взаимными фондами), позволяющие оценивать и количественно оценивать колебания возобновляемых источников энергии.
Хранение
Твердотельный накопитель (SSD)
Твердотельные накопители, или SSD, представляют собой разновидность запоминающего устройства, поддерживающего чтение и запись данных. Эти устройства могут хранить данные без питания — это называется постоянным хранением. Это отличается от временных форм хранения данных, таких как Random Access Memory (RAM), которые хранят информацию только во время работы устройства.
SSDs накопители конкурируют с HDD — еще одной формой массового хранения данных. Основное различие между SSD и HDD заключается в том, что SSD функционируют без движущихся частей. Это позволяет твердотельным накопителям быть более долговечными и легкими.
Тем не менее, SSD накопители остаются более дорогими, чем традиционные HDD диски — тенденция, которая, скорее всего, продолжится и без прорыва в процессе производства твердотельных накопителей.
![image](https://habrastorage.org/webt/yx/dz/kl/yxdzkloshkbwz70zt7lq5af1nuo.png)
Источник: Silicon Power Blog
И хотя твердотельные накопители стали стандартом для ноутбуков, смартфонов и других устройств с тонким профилем, они менее практичны, а, следовательно, менее распространены в крупных ЦОДах из-за их более высокой цены.
![image](https://habrastorage.org/webt/q_/bz/qu/q_bzqudchhlycfzsayh80us0glc.png)
Источник: Seagate & IDC
По данным IDC, к концу 2025 года более 80% объема корпоративных систем хранения данных останется в виде жестких дисков. Но после 2025 года SSD могут стать предпочтительным средством хранения данных для предприятий и их центров данных.
По мере широкого распространения твердотельных накопителей в бытовой электронике и устройствах IoT рост спроса может привести к увеличению предложения и, в конечном счете, к снижению стоимости.
Холодное хранение
В отличие от новых SSD, холодное хранение используют многие старые технологии, такие как CD-R и магнитные ленты, чтобы хранение данных, использовало как можно меньше энергии.
При холодном хранении доступ к данным занимает гораздо больше времени, чем при горячем хранении (например, SSD). В таких системах должны храниться лишь нечасто используемые данные.
«Горячие» облака работают на SSD и гибридных дисках, обеспечивают максимально быстрый доступ к информации. Холодное хранение — решения более экономичное и медленное. В «Холодных облаках» хранят информацию, которая не требуется для мгновенного ознакомления. После запроса, данные могут выгружаться от нескольких минут до десятков часов.
А если говорить буквально, разница в температуре внутри дата-центров — чем быстрее облако, тем больше тепла выделяет оборудование.
Тем не менее, крупнейшие в мире технологические компании, такие как Facebook, Google и Amazon, используют холодное хранилище для хранения даже самых гранулированных пользовательских данных. Облачные провайдеры, такие как Amazon, Microsoft и Google, также предлагают эти услуги клиентам, которые хотят хранить данные по низким ценам.
Согласно инструменту калибровки рынка CB Insights, рынок холодного хранения, как ожидается, достигнет почти $213B к 2025 году.
habrastorage.org/webt/cr/cc/t-/crcct-u3vtckequtnd0eazlwkqk.png
Источник: IBM
Ни один бизнес не хочет оказаться за кривой в сборе данных. Большинство организаций утверждают, что лучше собирать как можно больше данных сегодня, даже если они еще не определились с тем, как они будут использоваться завтра.
Этот тип неиспользуемых данных называется темными данными. Это данные, которые собираются, обрабатываются и хранятся, но обычно не используются для конкретных целей. По оценкам компании IBM, примерно 90% данных датчиков, собранных из Интернета, никогда не используются.
![image](https://habrastorage.org/webt/sb/xz/x-/sbxzx-cwxtovbpbu-hbd6lkiths.png)
В дальнейшем, возможно, существуют более эффективные способы сокращения общего количества собираемых и хранимых темных данных. Но в настоящее время, даже с развитием искусственного интеллекта и машинного обучения, предприятия по-прежнему заинтересованы в том, чтобы собирать и хранить как можно больше данных, что бы использовать эти данные в будущем.
Поэтому в обозримом будущем лучший холодное хранение дает возможно хранить данные по самой низкой цене. Эта тенденция сохранится по мере того, пока пользователи будут генерировать больше данных, а организации будут собирать их.
Другие формы хранения данных
В дополнение к твердотельным накопителям, жестким дискам, компакт-дискам и магнитным лентам появляется ряд новых технологий хранения данных, которые обещают увеличение емкости на единицу хранения.
Одна из перспективных технологий — термомагнитная запись (также тепловая магнитная запись) или HAMR. HAMR значительно увеличивает объем данных, которые могут храниться на устройствах, таких как жесткие диски, нагревая поверхность диска с помощью высокоточного лазера во время записи. Это обеспечивает более точную и стабильную запись данных, что увеличивает емкость хранилища.
Ожидается, что к 2020 году эта технология позволит выпускать до 20 ТБ жестких дисков на одном 3,5-дюймовом накопителе, а в дальнейшем ежегодно увеличивать емкость на 30% — 40%. Компания Seagate уже создала 3,5-дюймовый диск емкостью 16 ТБ, о чем было объявлено в декабре 2018 года.
В течение последнего десятилетия Seagate активно патентовала эту технологию HAMR. В 2017 году компания подала на рекордное количество патентов, связанных с этой технологией.
(Примечание: Существует 12-18-месячная задержка между подачей патентов и их опубликованием, так что 2018 год может увидеть еще большее число патентов HAMR.)
Немного рекламы :)
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?