Первый в мире компьютер для обработки данных весил около 13 тонн и занимал помещение размером с однушку. С тех пор вычислительные машины становились всё меньше, а занимаемые ими площади — всё больше. Серверные комнаты разрослись до гигантских центров обработки данных размером с аэропорт Шереметьево, а их мощность увеличилась в квадриллион раз — с 0,0000025 мегафлопса до нескольких десятков терафлопс.
Настоящим рывком, разделившим историю серверов на до и после, стали 90-е: компьютеры и интернет получили широкое распространение, спрос на вычислительные мощности стремительно рос, а ЦОДы приобрели современный вид. Давайте вспомним, какой путь проделали дата-центры за последние 30 лет.
1990-е годы: рождение современных ЦОД
Коммерческие дата-центры стали появляться еще в 60-х. Первопроходцами в этой сфере были IBM и American Airlines, а первый ЦОД появился благодаря случаю. Президент авиакомпании American Airlines и менеджер по продажам IBM оказались на соседних креслах самолета, летевшего из Лос-Анджелеса в Нью-Йорк. Перелет был небыстрым, они разговорились. Встреча произошла в 1953 году, а спустя семь лет на свет появился первый в мире коммерческий дата-центр — для размещения первой в мире автоматизированной системы резервирования и продажи авиабилетов SABRE.
Уже в то время компании размещали свои вычислительные мощности в отдельных зданиях — с фальшполом и особой системой кондиционирования. Но эти дата-центры всё равно были мало похожи на современные. Они были строго корпоративными и обслуживали интересы конкретной компании.
К концу 80-х годов ЦОДы стали быстрее и меньше, однако свой современный вид они обрели лишь в 90-х — с развитием интернета и веб-сервисов.
Именно в 90-е появились первые ЦОД, работающие по модели colocation. Любые компании могли за деньги хранить там свои данные и арендовать вычислительные мощности. Потенциал быстро оценили в Communications и Equinix, которые позже стали мировыми лидерами в сфере колокации.
Концепция модульных серверов, которые устанавливаются в стандартизированные 19-дюймовые стойки, тоже родом из 90-х. Считается, что они пришли в ЦОДы с железных дорог: такие стойки придумали больше века назад под оборудование, которое управляло железнодорожными стрелками. Как и кому пришло в голову использовать их в ЦОД, история уже не помнит.
До этих пор все вычислительные машины имели разную конструкцию и размеры, и оборудование даже одного и того же производителя могло быть несовместимым. С приходом 19-дюймового стандарта компании унифицировали размер и улучшили связность оборудования. Новый стандарт позволил уплотнить серверы в ЦОД и упростить их обслуживание. В дальнейшем такой подход получил широкое распространение и стал основой для современных серверных стоек.
Стандартизация была бы невозможна без развития микропроцессорных технологий, которые сделали серверы меньше и производительнее. Наглядный пример — Intel Pentium III, который вышел в 1999 году и мог выдавать до 1133 мегафлопс в секунду.
Одним из самых мощных коммерческих дата-центров в конце 90-х был Lakeside Technology Center в Чикаго, США. Он занимал по меньшей мере 100 000 м² и вмещал тысячи серверов, которые работали на базе процессоров IBM RS/6000 SP. Объем оперативной памяти исчислялся в гигабайтах на сервер, а совокупная пиковая производительность достигала сотен гигафлопс.
Основными производителями серверов были IBM, Hewlett-Packard и Sun Microsystems.
2000-е годы: бум интернета и рост потребности в ЦОД
С развитием интернета компании начали активно инвестировать в IT-инфраструктуру. Количество дата-центров по всему миру неизменно росло.
Первые дата-центры стали появляться и в России. В основном их использовали госструктуры, банки и нефтяные компании. Одним из первых крупных проектов стал ЦОД СберБанка. В 2003 году к гонке присоединился Ростелеком, открыв в Чувашии дата-центр для систематизации архивных записей республиканских властей. Однако о производительности первых дата-центров известно немного.
Пока Россия только осваивалась на рынке ЦОД, западные технологии шагнули далеко вперед. Если в 90-е ЦОД состояли преимущественно из отдельных серверов и мейнфреймов, занимавших много места, то уже в начале нулевых компании стали массово переходить к стандартизированным стойкам. Модульные серверы занимали меньше площади, а вычислительная мощность ЦОДов множилась.
Вместо десятков и сотен серверов современные комплексы вмещали тысячи, а сами серверы стали намного мощнее. Их производительность увеличилась с сотен мегагерц до нескольких гигагерц на процессор. Вычислительная мощность стала измеряться в терафлопсах.
Объем памяти серверов вырос с гигабайтов до терабайтов. Широкое распространение получили сетевые системы хранения, такие как SAN и NAS. На рынке появились первые массовые хранилища на сотни терабайтов и даже петабайты.
Технологии виртуализации и контейнеризации позволили сделать коммерческим ЦОД большой рывок. В 2005 году Google построил один из крупнейших в то время контейнерных дата-центров: 45 контейнеров составляли два этажа и вмещали больше 45 тысяч серверов.
В 2009 году в Чикаго открылся контейнерный ЦОД от Microsoft. Его 56 контейнеров вмещали до 2,5 тысячи серверов, а остальные размещались в более традиционном формате — в гермозонах.
Тогда же, в нулевые, стали набирать популярность облака. В 2006 году появился Amazon Web Services, который станет самым распространенным публичным облаком в мире. Последующее развитие облачных технологий позволило гибко масштабировать ресурсы без значительных физических изменений инфраструктуры.
В дата-центрах появились системы автоматизации и удаленного мониторинга, а штат специалистов, которым приходилось следить за всей инфраструктурой ЦОДов, сократился.
Однако у бурного развития ЦОДов были и минусы. Рост серверной плотности вызвал проблему перегрева. В ответ появились прецизионные системы кондиционирования, модульные системы охлаждения и начались первые эксперименты с жидкостным охлаждением. Тогда же стали звучать инициативы по внедрению возобновляемых источников энергии в ЦОД.
Dell, IBM, Hewlett-Packard продолжали лидировать, но на рынке уже стали появляться конкуренты, такие как Amazon (AWS).
2010-е годы: эра гипермасштабируемых ЦОД
Крупные технологические компании начали строить огромные ЦОД для поддержки своих сервисов. Так появились гипермасштабируемые дата-центры Google, Facebook*, Amazon, вмещающие до десятков тысяч серверных стоек и миллионов серверов.
Вычислительная мощность ЦОД перешла в разряд нескольких десятков и даже сотен терафлопс. Предполагается, что именно такой мощностью обладал в те годы Lakeside Technology Center в Чикаго. Еще один пример — NASA Advanced Supercomputing (NAS) Facility, где установлен суперкомпьютер Pleiades. Его изначальная мощность составляла 487 терафлопс, а после модернизации превысила 5 петафлопс.
Объемы памяти выросли до сотен петабайтов и даже эксабайтов благодаря внедрению SSD-накопителей и распространению облаков. Переход к жидкостному охлаждению резко снизил энергопотребление, позволив на какое-то время заморозить эту проблему. Кроме того, в 2010-е годы под давлением экологов произошел активный переход на возобновляемые источники: солнечную и ветровую энергию, биотопливо и другие. Локомотивами этого процесса стали гиганты вроде Google и Facebook*.
Интернет становился быстрее, появились сети 4G и 5G. Всё это позволило дата-центрам одновременно обслуживать гораздо больше пользователей. ЦОД получили возможность масштабироваться почти безгранично за счет облачных технологий и виртуализации.
В этот период на международном рынке доминировала компания IBM, а также Amazon, Google, Microsoft, Facebook*, которые развивали собственные дата-центры и облачные сервисы. По данным на 2017 год, в распоряжении каждой из этих компаний было не меньше 45 гипермасштабируемых ЦОДов.
В тот же период начинается активное развитие дата-центров в России. Например, в 2011 году в Москве открылся крупный ЦОД СберБанка — «Южный порт» — площадью 16 000 м². В конце 2010-х он построил еще один дата-центр вдвое большей площади — на 20 машинных залов и до 24 тысяч серверов.
2020-е годы: современные тенденции и вызовы
Современные ЦОД вмещают миллионы серверов, которые стали еще мощнее. Intel и AMD продолжают соревноваться в производительности. Так, четвертое поколение линейки серверных процессоров Zen от AMD, в сравнении с предшественником, обеспечило двукратный рост плотности размещения ядер и +14% к производительности CPU на ядро, а Zen 5 — прирост производительности уже на 20–25%.
Последние линейки процессоров вмещают сотни ядер. Их габариты уменьшаются, производительность измеряется десятками и даже сотнями терафлопс, а плотность размещения в ЦОД растет.
Благодаря гиперплотным серверным конфигурациям дата-центры способны хранить до нескольких экзабайтов информации, а системы погружного жидкостного охлаждения позволяют им не перегреваться.
Дата-центры 2020-х настолько автоматизированы, что почти не требуют ручного управления. Мониторингом и администрированием теперь занимаются системы на основе ИИ. К примеру, компания Huawei совместно с оператором связи China Unicom в ЦОДе Central Plains в Чжунъюань внедрила iCooling@AI. Это решение позволяет оптимизировать энергопотребление и охлаждение и снизить индекс PUE до 8–15% — это примерно 3,85 млн киловатт-часов электричества в год. Похожее решение есть в дата-центрах Яндекса.
Последние линейки серверных процессоров, тот же AMD EPYC Zen 5, уже адаптированы под ИИ, обработку больших данных и машинное обучение, которые требуют повышенной производительности и скорости передачи данных.
Прямо сейчас на мировом рынке ЦОД происходит диверсификация. Лидеры остались прежними, однако стали появляться крупные специализированные провайдеры ЦОД, такие как Equinix и Digital Realty. Они продают услуги колокейшн и аренды серверов, позволяя другим компаниям размещать свое оборудование в их дата-центрах.
Важнейшим критерием при выборе современных ЦОД стала их надежность: количество и сроки простоев, резервирование, отказоустойчивость инфраструктуры. А главным мерилом стал международный стандарт Tier.
Крупные российские дата-центры, такие как NORD 4, работают по стандарту Tier III. Это означает, что ЦОД имеет минимум два энерговвода, всё активное оборудование резервируется по схеме N+1, а потоки — по 2N. Показатель доступности в таких ЦОД держится на уровне 99,982%, то есть возможный простой оборудования не превышает 1,6 часа в год.
NORD 4 занимает площадь 11 700 м² и вмещает 2016 стоек, в этом дата-центре размещается и наше облако. ЦОД принадлежит «Ростелеком/РТК-ЦОД» и считается самым крупным коммерческим дата-центром в России. Также в пятерку крупнейших игроков отрасли входят IXcellerate, Росатом, ГК Key Point и DataPro, которые делят между собой 62% рынка. Совокупная мощность российских дата-центров, включая традиционные и майнинговые, достигла 3,6 ГВт по состоянию на февраль 2025 года.
От 30-х годов мы ждем перехода на квантовые вычисления и полную интеграцию ИИ для управления инфраструктурой. А вы как считаете? Давайте обсудим в комментариях.
* Деятельность компании Meta Platforms Inc., которой принадлежит указанная соцсеть, признана экстремистской и запрещена в РФ