Первый в мире компьютер для обработки данных весил около 13 тонн и занимал помещение размером с однушку. С тех пор вычислительные машины становились всё меньше, а занимаемые ими площади — всё больше. Серверные комнаты разрослись до гигантских центров обработки данных размером с аэропорт Шереметьево, а их мощность увеличилась в квадриллион раз — с 0,0000025 мегафлопса до нескольких десятков терафлопс.

Настоящим рывком, разделившим историю серверов на до и после, стали 90-е: компьютеры и интернет получили широкое распространение, спрос на вычислительные мощности стремительно рос, а ЦОДы приобрели современный вид. Давайте вспомним, какой путь проделали дата-центры за последние 30 лет.

1990-е годы: рождение современных ЦОД

Коммерческие дата-центры стали появляться еще в 60-х. Первопроходцами в этой сфере были IBM и American Airlines, а первый ЦОД появился благодаря случаю. Президент авиакомпании American Airlines и менеджер по продажам IBM оказались на соседних креслах самолета, летевшего из Лос-Анджелеса в Нью-Йорк. Перелет был небыстрым, они разговорились. Встреча произошла в 1953 году, а спустя семь лет на свет появился первый в мире коммерческий дата-центр — для размещения первой в мире автоматизированной системы резервирования и продажи авиабилетов SABRE.

Центр обработки данных IBM в Нью-Йорке. Источник фото

Уже в то время компании размещали свои вычислительные мощности в отдельных зданиях — с фальшполом и особой системой кондиционирования. Но эти дата-центры всё равно были мало похожи на современные. Они были строго корпоративными и обслуживали интересы конкретной компании.

К концу 80-х годов ЦОДы стали быстрее и меньше, однако свой современный вид они обрели лишь в 90-х — с развитием интернета и веб-сервисов.

Именно в 90-е появились первые ЦОД, работающие по модели colocation. Любые компании могли за деньги хранить там свои данные и арендовать вычислительные мощности. Потенциал быстро оценили в Communications и Equinix, которые позже стали мировыми лидерами в сфере колокации.

Концепция модульных серверов, которые устанавливаются в стандартизированные 19-дюймовые стойки, тоже родом из 90-х. Считается, что они пришли в ЦОДы с железных дорог: такие стойки придумали больше века назад под оборудование, которое управляло железнодорожными стрелками. Как и кому пришло в голову использовать их в ЦОД, история уже не помнит.

До этих пор все вычислительные машины имели разную конструкцию и размеры, и оборудование даже одного и того же производителя могло быть несовместимым. С приходом 19-дюймового стандарта компании унифицировали размер и улучшили связность оборудования. Новый стандарт позволил уплотнить серверы в ЦОД и упростить их обслуживание. В дальнейшем такой подход получил широкое распространение и стал основой для современных серверных стоек.

Блейд-серверы в дата-центре Dell. Источник фото

Стандартизация была бы невозможна без развития микропроцессорных технологий, которые сделали серверы меньше и производительнее. Наглядный пример — Intel Pentium III, который вышел в 1999 году и мог выдавать до 1133 мегафлопс в секунду.

Одним из самых мощных коммерческих дата-центров в конце 90-х был Lakeside Technology Center в Чикаго, США. Он занимал по меньшей мере 100 000 м² и вмещал тысячи серверов, которые работали на базе процессоров IBM RS/6000 SP. Объем оперативной памяти исчислялся в гигабайтах на сервер, а совокупная пиковая производительность достигала сотен гигафлопс.

Основными производителями серверов были IBM, Hewlett-Packard и Sun Microsystems.

2000-е годы: бум интернета и рост потребности в ЦОД

С развитием интернета компании начали активно инвестировать в IT-инфраструктуру. Количество дата-центров по всему миру неизменно росло.

Первые дата-центры стали появляться и в России. В основном их использовали госструктуры, банки и нефтяные компании. Одним из первых крупных проектов стал ЦОД СберБанка. В 2003 году к гонке присоединился Ростелеком, открыв в Чувашии дата-центр для систематизации архивных записей республиканских властей. Однако о производительности первых дата-центров известно немного.

Пока Россия только осваивалась на рынке ЦОД, западные технологии шагнули далеко вперед. Если в 90-е ЦОД состояли преимущественно из отдельных серверов и мейнфреймов, занимавших много места, то уже в начале нулевых компании стали массово переходить к стандартизированным стойкам. Модульные серверы занимали меньше площади, а вычислительная мощность ЦОДов множилась.

Вместо десятков и сотен серверов современные комплексы вмещали тысячи, а сами серверы стали намного мощнее. Их производительность увеличилась с сотен мегагерц до нескольких гигагерц на процессор. Вычислительная мощность стала измеряться в терафлопсах.

Объем памяти серверов вырос с гигабайтов до терабайтов. Широкое распространение получили сетевые системы хранения, такие как SAN и NAS. На рынке появились первые массовые хранилища на сотни терабайтов и даже петабайты.

Технологии виртуализации и контейнеризации позволили сделать коммерческим ЦОД большой рывок. В 2005 году Google построил один из крупнейших в то время контейнерных дата-центров: 45 контейнеров составляли два этажа и вмещали больше 45 тысяч серверов.

В 2009 году в Чикаго открылся контейнерный ЦОД от Microsoft. Его 56 контейнеров вмещали до 2,5 тысячи серверов, а остальные размещались в более традиционном формате — в гермозонах.

ЦОД Microsoft в Чикаго. Снаружи и не скажешь, что мы смотрим на один из крупнейших в Америке дата-центров тех времен. Источник фото

Тогда же, в нулевые, стали набирать популярность облака. В 2006 году появился Amazon Web Services, который станет самым распространенным публичным облаком в мире. Последующее развитие облачных технологий позволило гибко масштабировать ресурсы без значительных физических изменений инфраструктуры.

В дата-центрах появились системы автоматизации и удаленного мониторинга, а штат специалистов, которым приходилось следить за всей инфраструктурой ЦОДов, сократился.

Однако у бурного развития ЦОДов были и минусы. Рост серверной плотности вызвал проблему перегрева. В ответ появились прецизионные системы кондиционирования, модульные системы охлаждения и начались первые эксперименты с жидкостным охлаждением. Тогда же стали звучать инициативы по внедрению возобновляемых источников энергии в ЦОД.

Dell, IBM, Hewlett-Packard продолжали лидировать, но на рынке уже стали появляться конкуренты, такие как Amazon (AWS).

2010-е годы: эра гипермасштабируемых ЦОД

Крупные технологические компании начали строить огромные ЦОД для поддержки своих сервисов. Так появились гипермасштабируемые дата-центры Google, Facebook*, Amazon, вмещающие до десятков тысяч серверных стоек и миллионов серверов.

Вычислительная мощность ЦОД перешла в разряд нескольких десятков и даже сотен терафлопс. Предполагается, что именно такой мощностью обладал в те годы Lakeside Technology Center в Чикаго. Еще один пример — NASA Advanced Supercomputing (NAS) Facility, где установлен суперкомпьютер Pleiades. Его изначальная мощность составляла 487 терафлопс, а после модернизации превысила 5 петафлопс.

Объемы памяти выросли до сотен петабайтов и даже эксабайтов благодаря внедрению SSD-накопителей и распространению облаков. Переход к жидкостному охлаждению резко снизил энергопотребление, позволив на какое-то время заморозить эту проблему. Кроме того, в 2010-е годы под давлением экологов произошел активный переход на возобновляемые источники: солнечную и ветровую энергию, биотопливо и другие. Локомотивами этого процесса стали гиганты вроде Google и Facebook*.

Интернет становился быстрее, появились сети 4G и 5G. Всё это позволило дата-центрам одновременно обслуживать гораздо больше пользователей. ЦОД получили возможность масштабироваться почти безгранично за счет облачных технологий и виртуализации.

В этот период на международном рынке доминировала компания IBM, а также Amazon, Google, Microsoft, Facebook*, которые развивали собственные дата-центры и облачные сервисы. По данным на 2017 год, в распоряжении каждой из этих компаний было не меньше 45 гипермасштабируемых ЦОДов.

В тот же период начинается активное развитие дата-центров в России. Например, в 2011 году в Москве открылся крупный ЦОД СберБанка — «Южный порт» — площадью 16 000 м². В конце 2010-х он построил еще один дата-центр вдвое большей площади — на 20 машинных залов и до 24 тысяч серверов.

Дата-центр СберБанка: проект 2016–2020 годов. Источник фото

2020-е годы: современные тенденции и вызовы

Современные ЦОД вмещают миллионы серверов, которые стали еще мощнее. Intel и AMD продолжают соревноваться в производительности. Так, четвертое поколение линейки серверных процессоров Zen от AMD, в сравнении с предшественником, обеспечило двукратный рост плотности размещения ядер и +14% к производительности CPU на ядро, а Zen 5 — прирост производительности уже на 20–25%.

Последние линейки процессоров вмещают сотни ядер. Их габариты уменьшаются, производительность измеряется десятками и даже сотнями терафлопс, а плотность размещения в ЦОД растет.

Благодаря гиперплотным серверным конфигурациям дата-центры способны хранить до нескольких экзабайтов информации, а системы погружного жидкостного охлаждения позволяют им не перегреваться.

Дата-центры 2020-х настолько автоматизированы, что почти не требуют ручного управления. Мониторингом и администрированием теперь занимаются системы на основе ИИ. К примеру, компания Huawei совместно с оператором связи China Unicom в ЦОДе Central Plains в Чжунъюань внедрила iCooling@AI. Это решение позволяет оптимизировать энергопотребление и охлаждение и снизить индекс PUE до 8–15% — это примерно 3,85 млн киловатт-часов электричества в год. Похожее решение есть в дата-центрах Яндекса.

Дата-центр Central Plains — один из двенадцати супер-ЦОДов, спроектированных China Unicom. Источник фото

Последние линейки серверных процессоров, тот же AMD EPYC Zen 5, уже адаптированы под ИИ, обработку больших данных и машинное обучение, которые требуют повышенной производительности и скорости передачи данных.

Прямо сейчас на мировом рынке ЦОД происходит диверсификация. Лидеры остались прежними, однако стали появляться крупные специализированные провайдеры ЦОД, такие как Equinix и Digital Realty. Они продают услуги колокейшн и аренды серверов, позволяя другим компаниям размещать свое оборудование в их дата-центрах.

Важнейшим критерием при выборе современных ЦОД стала их надежность: количество и сроки простоев, резервирование, отказоустойчивость инфраструктуры. А главным мерилом стал международный стандарт Tier.

Крупные российские дата-центры, такие как NORD 4, работают по стандарту Tier III. Это означает, что ЦОД имеет минимум два энерговвода, всё активное оборудование резервируется по схеме N+1, а потоки — по 2N. Показатель доступности в таких ЦОД держится на уровне 99,982%, то есть возможный простой оборудования не превышает 1,6 часа в год.

Так выглядит NORD 4 изнутри. Источник фото

NORD 4 занимает площадь 11 700 м² и вмещает 2016 стоек, в этом дата-центре размещается и наше облако. ЦОД принадлежит «Ростелеком/РТК-ЦОД» и считается самым крупным коммерческим дата-центром в России. Также в пятерку крупнейших игроков отрасли входят IXcellerate, Росатом, ГК Key Point и DataPro, которые делят между собой 62% рынка. Совокупная мощность российских дата-центров, включая традиционные и майнинговые, достигла 3,6 ГВт по состоянию на февраль 2025 года.

От 30-х годов мы ждем перехода на квантовые вычисления и полную интеграцию ИИ для управления инфраструктурой. А вы как считаете? Давайте обсудим в комментариях.

* Деятельность компании Meta Platforms Inc., которой принадлежит указанная соцсеть, признана экстремистской и запрещена в РФ

От серверных комнат до высокотехнологичных комплексов: как изменились ЦОДы с 90-х