18 лет назад Роб Рой продал свою строительную компанию, основал Switch, спроектировал самые технологичные дата-центры мира, и объединившись с Tesla, построил самую большую солнечную электростанцию в США, чтобы победить местного «коммунальщика».
Штат Невада — привлекательное место для технологических компаний. По большей части своими налоговыми условиями. Район Tahoe Reno по законам США считается «Qualified Opportunity Zone» или «Квалифицированной зоной возможностей». Обычно под такой статус попадают экономически отстающие регионы, развитие которых можно сильно «забустить», предложив выгодные условия для бизнеса — низкие налоги, льготы и бонусы.
Именно здесь, в окружении песчаных холмов, расположен кампус дата-центра Citadel от компании Switch. Пока что его площадь около 1,4 миллиона квадратных футов, однако продолжающееся строительство увеличит это значение до 7,2 миллионов квадратных футов.
Соответственно, текущая мощность в 150 мегаватт будет увеличена до 650 мегаватт — все на 100% зеленой энергии.
Для сравнения можно посмотреть крупные ЦОД других гигантов. Например, дата-центр Google в Оклахоме имеет площадь 980 000 квадратных футов — немного меньше, чем Цитадель сейчас.
Кампус китайского дата-центра в Харбине имеет общую площадь в 6 500 000 квадратных футов — больше, чем Цитадель сейчас, но меньше, чем после завершения строительства. Однако, что это за площадь?
Мощность ЦОДа в Китае — 150 МВт. Мощность Цитадели сегодня аналогична, но после добавления к кампусу новых площадей она увеличится до 650 МВт.
Как видно, чаще всего центры обработки данных ограничены своей мощностью, а не площадью. Цитадель предлагает своим клиентам до 55 кВт энергии на каждый серверный шкаф.
Можно примерно прикинуть, сколько серверов поместиться в Цитадели при полной загрузке. Очевидно, сайты WordPress потребляет гораздо меньше энергии, чем более сложный бэкэнд стек.
Как правило, средняя серверная стойка потребляет 7 кВт, а более мощная — около 25 кВт. Маловероятно, что кто-то будет использовать все 55 кВт на шкаф, предлагаемые Switch, но тем не менее. Итого, 3 сценария:
Легкий. 650 000 кВт / 7 кВт = 92 857 стоек * 52(U) = 4 828 564 серверов 1U
Средний. 650 000 кВт / 25 кВт = 26 000 стоек * 52(U) = 1 352 000 серверов 1U
Тяжелый. 650 000 кВт / 55 кВт = 11 818 стоек * 52(U) = 614 536 серверов 1U
Цитадель, как и остальные дата-центры Switch, расположенные в радиусе 500 миль, соединены оптоволоконной сетью, которую компания назвала SUPERLOOP.
Благодаря этому, каналы связи скоростью 10 Гбит/с имеют задержку между Цитаделью и дата-центром Switch в Лас-Вегасе всего 7 миллисекунд. До залива Сан-Франциско — 4 миллисекунды. До Лос-Анджелеса — 9 миллисекунд.
Это позволяет размещать серверы в непосредственной близости от технологической отрасли Калифорнии, но без высоких налогов, высокой стоимости электроэнергии и высокого риска стихийных бедствий, характерных для штата.
На протяжении почти двух десятилетий ЦОДы и телекоммуникационные технологии Switch оценивались как Tier Elite. В 2014 году Switch стала первой и единственной компанией, получившей сертификат «Tier IV Gold» от Uptime Institute. В 2016 году Switch стала единственной организацией, сделавшей это во второй раз.
С тех пор Switch беспокоился о том, что другие стандарты не обеспечивают достаточную прозрачность и подотчетность. В решениях по дизайну, оснащению и эксплуатации Switch ушел намного дальше своих конкурентов. Поэтому в 2017 году критически важные для ЦОД наработки компании легли в основу собственного стандарта с 30 дополнительными показателями — Tier 5 Premium.
К ним относятся долгосрочные возможности системы электропитания, количество доступных носителей, отсутствие проходов через крышу, расположение охлаждения, физическая и сетевая безопасность, а также 100-процентное использование возобновляемой энергии.
Некоторые добавленные в стандарт позиции могут показаться незначительными, но именно из таких мелочей складывается максимальная эффективность в отрасли — все пункты имеют важное прикладное значение:
Оба источника питания A и B остаются в сети в течение 90% обслуживания сервера.
Система накопления энергии имеет встроенную программу мониторинга.
Несколько станций в пределах электрической магистрали для управления распределительным устройством и мониторинга в трех разных местах.
Обнаружение загрязнителей наружного воздуха и защитное реагирование.
Мониторинг, активация по движению, видеонаблюдение за служебными помещениями и входами со скоростью 15 кадров в секунду и сохранением не менее 90 дней.
Внешние двери усилены в стальной раме, которая полностью заполнена цементным раствором без видимых петель.
Помещение на месте охранной деятельности может служить укрытием в течение 100 часов.
Компания считает, что существующие варианты сертификации не успевают за технологическими решениями современных ЦОД. Поэтому Switch планировал создать новый независимый орган по стандартизации — Data Center Standards Foundation (DCSF).
Однако пока что инициатива существует только в виде идеи — остальные игроки на рынке облачных вычислений могут посчитать технологические изыскания Switch довольно субъективными и использовать собственные решения, не согласующиеся со стандартом.
Например, у Switch есть запатентованная система охлаждения, построенная на классическом HVAC, но с установкой через наружные отверстия в стене, а не на предварительно усиленной крыше — модули разного размера и мощности: TSC 500, 600 и 1000. Внешнее расположение этих систем предотвращает попадание воды в здание и не занимает ценную площадь.
Эти 1000-тонные агрегаты могут переключаться между несколькими режимами охлаждения и имеют встроенные маховики, обеспечивающие увеличенное время работы в случае отключения электроэнергии.
Холодный воздух поступает в шкафы, теплоизолированные по запатентованной технологии — Switch 100% Hot Aisle Containment (T-SCIF).
Помимо этого, каркас из очень толстой стали, именуемый «Черный железный лес», выполняет двойную роль: физически поддерживает систему изоляции проходов и выступает в качестве накопителя холода, амортизируя температуру комнат при сбоях в охлаждении. Это своего рода радиатор, но для холода.
Дата-центр получает электроэнергию от солнечных и ветряных электростанций в Неваде по 5 центов за киловатт-час. Для сравнения, стоимость энергии в Калифорнии — 13 центов за киловатт-час. За 2021 год Switch потратил примерно 690 гигаватт-часов 100% возобновляемой энергии.
Кстати, Switch — единственная компания, которую Гринпис признал в своем отчете Clicking Clean как имеющую 100% индекс экологически чистой энергии. Энергетический индекс компании был выше, чем у Apple, Facebook, Google, Microsoft и Salesforce.
При этом коэффициент эффективности использования энергии (PUE) равен 1,12. Недавно мы указывали, что средний PUE дата-центров Google — 1,10, а средний мировой показатель крупнейших ЦОД — около 1,57.
Солнечные станции Switch Station 1 и Switch Station 2, расположенные на 1797 акрах земли в 15 милях от Лас-Вегаса, имеют мощность 100 и 79 МВт и питают дата-центры Switch, один из которых — Цитадель. Эта энергия эквивалентна 265 000 метрическим тоннам CO2 в год — выбросы примерно от 52 000 автомобилей, используемых в течение одного года.
Станции состоят из двух миллионов фотоэлектрических панелей, изготовленных с использованием технологии тонкопленочных полупроводников компании First Solar, которая выступала в качестве подрядчика по проектированию, строительству и обслуживанию. Непосредственно в дата-центр энергия поступает через коммунальную компанию NV Energy, которая заключила контракт со Switch.
Однако, в 2016 году Switch захотел выйти из-под монополии NV Energy. Тогда Комиссия по коммунальным предприятиям штата Невада проголосовала за то, чтобы позволить Switch уйти в качестве розничного клиента, если он заплатит комиссию в размере 27 миллионов долларов. Это обосновывалось мерами смягчения удара по клиентской базе NV Energy.
Позже Switch вместе с другими компаниями развернули своего рода борьбу с «коммунальщиком», спонсируя инициативу Energy Choice Initiative, направленную на разрушение монополии NV Energy и упрощение процедуры покупки у других поставщиков.
В итоге Switch вместе с Tesla, First Solar и ее головной организацией Capital Dynamics стали серьезным подспорьем для местного коммунальщика NV Energy. Гиганты вложили более 1,3 миллиардов долларов в самую крупную в США солнечную станцию — Gigawatt 1.
Capital Dynamics занялась проектированием и обслуживанием проекта, а Tesla установила промышленные аккумуляторы Tesla Megapacks, произведенные на Gigafactory Tesla по соседству со Switch недалеко от Рино.
Каждый блок Megapack обеспечивает 3 мегаватта энергии и поставляется в комплекте с аккумуляторными модулями, двунаправленными инверторами, системой терморегулирования, выключателем переменного тока и средствами управления. Все это необходимо, чтобы амортизировать суточные перепады солнечной энергии.
Надо сказать, Невада — идеальное место для ее производства. Низкая облачность, ровный пустынный ландшафт и большое число солнечных дней повышают интенсивность работы электростанций. Общая мощность трех объектов — 555 МВт, а емкость всех батарей — около 800 мегаватт-часов (МВтч).
Роб Рой, основатель Switch
«Основой Gigawatt Nevada является то, что Невада должна использовать солнце так же, как Аляска использует свою нефть, принося значительную пользу всем жителям штата».
Конкурируя с NV Energy, Switch собирается продавать возобновляемую энергию по более низким ценам.
Что касается безопасности Цитадели, здесь есть ряд запатентованных решений, защищающих ЦОД от физического проникновения и стихийных бедствий.
Дата-центр окружают 20-футовые бетонные стены, а сама территория круглосуточно патрулируется сотрудниками службы охраны. Switch известен тем, что берет в ряды секьюрити людей с военным прошлым. В кампусе Цитадели также есть собственная пожарная часть.
Switch также использует модель Cyber Kill Chain, разработанную компанией Lockheed Martin для анализа, выявления и предотвращения вторжений: подготовка, идентификация, сдерживание, искоренение, восстановление, извлечение уроков. Подход определяет, что противники должны сделать, чтобы достичь своей цели, и на основе этого подбирает способы противодействия.
Сотрудники Switch проходят регулярное обучение по вопросам информационной безопасности, получая в конце года аттестацию на основе зафиксированной информации в специальном Справочнике сотрудника. Регулярные тестирования проверяют персонал на подверженность фишингу электронной почты.
Из-за того, что объект расположен в пустыне, сильный ветер — одна из опасностей для здания ЦОД. Поэтому компания использует дополнительную кровельную систему, которая называется Switch SHIELD.
По сути, это запатентованная конструкция, где два настила крыши расположены на расстоянии 9 футов друг от друга и прикреплены к бетонно-стальной оболочке здания. Система позволяет выполнять непрерывный ремонт и замену компонентов без остановки дата-центра.
Роб Рой, основатель Switch
«Девяносто девять процентов центров обработки данных нуждаются в замене крыш в течение срока их службы, и в это время центр обработки данных невероятно уязвим».
Обе крыши выполнены из прочной непроницаемой стали, выдерживающей ветер со скоростью до 200 миль в час. В случае повреждения внешней крыши, внутренняя по-прежнему остается функциональной.
Империя Роба Роя
Сама концепция Switch появилась в ноябре 1999 года. В то время Роб Рой руководил командой из примерно 30 человек, занимавшейся строительством домов в Лас-Вегасе.
Тогда Роб и его деловой партнер Фил Олер посетили дата-центр в Лос-Анджелесе и загорелись идеей создать собственный ЦОД. В декабре того же года строительная компания Роба Роя подала заявление о банкротстве, а уже в следующем месяце они полностью погрузились в новый проект.
Была зарегистрирована компания Colocation Gateways, в которую Рой вложил 20 000 долларов из собственных средств и привлек 430 000 долларов от инвесторов, которым принадлежало 40 процентов акций. Остальная часть компании принадлежала партнерам пополам.
На момент 2000 года компания арендовала чуть менее 10 000 квадратных футов в одном из торговых центров Лас-Вегаса на проспекте Сахары. Не было ни охраны, ни отпечатков пальцев, ни камер наблюдения, ни биометрии — Рой, его брат и Олер проверяли здание один раз в день.
Однако товарищество двух партнеров быстро умерло. К октябрю Олер подал в суд на Роя в окружной суд. Олер хотел как минимум 300 000 долларов.
Согласно судебным документам, Олер обвинил Роя в краже 45 000 долларов со счета компании и изменении кодов в здании Сахары, в результате чего Олер был заблокирован.
В свою очередь, Рой обвинил Олера в краже служебного компьютера, программного обеспечения для выставления счетов, записей и оружия из офиса. Рой утверждает, что Олер игнорировал телефонные звонки и пропускал запланированные встречи.
В мае 2001 года суд отклонил оба иска. На тот момент Рою только что исполнилось 32 года. Однако, спустя два года Роб Рой перезапустил бизнес под названием Switch.
Сегодня Switch — миллионы квадратных футов площадей в Неваде, Мичигане и Атланте и Таиланде. В 2020 году выручка Switch составила 512 миллионов долларов, а общее количество сотрудников превысило 800 человек.
По данным Reuters, после выхода на биржу в 2020 году рыночная стоимость Switch составила 4,2 миллиарда долларов. Доля Роя — более 18 процентов. Это почти 1 миллиард долларов.
От PayPal до Microsoft
В центрах Switch хранится конфиденциальная информация нескольких сотен клиентов, размер которых варьируется от небольших стартапов до компаний из списка Fortune 100. Это киностудии, производители игр, некоммерческими организации и государственные учреждения.
Ключевым арендатором мощностей Цитадели является eBay — он генерирует более 14% выручки. Остальную прибыль приносят Microsoft, Google, Amazon, PayPal, FedEx, Box и другие крупные клиенты. Открыв свои двери только в 2016 году, Citadel Campus остается загруженным на 90% за счет этих клиентов.
TAHOE RENO 1 (это кодовое название Цитадели в Тахо-Рено) продолжает свое расширение — до 2023 года Switch планирует разработать дополнительные серверные площади под названием TAHOE RENO 2.
