Как политика 19 века повлияла на расположение дата-центров сегодня

Original author: George Moore
  • Translation
От переводчика

Уважаемые хабражители! Так как это мой первый эксперимент по размещению контента на Хабре, прошу не судить слишком строго. Критика и предложения охотно принимается в ЛС.


Недавно, Google объявил о доступности нового дата-центра в Солт-Лейк Сити, в штате Юта. Это — один из наиболее современных ЦОД, в которые инвестировали такие компании, как Microsoft, Facebook, Apple, Yahoo, и другие, расположенных вдоль линии, соответствующей 41-ой параллели на территории США.


карта расположения ЦОД


Каждая из этих компаний инвестирует миллиарды долларов в эти четыре города:



Так что же делает 41-ую параллель настолько особенной, заставляя различные компании вкладывать миллиарды долларов, строя дата-центры в этих городах?


Ответ в том, что большая часть трафика, текущего с востока на запад США и обратно проходит сквозь каждое из этих мест посредством крупного собрания волоконно-оптических кабелей, принадлежащего большому количеству телеком-компаний, таких как: AT&T, Verizon, Comcast, Level 3, Zayo, Fibertech, Windstream и других.


Эта инфраструктура волоконно-оптических сетей предоставляет дата-центрам доступ к огромному количеству широких каналов, подстегивая цикл инвестирования — больше ЦОДов привлекают больше трафика, что, в свою очередь, приводит к постройке большего количества волоконно-оптических магистралей, что приводит, опять же, к постройке большего количества дата-центров.


Почему все эти телеком-гиганты выбрали место расположения своих магистралей по этому маршруту поперек США? Потому что каждый из этих кабелей пролегает под землей вдоль непрерывной полосы отчуждения шириной примерно 60 метров вдоль самой первой трансконтинентальной железной дороги, строительство которой было завершено в 1869 году. Правительство США выдало право на эту землю железной дороге концерна Union Pacific, подписав Акт о Тихоокеанской железной дороге 1862 года. И если вы — телекоммуникационная компания, желающая проложить новую оптическую магистраль через территорию США в 2019 году, вам нужно будет согласовывать ваш проект только с одной компанией — Union Pacific. Эта небольшая полоска земли полностью пересекает США, как видно на этом проекте железной дороги 1864 года:


Карта проекта трансконтинентальной ЖД 1864 года


Пример такого телеком-соседства — главный телепорт компании EchoStar в Шайенне, штат Вайоминг. EchoStar оперирует 25 геостационарными спутниками для вещания контента и фильмов. Они купили большой кусок земли рядом с полосой отчуждения Union Pacific, что позволило им подключиться прямо к трансконтинентальным оптическим кабелям, закопанным рядом с железной дорогой.


На картинке внизу можно четко видеть линию, разделяющую границы владения EchoStar, северная из них совпадает с границей полосы отчуждения Union Pacific.


границы владений EchoStar и Union Pacific


Еще один пример такого соседства — дата-центры Microsoft и суперкомпьютерного центра NCAR в Вайоминге. Оба расположены в пределах километра от железной дороги Union Pacific:


участки Microsoft и NCAR


А почему железная дорога была построена вдоль 41-ой параллели, из Айовы в Калифорнию?
С 1853 года, США проводили обследования для того, чтобы выяснить наилучший маршрут для новой железной дороги — вдоль 47-ой, 39-ой, 35-ой и 32-ой параллелей. В 1859 году военный министр США Джефферсон Дэвис решительно поддержал южный маршрут из Нового Орлеана в Сан-Диего — он был короче, по пути не было высоких гор, которые надо было бы преодолеть, и не было снегопадов, которые увеличили бы расходы на поддержание новой железной дороги. Но в 1850-ых годах ни один конгрессмен из северных штатов не проголосовал бы за южный маршрут, который помог бы рабовладельческой экономике Конфедерации, и никакой конгрессмен из южных штатов не проголосовал бы за северный маршрут. Эта патовая ситуация сохранялась до начала гражданской войны в США. Когда южные штаты вышли из союза в 1861 году, оставшиеся политики с севера быстро проголосовали в поддержку Акта о железных дорогах 1862 года, который закрепил место начала трансконтинентальной дороги в городе Каунсил-Блаффс, штат Айова, и ее маршрут — с запада на восток вдоль 41-ой параллели.


Почему именно Каунсил-Блаффс? Было много городов, желающих соревноваться за право получить эту привилегию. Но именно Каунсил-Блаффс был выбран, так как долина реки Плейт-Ривер строго на запад от города плавно поднималась к Скалистым горам, предлагая удобный источник воды для паровых локомотивов. Та же самая вода теперь используется для адиабатического охлаждения современных дата-центров вдоль этого маршрута.


После того, как строительство первой железной дороги было закончено, компания Western Union немедленно установила первый телекоммуникационный коридор в полосе отчуждения железной дороги, и в скором времени передавала все телеграммы с одного конца континента в другой. Позднее, когда AT&T построила междугородние телефонные линии в начале XX века, они так же были построены вдоль этой железной дороги. Эти магистрали разрастались и надстраивались, пока не превратились в громадное скопление магистралей связи, существующее в этой полосе земли сегодня.


Именно так политические решения, сделанные более 150 лет назад, сегодня предопределили место вложения многих миллиардов долларов в современные центры обработки данных.

Share post
AdBlock has stolen the banner, but banners are not teeth — they will be back

More
Ads

Comments 54

    +24
    Я правильно понял идею о том, что для того, чтобы положить интернет в США, достаточно перекопать ночью на тракторе пару десятков метров поперёк ЖД на 41 паралели? И если оперативно прикрыть песочком, то чинить будут недели две?
      +10

      Ну, у нас тоже многое идет по магистралям ТТК. И периодически случаются… коллапсы разной степени важности.


      Напоминаю, что вот этот мем появился именно в США (шутка на правах шутки):


      Заголовок спойлера

      image

        0
        У нас идёт многое, а у них (судя по статье) почти всё.

        Наверное для этого крупные компании размещают резервные датацентры по обоим берегам Америки. На всякий пожарный.
          +1
          По магистралям ТТК идет только трафик самого ТТК и присоединенных к нему операторов. У Ростелекома, Вымпелкома и Мегафона свои магистрали, с географически разнесенным резервом от РЖД не зависящие.
            0

            Backhoe fade.

            +15
            Смешно. Напомню, что интернет изначально создавался, как военная сеть, где трафик будет обходить другими путями, если какой-то из узлов вырубился. И типа эти люди вложили всё бабло в то, что можно перекопать одним трактором :)
            Это только один из коридоров, там еще куча.
            Типа такого
            image
              +9

              Так никто и не говорит, что коридор один. В статье описывается, почему один из самых крупных — пролегает именно по этому маршруту.

                +8
                Я вообще-то отвечал на коммент про одним трактором лишить америку интернета. По приведенной карте, видно, что таким образом максимум только пинг увеличится.
                  0
                  Но ведь сильно возрастет нагрузка на те ноды сети, на которые раньше не было нагрузки. Так что про «положить интернет» от части может быть правдой, ибо что-то ляжет от нагрузки.
                    0
                    Автор статьи намекает что на этой ветке крупнейшие датацентры Гугл Микрософт и Apple. Соответственно Ажур, плеймаркет с почтой гугл, ну и фоточки айфонов полетят другими путями. В масштабах интернета конечно мелочь, но как бы не возник комбинаторный лавинообразный эффект когда отказ одного сегмента мгновенно перегружает соседний и тот тоже ложится и так далее.
                +1
                На этой карте трактор понадобится в шести местах.
                –1
                Вы немного не представляете себе оперативность ремонтных служб и их возможностей по локализации места обрыва. В двух словах — не успеет никто. И хорошо, если попадет в тюрьму, а не под огонь спецподразделений.
                Долболедизм случается, конечно. Вспоминаю службу в ПВО офицером связи в 90-е. Тогда встретились две яркие индивидуальности — один альтернативно-одаренный товарищ приказал проложить связной кабель по танковому полигону на метровой глубине (самый короткий путь был через полигон), а второй, коммерчески-одаренный и по совместительству — начальник полигона, продавал что-то ценное в земле с этого полигона, в итоге на эту кабельную линию просто забили, т.к. ее рвали экскаватором каждую неделю.
                  +1
                  Ну не нужно путать долбодятлов и умышленную диверсию. Во втором случае можно спокойно уйти.
                  +3
                  OTDR укажет на место обрыва с точностью до метра
                    0
                    На глубине 60 метров. Поэтому возможность саботажа сводится практически к нулю.
                      0
                      Можно подробнее? Это копали траншею такой глубины или там какой-то проходческий мини-комбайн применялся?
                        0
                        Я перепутал, кажется. Там в статье не «на глубине 60 метров», а «шириной 60 метров».
                      –1
                      а дело задорнова живет
                      +17
                      История вызывает воспоминания об апокрифе (?) про ширину задницы древнеримской лошади…
                        +10

                        Аналогично. Но в штатах же еще попробуй получить вот так запросто непрерывный кусок земли через всю страну, принадлежащий одной (!) компании.

                          +3
                          Есть относительно свежий фильм The Hummingbird Project, там для высокочастотной торговли тянут оптический кабель из Канзаса в Нью-Джерси. Масштабы сопутствующего геморроя с землеотводом неплохо показаны :)
                            0
                            По идее радиорелейка с регенерацией быстрей должна быть, за счёт того, что среда с более низкими мю и эпсилон?
                            0
                            Более интересно почему там только «полоска земли», а не железка… То есть вроде как там и железка имеется в большинстве мест… но не везде. Что случилось? Двигаться через континент нужно же не только байтам…
                              0

                              Летать дешевле.

                                +2
                                автомобили случились
                                +2
                                А его не запросто получили, есть сериал «Ад на колёсах», там как раз эта компания Union Pacific не хило боролась за это, как и многие другие компании
                                0
                                Тут и задницы тоже замешаны, полоса-то вдоль ЖД! Если бы не лошадиные задницы — могло бы быть не 60 метров, а 59 или 61, или проходила бы полоса чуть в другом месте, вместе с кабелями. А отсюда и нехилая разница в расстоянии между дата-центрами, и в расходах на кабель, соответственно. Плюс/минус метр оптоволокна, с тамошними-то пучками — внушительная сумма получается! А уж влияние разницы пинга в 3.33 наносекунды на Всемирную Сеть и представить страшно!
                                  –2
                                  … а потом эти же redacted пишут про политику или социологию!
                                –2

                                И куда же смотрят хвалёные антимонопольные службы...?)

                                  +2
                                  Видимо в сторону ланчей с лоббистами.
                                    +3
                                    Вы это РЖД расскажите.
                                      +4
                                      А где вы нашли нарушение антимонопольного законодательства? Если бы Union Pacific открыл свою дочернюю телеком компанию и пользуясь своим положением выдавливал бы с рынка Гугл, at&t и прочих — они бы сразу возбудились. Пока Union Pacific предоставляет равный доступ всем по единым расценкам — никакой проблемы монополизации нет.
                                        0
                                        А какое отношение они к этому имеют?
                                        +3
                                        Автор перевода молодец. Интересно было б узнать о чём-то подобном, но на территории Европы. Есть ли подобного рода ещё статьи?
                                          +4
                                          Очень интересная история. Было-бы любопытно почитать и про наши Российские оптоволоконные магистрали, с ними тоже много чего в тумане.
                                            0
                                            Очень старый баян.
                                            Карта магистралей Ростелекома валялется в интернете.
                                            Тэг «teacable» или «teaproject»
                                              +1
                                              Ну вот, например, я сам столкнулся с тем, как «политическое» решение XIX века повлияло на современную инфраструктуру Томска: janatem.livejournal.com/29327.html
                                                0
                                                Это похоже больше на городскую легенду — подобные же истории я слышал про обойдённые «железкой» Переяславль-Залесский и Боровск, и я думаю таких историй наверняка есть ещё. Нисколько не отрицаю, конечно, что некоторые из подобных историй могут иметь под собой реальные обоснования, но вот конкретно в этом посте ссылка на Википедию с выставленной год назад на удаление статьёй, где никаких конкретных доказательств какой-либо политики, кроме отвлечённых рассуждений о том, что могло бы быть и в равной степени могло бы не быть.
                                              0
                                              Блин, а ракетчики то не знают…

                                              На хабре была статья.
                                              «Кровеносная система мирового интернета»

                                              А вообще, судя по тому, что читал — у нас основные трассы идут вдоль РЖД — там и транспорт с людьми есть и лучше по откосу, чем в чистой тайге.
                                                +17
                                                Раньше строили города вдоль рек. Теперь data-города вдоль data-рек )
                                                  +3

                                                  500-mile email?

                                                    0
                                                    Если кто не знает эту замечательную историю:
                                                    rauf.livejournal.com/23552.html
                                                      +1
                                                      Которая, по большей части, художественное преувеличение.
                                                      www.ibiblio.org/harris/500milemail-faq.html
                                                        +1
                                                        Примерно такое же преувеличение, как любая история, рассказанная в суде под присягой о событиях, случившихся лет 10 назад.

                                                        Вы не поверите — насколько сложно восстановить точные детали чего-то, что изначально не записывалось на видеокамеру, не подшивалось в архив сразу после произошедшего и так далее.

                                                        Человеческая память — штука черезвычайно ненадёжная. Это, условно говоря, «аналоговый DRAM» (когда вы что-то вспоминаете, вы, тем самым, воспоминания стираете, а на их место помещаются, условно, «воспоминания о воспоминаниях»).

                                                        Так что я думаю история рассказана настолько правдиво, насколько автор смог это сделать…
                                                          0
                                                          Надеюсь, вы прочитали текст по ссылке, которую я привёл, перед тем как ответить.
                                                            0
                                                            Прочитал, да. Из вещей, которые точно неправда — только 3 миллисекунды и 500 миль.

                                                            То есть ровно то место, которое с точностью до третьего знака после запятой вы не запомните и которое, если вы захотите историю рассказать через десять лет, придётся рассчитывать заново — возможно с ошибками.
                                                              0
                                                              Наоборот, когда я читал эту историю впервые в начале 2000-х, всё остальное выглядело хоть и с натяжкой, но примерно правдоподобно, а вот именно на этом месте про 3 миллисекунды я понял (даже без расчётов), что автор, мягко говоря, безбожно врёт. Именно потому, что задержки на коммутаторах, даже на самых продвинутых для того времени, были таковы, что эти несчастные 3 миллисекунды потерялись бы на их фоне как стат. погрешность.
                                                                +1
                                                                а вот именно на этом месте про 3 миллисекунды я понял (даже без расчётов), что автор, мягко говоря, безбожно врёт.
                                                                А зря батенька, ой как зря.

                                                                Именно потому, что задержки на коммутаторах, даже на самых продвинутых для того времени, были таковы, что эти несчастные 3 миллисекунды потерялись бы на их фоне как стат. погрешность.
                                                                А проверить? Нэ? Ну мы же на Хабре, на техническом, блин, ресурсе. Вот статья примерно как раз тех годов (там даже Ultra 1 примерно такая, как в этой байке, фигурирует). Согласно матмодели свитчи дают задержку в 15μs, паршивенькие карточки в самой железке — 100μs-170μs… А 500 миль кабеля (как он потом в FAQ же уточняет) — это как минимум 5368μs (скрость света + туда/обратно… но на самом деле, из-за физических свойств кабеля, даже чуть больше).

                                                                Так что… если мы говорим о расстояниях в сотни и тысячи миль, то задержками на коммутаторах в первом приближении действительно можно пренебречь. Они начинают на что-то влиять только если свитчи перегружены.

                                                                Вот в локалке, с расстояними в сотни метров — там да, соотношения другие.

                                                                Ваша ошибка в том, что вы «бытовые» понятия перенесли в компьютер. Свет, с бытовой точки зрения, распространяется мгновенно. Однако если речь идёт о компьютерах — то это ни разу не так. Именно скорость света ограничивает размеры Ethernet-сегмента, WiFi-сегмента и так далее! То есть «с точки зрения компьютера» свет — это вот нифига на «мгновенно», это очень даже небыстро… если речь идёт о географически значимых расстояниях… а на частотах в гигагерцы — и того хлеще: если у вас процессор работает, скажем на, на частоте в 1GHz (и бывают и быстрее… сильно быстрее), то за один «тик» свет проходит всго лишь какие-то жалкие 30 сантиметров!

                                                                P.S. На самом деле я как раз начал считать и думать, когда эту историю прочитал, как раз без чтения FAQ. Почему у нас 0s вообще могут «зачесться» как 3ms или 5ms или вообще как какое-нибудь ненулевое число? Дык эта! Jiffies! Вспомните про three way handshake. Скорее всего в SunOS дизайн был такой, что SYN отсылался в один «тик», а уже ACK мог обрабатываться только в следуюший. Если Jiffies в SunOS были похожими на то, что было в Linux и Windows (10ms в Linux, 10-15ms в Windows), то как раз и получаем время на путешествие в 500 миль — с учётом NIC, свитчей и роутеров.
                                                                  +1
                                                                  А проверить? Нэ? Ну мы же на Хабре, на техническом, блин, ресурсе. Вот статья примерно как раз тех годов (там даже Ultra 1 примерно такая, как в этой байке, фигурирует). Согласно матмодели свитчи дают задержку в 15μs, паршивенькие карточки в самой железке — 100μs-170μs…
                                                                  А вы не перепутали ссылку на статью, случайно? Я вот пролистал её и не нашёл там никаких матмоделей. Только эксперименты и прямые замеры, ни в одном из результатов и графиков которых не используется такая единица, как микросекунда. В сценарии, который больше всего напоминает ту байку («Pings between 2 ESnet sites», т.е. не локалка и не международный линк) на графике указан абсолютный минимум, среднее и медиана полученного RTT — всё три величины около 4 милисекунд. Примерно такие RTT на хорошем незагруженном региональном бэкбоне в середине 90-х годов и были нормой.
                                                                  Что и доказывает, что автор приврал, и далеко не слегка.
                                                                  Ваша ошибка в том, что вы «бытовые» понятия перенесли в компьютер. Свет, с бытовой точки зрения, распространяется мгновенно. Однако если речь идёт о компьютерах — то это ни разу не так. Именно скорость света ограничивает размеры Ethernet-сегмента, WiFi-сегмента и так далее! То есть «с точки зрения компьютера» свет — это вот нифига на «мгновенно», это очень даже небыстро… если речь идёт о географически значимых расстояниях… а на частотах в гигагерцы — и того хлеще: если у вас процессор работает, скажем на, на частоте в 1GHz (и бывают и быстрее… сильно быстрее), то за один «тик» свет проходит всго лишь какие-то жалкие 30 сантиметров!
                                                                  Ох, божечки… Нет у меня такой ошибки. Размер сегмента Ethernet ограничивает вовсе не скорость света, а электрические характеристики кабеля, а дальность WiFi — мощность передатчика на клиентской стороне. Вы, извините, написали тут какую-то совершенно дикую чушь.
                                                                  Если Jiffies в SunOS были похожими на то, что было в Linux и Windows (10ms в Linux, 10-15ms в Windows), то как раз и получаем время на путешествие в 500 миль — с учётом NIC, свитчей и роутеров.
                                                                  Нет, не получается. 500 миль это по прежнему 3 милисекунды, что меньше и 10 и 15.
                                                    0
                                                    Спасибо! Познавательная статья. Есть ли нечто аналогичное в Европе или Азии?!
                                                      +1
                                                      Даже в России где «свободных» площадей хватает очень много оптики вдоль «железки». Это просто удобно: удобно в случае чего добираться и чинить.

                                                      А вот такого, чтобы «железка» строго по какому-то определённому градусу шла… Это только в США, скорее всего…
                                                      +2
                                                      больше всего удивило, что Union Pacific еще жива и успешно торгует своей привилегией
                                                        0
                                                        41 параллель! Это ж жара какая. У России 41 градус северной широты – это как раз самая южная точка :)
                                                          0
                                                          A как эти кабели укладывают в этих 60 метрах? Поначалу, небось, плугом-кабелеукладчиком, но, когда проводов много, наверно, только вручную? тамошние таджики детскими совочками землю роют? Или там проходной кабель-канал? Поначалу в нем, наверно, грузовиком ездить можно было. Только цена, метро через весь континент…

                                                          Only users with full accounts can post comments. Log in, please.