По просьбам Хабрапипла, друзей и знакомых, выкладываю более подробную информацию о нашем дата центре:
Все началось примерно 2 года назад, сидя в итальянском ресторане за тарелкой пасты :)
Идея уже давно металась в стаждущих умах великих гениев, но тут она нашла выход наружу. Чуть позже было таки принято решение о начале строительства сего безобразия. Изначально предполагалось сделать ЦОД «Иртышский», планы были грандиозные, но были и колоссальные технические сложности, посему было принято решение о том. чтобы отложить Иртышский «на сладкое» :), взялись за «Славянский».
Небольшая справка: Долго думали как обозвать данные проект, в итоге пришли к выводу, что в глобале это будет «М77» по принципу М9, М10, М5 (ММТСы), опять таки Стек (М1), а в локале решили что будем различать по географическому признаку :) собственно так и получилось, «Славянский» расположен на Славянском бульваре, а «Иртышский» на Иртышском проезде :)
Изначально имели в полном распоряжении отдельно стоящее 2-х этажное здание свободного назначения, выбрали помещения и начали думать, сначала хотели отдать все на аутсорс и пригласить «специалистов» по ЦОДостроению, пригласили одних, потом других, потом третьих, в итоге поняли, что все кто занимается строительством ЦОДов в РФ — это люди «старого» склада ума, не шибко следящие за тенденциями отрасли, зачастую слабо понимающие и разбирающиеся в этом деле, примерно через 10 месяцев раздумий и предпроектных изысканий мы решили создать все своими руками (благо в кармане есть компания оператор связи, строительный холдинг и другие смежные компании) вот так вот мыс тали строителями ЦОДов :). Позже мы познакомились с прекрасной компанией Knuerr (Германия) и главой российского представительства, который и предложил нам то оборудование, в итоге на котором и начали строить и от которого «плясали» все системы.
Хочу отметить, что поскольку строительство начиналось в предверии кризиса, который мы унюхали примерно за 3-4 месяца до начала, было принято решение о поэтапном строительстве и вводе в эксплуатацию, в основу всего ЦОДа лег важнейший принцип step by step (шаг за шагом) это выгодно и экономически и по другим причинам, каждая система должна быть создана таким образом, что при ее поломке или выводе из строя для профилактики это не повлияет на работу всего ЦОД, в этом ключе выбирались вендоры, проектировались системы, закупалось оборудование и т.д.
90% всех примененных технологий являются инновационными не только для России (в принципе отстающей от остального мира) но и для Европы и Америки. Мы создавали то, чего было только на словах или в лампах проекторов передовых разработчиков. Столкнулись с множеством тонкостей, вопросов, недоразумений и прочего. В итоге создали первую очередь ЦОД «Славянский», итак подробнее по каждой части ЦОДа (за основу брал следующий документ: Документ SP–3-0092: (Стандарт TIA-942, редакция 7.0, февраль 2005)):
1. Поскольку расположение ЦОДа, здание и территория были в нашем распоряжении, то мы сразу попали в точку по нелюбимым мною западным стандартам:)
— отдельно стоящее задание;
— первый этаж;
— нагрузка на перекрытия до 2т/м2 (здание монолитное);
— широкие проходы, позволяющие перемещать крупногабаритные предметы;
— высокие потолки (~5м);
— отсутствие колонн и других архитектурных конструкций в машинном зале;
— все стены покрыты спец. красками минимизирующими пылеобразование, в светлых тонах;
— от фальш полов решили отказаться на начальном этапе строительства за их ненадобностью, сделали полы из керамогранита;
— разделили помещения машинного зала от административных и технических помещений, создали гермозону;
— решили использовать диодные светильники (света больше, энергии меньше);
про такую ерунду как сейсмоустойчивость и прочую ерунду писать не буду и так все понятно :)
2. Изначально имеем собственную распределительную подстанцию(РТП) на территории с двумя независимыми вводами от города с разных ТЭЦ (1 категория), соот. организовали два кабельных ввода в здание по монолитным бетонным каналам (на всякий случай), добавили в РТП дизель-генератор и снабдили РТП соответствующей автоматикой (АВР и прочее). Опять таки в начальных планах было создание выделенного помещения для энергетических вводов, в последствии отказались от данной схемы (D&G дорого и глупо) и решили размещать силовое оборудование непосредственно в зале в торцах каждого ряда. На каждый силовой шкаф заведены по два независимых ввода от РТП. Сами силовые установки и шкафы автоматики хотели закупать у вендоров, но столкнулись со следующей проблемой: слишком долго ждать… соот. отказоустойчивость всего предприятия становилась под вопрос, т.к. если сломается какая то комплектующая в силовом шкафу то придется ждать очень долго замены (как правило подобные узлы и агрегаты никто не держит на складах, а это колоссальная сложность (если призадуматься). А поскольку в «кармане» есть завод Росатома по производству силовых агрегатов, все делали сами, по собственным проектам, закупали лишь комплектующие ведущих вендоров, которые можно без проблем купить если что и оперативно заменить своими силами.
3. Отвод тепла в ЦОд это головная боль всех специалистов, занятых в данной области, это предмет для обсуждения на форумах и конференциях, в калуарах и офисах интеграторов :) На сегодняшний день проведено уже куча исследования на данную тематику, кто-то придумал разместить ЦОД на барже, кто-то на северном полюсе и т.д. и т.п., на мой взгляд самая оптимальная схема, это горячие/холодные коридоры, самое простое казалось бы, но все таки мы пошли дальше, благодаря разработчикам Knuerr, придумавшим и создавшим гениальную и простую в своей реализации схему отвода тепла, они скоммутировали шкаф и систему горячих/холодных коридоров одном «ящике» :) в итоге имеем то, что имеем.
На сегодняшний день все проектировщики предлагают стандартную схему отвода тепла, с раздачей холодного воздуха из под фальшпола или еще что-то в этом роде, в итоге максимум 10 кВт тепла отводим от стойки и баста! нам данный вариант не подходил по одной простой причине (D&G :)) в том смысле, что неэффективно использовалось пространство дата центра и его энергетическая мощность (к слову мы имеем 4 мВт мощщей) Как я уже писал выше, познакомились с немецкой компанией Knuerr и их уникальными разработками. В итоге собрали систему отвода тепла на 18 кВт со шкафа (больше по моему мнению уже реально не нужно, во всяком случае ближайшие года 3, через 3 года мы докупаем модули и получаем 20-22 кВт в шкафу).
Соот. система охлаждается водой (внутренний контур), связка зал-чилер, второй контур с хладогентом (связка чилер-внешние блоки), как устроена система я детально расписывать не буду (слишком сложно и долго). Но суть очень проста, реализована система горячих/холодных коридоров внутри герметичных шкафов.
Оборудование защищено от пыли, физ. доступа, влаги и т.д.
Поскольку снизу проходят трубы с хладогентом, то шкафные системы были «подняты» над полом, были сделаны мет. конструкции, которые разделили подшкафное пространство на разные уровни: уровень чистого пола, уровень расположения электротехнических шкафов и ИБП (ИБП выбраны так же модульные и компактные, с расчетом 22 кВт на шкаф, что позволяет плавно наращивать мощность и оперативную замену в случае выхода из строя в отличии от «больших» систем).
Все чилерные и насосные системы расположены под землей (нам повезло и изначально под зданием был запроектирован и построен подземный паркинг на 3 этажа :)
4. Каналы связи естественно оптоволоконные :)
Собственные магистрали до ММТС-9 и ММТС-10 суммарной пропускной способностью 160 и 320 Гб/с соответственно позволяют развернуться :)
На сегодняшний день сеть построена на оборудовании Cisco systems но мы склоняемся к тому, чтобы поменять вендора, все таки циски и дорогие очень и качество их работы на больших скоростях чуть отстает от заявленных в брошюрах и на презентациях (не для кого это не секрет). На сегодняшний день мы тестируем оборудование разных производителей, как только остановимся на чем то конкретном, то отдельным постом распишу :)
Так же для удобства клиентов сделали ввод в здание ЦОДа на 144 волокна и разместили муфту в коллекторе, соот. любой клиент может дотянутся до нас своим волокном.
5. Кабельные системы расположены под потолком, как и силовые, так и волоконные, хочу отметить, что вся внутренняя сетевая инфраструктура сделано на оптике, так проще, удобнее и легче по массе :) (медь все таки тяжеловато), да и клиенты пошли нынче строптивые, просят широкие каналы, которые давать по меди глупо или невозможно :) Использовали трехмерные лоточные системы (Defem Швеция), оч. удобно и красиво :)
Все это позволило нам разместить на площади 600 м2 небывалые доселе мощности, мы создали машинный зал на 288 шкафов (12096 U). Данная схема отвода тепла позволяет с максимальной эффективностью использовать шкафное пространство и площади дата центра.
Появилась единственная в России площадка которая в состоянии размещать мощное серверное оборудование, все мы с Вами насмотрелись на дата центры в которых стоят «скелеты» с серверами в том смысле, что в шкафу болтается к примеру либо одна циска большая либо десяток, два серверов, все остальное пространство пустует, нет возможности подвести столько энергии и нет возможности отвести столько тепла :) Сейчас такая возможность появилась. Соот. можно воплощать в жизнь проекты, которые до сегодняшнего дня были не рентабельны или просто бессмысленны из за своей мощности. Появилась возможность оптимизировать свои ресурсы. По опыту общения с клиентами скажу, что зачастую люди ищущие размещение 10 стоек, очень удивляются, когда я собираю их оборудование в 5-6 стойках :)
Если у кого то появились вопросы, то пишите, задавайте я с радостью отвечу всем :)
Отдельный респект dug за разъяснения как заливать фотки на хабру :)
Все началось примерно 2 года назад, сидя в итальянском ресторане за тарелкой пасты :)
Идея уже давно металась в стаждущих умах великих гениев, но тут она нашла выход наружу. Чуть позже было таки принято решение о начале строительства сего безобразия. Изначально предполагалось сделать ЦОД «Иртышский», планы были грандиозные, но были и колоссальные технические сложности, посему было принято решение о том. чтобы отложить Иртышский «на сладкое» :), взялись за «Славянский».
Небольшая справка: Долго думали как обозвать данные проект, в итоге пришли к выводу, что в глобале это будет «М77» по принципу М9, М10, М5 (ММТСы), опять таки Стек (М1), а в локале решили что будем различать по географическому признаку :) собственно так и получилось, «Славянский» расположен на Славянском бульваре, а «Иртышский» на Иртышском проезде :)
Изначально имели в полном распоряжении отдельно стоящее 2-х этажное здание свободного назначения, выбрали помещения и начали думать, сначала хотели отдать все на аутсорс и пригласить «специалистов» по ЦОДостроению, пригласили одних, потом других, потом третьих, в итоге поняли, что все кто занимается строительством ЦОДов в РФ — это люди «старого» склада ума, не шибко следящие за тенденциями отрасли, зачастую слабо понимающие и разбирающиеся в этом деле, примерно через 10 месяцев раздумий и предпроектных изысканий мы решили создать все своими руками (благо в кармане есть компания оператор связи, строительный холдинг и другие смежные компании) вот так вот мыс тали строителями ЦОДов :). Позже мы познакомились с прекрасной компанией Knuerr (Германия) и главой российского представительства, который и предложил нам то оборудование, в итоге на котором и начали строить и от которого «плясали» все системы.
Хочу отметить, что поскольку строительство начиналось в предверии кризиса, который мы унюхали примерно за 3-4 месяца до начала, было принято решение о поэтапном строительстве и вводе в эксплуатацию, в основу всего ЦОДа лег важнейший принцип step by step (шаг за шагом) это выгодно и экономически и по другим причинам, каждая система должна быть создана таким образом, что при ее поломке или выводе из строя для профилактики это не повлияет на работу всего ЦОД, в этом ключе выбирались вендоры, проектировались системы, закупалось оборудование и т.д.
90% всех примененных технологий являются инновационными не только для России (в принципе отстающей от остального мира) но и для Европы и Америки. Мы создавали то, чего было только на словах или в лампах проекторов передовых разработчиков. Столкнулись с множеством тонкостей, вопросов, недоразумений и прочего. В итоге создали первую очередь ЦОД «Славянский», итак подробнее по каждой части ЦОДа (за основу брал следующий документ: Документ SP–3-0092: (Стандарт TIA-942, редакция 7.0, февраль 2005)):
1. Поскольку расположение ЦОДа, здание и территория были в нашем распоряжении, то мы сразу попали в точку по нелюбимым мною западным стандартам:)
— отдельно стоящее задание;
— первый этаж;
— нагрузка на перекрытия до 2т/м2 (здание монолитное);
— широкие проходы, позволяющие перемещать крупногабаритные предметы;
— высокие потолки (~5м);
— отсутствие колонн и других архитектурных конструкций в машинном зале;
— все стены покрыты спец. красками минимизирующими пылеобразование, в светлых тонах;
— от фальш полов решили отказаться на начальном этапе строительства за их ненадобностью, сделали полы из керамогранита;
— разделили помещения машинного зала от административных и технических помещений, создали гермозону;
— решили использовать диодные светильники (света больше, энергии меньше);
про такую ерунду как сейсмоустойчивость и прочую ерунду писать не буду и так все понятно :)
2. Изначально имеем собственную распределительную подстанцию(РТП) на территории с двумя независимыми вводами от города с разных ТЭЦ (1 категория), соот. организовали два кабельных ввода в здание по монолитным бетонным каналам (на всякий случай), добавили в РТП дизель-генератор и снабдили РТП соответствующей автоматикой (АВР и прочее). Опять таки в начальных планах было создание выделенного помещения для энергетических вводов, в последствии отказались от данной схемы (D&G дорого и глупо) и решили размещать силовое оборудование непосредственно в зале в торцах каждого ряда. На каждый силовой шкаф заведены по два независимых ввода от РТП. Сами силовые установки и шкафы автоматики хотели закупать у вендоров, но столкнулись со следующей проблемой: слишком долго ждать… соот. отказоустойчивость всего предприятия становилась под вопрос, т.к. если сломается какая то комплектующая в силовом шкафу то придется ждать очень долго замены (как правило подобные узлы и агрегаты никто не держит на складах, а это колоссальная сложность (если призадуматься). А поскольку в «кармане» есть завод Росатома по производству силовых агрегатов, все делали сами, по собственным проектам, закупали лишь комплектующие ведущих вендоров, которые можно без проблем купить если что и оперативно заменить своими силами.
3. Отвод тепла в ЦОд это головная боль всех специалистов, занятых в данной области, это предмет для обсуждения на форумах и конференциях, в калуарах и офисах интеграторов :) На сегодняшний день проведено уже куча исследования на данную тематику, кто-то придумал разместить ЦОД на барже, кто-то на северном полюсе и т.д. и т.п., на мой взгляд самая оптимальная схема, это горячие/холодные коридоры, самое простое казалось бы, но все таки мы пошли дальше, благодаря разработчикам Knuerr, придумавшим и создавшим гениальную и простую в своей реализации схему отвода тепла, они скоммутировали шкаф и систему горячих/холодных коридоров одном «ящике» :) в итоге имеем то, что имеем.
На сегодняшний день все проектировщики предлагают стандартную схему отвода тепла, с раздачей холодного воздуха из под фальшпола или еще что-то в этом роде, в итоге максимум 10 кВт тепла отводим от стойки и баста! нам данный вариант не подходил по одной простой причине (D&G :)) в том смысле, что неэффективно использовалось пространство дата центра и его энергетическая мощность (к слову мы имеем 4 мВт мощщей) Как я уже писал выше, познакомились с немецкой компанией Knuerr и их уникальными разработками. В итоге собрали систему отвода тепла на 18 кВт со шкафа (больше по моему мнению уже реально не нужно, во всяком случае ближайшие года 3, через 3 года мы докупаем модули и получаем 20-22 кВт в шкафу).
Соот. система охлаждается водой (внутренний контур), связка зал-чилер, второй контур с хладогентом (связка чилер-внешние блоки), как устроена система я детально расписывать не буду (слишком сложно и долго). Но суть очень проста, реализована система горячих/холодных коридоров внутри герметичных шкафов.
Оборудование защищено от пыли, физ. доступа, влаги и т.д.
Поскольку снизу проходят трубы с хладогентом, то шкафные системы были «подняты» над полом, были сделаны мет. конструкции, которые разделили подшкафное пространство на разные уровни: уровень чистого пола, уровень расположения электротехнических шкафов и ИБП (ИБП выбраны так же модульные и компактные, с расчетом 22 кВт на шкаф, что позволяет плавно наращивать мощность и оперативную замену в случае выхода из строя в отличии от «больших» систем).
Все чилерные и насосные системы расположены под землей (нам повезло и изначально под зданием был запроектирован и построен подземный паркинг на 3 этажа :)
4. Каналы связи естественно оптоволоконные :)
Собственные магистрали до ММТС-9 и ММТС-10 суммарной пропускной способностью 160 и 320 Гб/с соответственно позволяют развернуться :)
На сегодняшний день сеть построена на оборудовании Cisco systems но мы склоняемся к тому, чтобы поменять вендора, все таки циски и дорогие очень и качество их работы на больших скоростях чуть отстает от заявленных в брошюрах и на презентациях (не для кого это не секрет). На сегодняшний день мы тестируем оборудование разных производителей, как только остановимся на чем то конкретном, то отдельным постом распишу :)
Так же для удобства клиентов сделали ввод в здание ЦОДа на 144 волокна и разместили муфту в коллекторе, соот. любой клиент может дотянутся до нас своим волокном.
5. Кабельные системы расположены под потолком, как и силовые, так и волоконные, хочу отметить, что вся внутренняя сетевая инфраструктура сделано на оптике, так проще, удобнее и легче по массе :) (медь все таки тяжеловато), да и клиенты пошли нынче строптивые, просят широкие каналы, которые давать по меди глупо или невозможно :) Использовали трехмерные лоточные системы (Defem Швеция), оч. удобно и красиво :)
Все это позволило нам разместить на площади 600 м2 небывалые доселе мощности, мы создали машинный зал на 288 шкафов (12096 U). Данная схема отвода тепла позволяет с максимальной эффективностью использовать шкафное пространство и площади дата центра.
Появилась единственная в России площадка которая в состоянии размещать мощное серверное оборудование, все мы с Вами насмотрелись на дата центры в которых стоят «скелеты» с серверами в том смысле, что в шкафу болтается к примеру либо одна циска большая либо десяток, два серверов, все остальное пространство пустует, нет возможности подвести столько энергии и нет возможности отвести столько тепла :) Сейчас такая возможность появилась. Соот. можно воплощать в жизнь проекты, которые до сегодняшнего дня были не рентабельны или просто бессмысленны из за своей мощности. Появилась возможность оптимизировать свои ресурсы. По опыту общения с клиентами скажу, что зачастую люди ищущие размещение 10 стоек, очень удивляются, когда я собираю их оборудование в 5-6 стойках :)
Если у кого то появились вопросы, то пишите, задавайте я с радостью отвечу всем :)
Отдельный респект dug за разъяснения как заливать фотки на хабру :)
