Как стать автором
Обновить

Комментарии 154

Просто фанатею от ваших постов!
спасибо, будем продолжать ))
Ваще, красавчики! Так бы и жил там.
На одной из ближайших конференций мы разыграем ночь в дц на двоих =)))
Романтический ужин при свитчах
Разыграйте лучше один серверок… В вашем датацентре )))
Чем дальше заходит процесс, тем интереснее смотреть на предстоящий результат.

Кстати, скоренько эту статью сделали. Предыдущая была ж совсем недавно :)
хочю свой ДЦ и.
я тоже… и кстати ужин при свечах!!!
НЛО прилетело и опубликовало эту надпись здесь
Мозг страдает автокомплитом… Сразу свичи заменил на более по смыслу подходяще… И вообще писать надо коммутаторы — тогда понятнее будет )))

А вот по поводу свечей (геморройных) — насторожился… С ужасом жду будущего…
НЛО прилетело и опубликовало эту надпись здесь
Хотелось бы фотки в hq и побольше технического описания. Например на сколько ночей закрыли админов, чтобы они это все это подняли?
Если у нас в серверной прибраться, то тоже нехуже выглядеть будет
/\
||
Шутка
Картинки красивые, пост ниочем…
а о чем бы вам хотелось почитать, касательно дата-центра?
Обо всем! прежде всего — когда видишь грамотно проработанную инфраструктуру (неважно чего, допустим, ДЦ) — хочется вычерпать для себя кучу интересностей в плане организации.

Добьете железячную/физическую части и…

Пишите про инвентаризацию обязательно! Какие системы используете и т.д.

Пишите про маркетинговую составляющую в том числе!

Пишите про сервисы доступные клиентам, в том числе про хелпдески и прочее, наверняка же имеют место быть!
Мы потихоньку все это раскрываем, вы можете задать любой вопрос я вам на него отвечу. В данной теме про учет оборудования например =)
уже готовим отдельный подробный пост по инвентаризации, про маркировку, сканеры, базу оборудования и все нюансы. а вообще — все пожелания стараемся учитывать и рано или поздно раскроем все темы.
А это — уже за баксы. :)

Я думаю, все будет. Уже тот факт, что ребята решили поделиться своим опытом — не может не радовать.
работу предлагаете?)
ищем руководителя отдела продаж =)
жаль, не моя стезя)
Меня эта тема очень сильно беспокоит и почитать то хотелось обо всем и не общими фразами. То что изложено в посте — понятно и так человеку с логичным мышлением.

1. Ввоз оборудования — ну понятно когда лучше ввозить. Понятно когда БЕЗОПАСНЕЕ и проще это делать. Ничего нового не узнал, кроме как того, что разгрузку люди предпочитают осуществлять сначала на проезжую часть, а на фото виден пешеходный переход, в условия, за которые изготовители серверов волосы рвать на себе будут. Так же не увидел по фоткам, как же подвести оборудование в дождь. Я не хотел бы сервера так вот ставить…

2. Инвентаризация… Ну это же обязательное действие. куда там без него. Только опять… общая фраза «потом».

3. Перенос серверов в гермозону. Хм. Есть определенные негласные правила, но о них точно также ничего не было сказано. Неужели, просто принесли, поставили, сфоткали, и стали устанавливать? Сразу?

4. другое.

Теперь понятно, почему у меня такой каммент? В принципе — перечислили основные этапы, которые сами из себя вытекают и обозначили темы для других статей. А так — не о чем.

«В принципе, здесь нет ничего удивительного, или захватывающего, но тем, кто интересуется вопросами типа «как же там все устроено», наверняка будет интересно. » — вы сами дали понять, что вас будут читать те, кто что-то понимает. А те кто что-то понимает про эти этапы все прекрасно знает. И не только о них. Конкретику пожалуйста, раз уж отдельная статья.

Но фотки, да, красивые.
1. В любом случае все всегда согласовывается с клиентом, оборудование можно подвезти прям к двери ДЦ, ничего трудного в этом нет.

2. Это должно быть темой отдельно статьи но действие по этапам такие:

а. привоз оборудование

б. занос клиента и оборудование в базу 1С,

в. маркировка оборудования наклейка с указанием клиента (и прочих интересностей) а также с индивидуальным номером сопровождающимся штрих кодом.

г. выдача клиенту документов о принятии оборудования к нам на хрангение.

3. Архитектуру с клиентом мы согласовываем заранее и уже знаем в какой юнит какой сервер пойдет.

4. Какое другое?

Мы ориентируемся на широкую публику, а не конкретно на людей которые все «знают»

«ничего трудного в этом нет.» — лично я этого не увидел/не заметил/не разглядел/не понял.
видимо у нас просто не стояло такой задачи…
Видимо вы вообще не хотели справляться с поставленной вами самими же задачей:

Как мы и обещали, переходим от повествования о строительстве дата-центра к более предметным областям. Сегодня мы расскажем и покажем, как происходит ввоз, регистрация и монтаж клиентского оборудования в дата-центр.
уважаемый Андрей, мой коллега выразился в свойственной ему резковатой манере — перед нами не стояло задачи сделать так, чтобы именно Вы все увидели/заметили/разглядели/поняли.

мы открыты для комментариев, и, если не показали что-то сегодня, обязательно покажем завтра. нельзя объять необъятное и написать сразу обо всем. спрашивайте — мы ответим.
Хотелось бы побольше картинок с подключенными кабелями.
Извращенец?
Мы еще не до конца подключили. Infiniband уже почти везде есть, а Ethernet — машин у пяти.
Надо сказать, что питалки инженеры ДЦ упаковывают очень компактно в органайзеры, основной бардак как раз из-за IB, провода которого сильно гнуть нельзя.
От посетителей нашего блога были просьбы немного раскрыть эту тему. Соответственно немного написали о том как к нам ввозится оборудование и как оно учитывается.
а сколкьо скульптурки стоят?
А как же отдельный пандус для завоза оборудования?
Пандуса нет, оборудование можно подвозить в плотно ко входу, увы такова особенность расположения и конструкция здания
А если дождь, снег?
Есть навес над входом. Есть специальные ящики.
внутри входной зоны сделан плавный подъем уровня пола, поднимать оборудование не приходится. о наличии отдельного пандуса ответил мой коллега ниже.
Когда же закончится этот PR? Ну да 400 млн вложений, но нельзя же так часто себя рекламировать. В мире куча других ДЦ у которых все «так же круто».
Куча других ДЦ почему то не пишут, нас просят — мы пишем, нам это интересно, PR это тоже хорошо, у нас на это есть время…
уважаемый mhost! не забывайте, что это наш корпоративный блог. естественно, в нем мы рассказываем о себе, а не о других дата-центрах. пусть они сами о себе расскажут, в своих блогах.
Прошу прощения :) О других нечего рассказывать. Там уныло все. Все отлично.
НЛО прилетело и опубликовало эту надпись здесь
Можем и взять =))
старая грубая шутка Михаила Козырева с максимум:

Приходит клиент:
— А возьмите у нас песню в ротацию!
Программный директор:
— А возьмите вы у нас!!!

извините, само вспомнилось)
ну сделайте уже кто-нибудь кафе, что б внутри было как будто в дата-центре… гик-кафе
НЛО прилетело и опубликовало эту надпись здесь
Ужин при свитчах…
я думаю что есть масса причин, по которым такие кафе нереальны, да и самому то будет приятно сидеть облучаемым всеми работающими серверами?
А насколько сильно облучают сервера? Какое там у них излучение? Неужто гамма-частицы?
Обычное электромагнитное излучение, «вся соль» — в количестве. одно дело домашний компьютер — и другое — не один десяток полных серверных стоек. вам же не приходит в голову устроить кафе под ЛЭП, у трансформаторной подстанции или где-то в подобном месте? Даже если там будет красиво)
НЛО прилетело и опубликовало эту надпись здесь
Под ЛЭП определяющим фактором является интенсивность поля, потому как там напряжения и токи весьма значительные…

так будет правильнне ;) ведь токи там как раз и не значительные, собственно потому и напряжения высокие — чтобы токи уменьшить, т.к. токи это потери. а потери никому не нужны.
НЛО прилетело и опубликовало эту надпись здесь
а токи в серверах кстати немаленькие. все железо работает по большей части на 12 а то и на 1,5 вольтах.

у меня вот есть старенький Athlon с TDP 100 Вт. Так там ток — что то около 70А.
хотелось бы мне знать, как же тогда сквозь замкнутый (!) металлический корпус охлаждаются сервера в стойке воздухом из фаль-пола?
НЛО прилетело и опубликовало эту надпись здесь
А что мешает сделать фэйковые сервера, которые также будут весело подмигивать диодами?)
=) только сейчас заметил, что кафе хотели «как-будто в датацентре», а не «в датацентре» — ну тогда да можно) понабрать от умерших железок лицевых панелей, смонтировать это все на стенах, сделать какую-нибудь хитрую схемку чтобы это все моргало…

Интересно, а шум «как-будто» в датацентре тоже в кафе надо будет воссоздать? =)
лучше шум не создовать!!!
Главное, чтобы были фальш полы с настоящей вентиляцией. А потом девушек в юбках приглашать ;)
Я бы лучше в теплый коридор.
лучше просто в центре города гик кафе ))) с ночовкой только и мягкими креслами чтоб… и конкурсами…
так себе кафе получится :) холодно и шумно :)
Плиз, оставляйте ссылки на предыдущий пост. или на все предыдущие с низу.
Гоню… Блок корпоративный.
Красота, радуєтся глаз бывшего одмина :)

Но всё таки контейнерный подход мне думается более перспективен и уже в ближайшее будущее изживёт большинство традиционных датацентров, хоть и не в России.
Контейнерный подход в России перспективен только в случае распределенных кластеров, суть в том что связь подвести проще чем электричество и дешевле в сотни раз, а так — есть где нить свободные 70 квт — поставил контейнер и подвел канальчик и т.д. Электричество это очень дорого… Ну и где то должно все соединятся в итоге…
Контейнерный подход прельщает большей мобильностью, хотя для собственника может это и не плюс.
Контейнерный подход я не имел ввиду что контейнер будет стоять в поле, площадки всё одно должны существовать, то же электричество, водоснабжение(в случае жидкостного охлаждения), да и выход к магистральным каналам с нужной полосой не всюду есть. Да и постройка ангара для дата-контейнеров с электричеством и коммуникациями дешевле наверное при большей плотности, хотя контейнеры наверное недёшевы.
Ну и учитывая последние поползновения МВД и чинуш, предвидев проблемы легче снятся с места.
«Доктор, меня возбуждают фотографии серверных стоек. Это нормально?»
Ну, если Вы женского пола, то это нормально — возбуждаться от чего-то, что стоит. А вот иначе стоит задуматься… :)
НЛО прилетело и опубликовало эту надпись здесь
круто, чего уж там. интересно, сколько все это стоит.
«через незакрытые промежутки холодный улетучивается в огромных количеств» — пропущено слово воздух?
картинки как всегда гуд.
ждем картинок с укладкой коммуникаций и маркировкой…
Вот это и будет темой на следующий пост
я понял :)
спасибо, поправили.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
зоопарка всегда можно избежать, надо просто подход к работе иметь более душевный, на фотках — клиентское железо
Думаю, что если когда-нибудь случится счастье и я все таки буду настраивать свой калокейшн в подобном дц — в первый раз я ничего не сделаю, т.к. буду стоять с раскрытым ртом и смотреть на эти чудеса техники *_*
В правильном ДЦ вы всего этого не увидите. Клиент настраивает свое железо в отдельной комнате и никто не дает ему таскаться в гермозону.

Сам имел счастье походить по гермозонам практически всех дц какие были на 2008 год, смайлик.
У нас существует такая комната, клиент ходит в сопровождении.
Я настраивал как-то сервера в дата центре. Красиво, но жутковато :), кроме того, было очень холодно, через некоторое время зуб на зуб не попадал.

На эскурсию сходить прикольно, а так, лучше настраивать удаленно в хорошо отапливаемом помещении в удобном кресле с чаем и прочими плюшками.
А мне как-то в рбкшном ДЦ подсунули гостевой ключ который не отпирал гермозону, после чего сопровождавший меня админчик решил отлучится. Оказаться запертым в гермозоне было не очень-то и весело.
Хорошие сервера у вас :)
это только корпуса, а что в них непонятно
А я уже по коробкам понял, что хорошие — все понятно)
Бюст Энштейна как бы говорит нам
… all your base are belong to us )))
Мне вот интересно, как происходит сам выбор оборудования, производителя и т.д.
Кто этим занимается
Как ни крути вижу почему-то только HP-шное. Может быть не бывает ничего другого!!!
Ввыбором оборудования занимаются клиенты
Красота то какая. И место меж серверов оставляют для вентиляции и даже все сервера прикручены.
Как раз они то и должны быть закрыты заглушками
Обычно просто жадничают, ставят друг на дружку.
Для этого должно хватать мощности в стойке
НЛО прилетело и опубликовало эту надпись здесь
Так же хочется добавить, что с другой стороны шкафа, в тех местах где находятся промежутки монтируются блоки горизонтальных розеток, органайзеры и прочее. В таких случаях они сделаны не для удобства, а из необходимости)
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
А какие весьма небанальные интересы у ваших инженеров? :)
что вы имеете ввиду?
НЛО прилетело и опубликовало эту надпись здесь
У нас бородатый руководитель службы эксплуатации, иногда носит свитер =)
вспомнился один из моих любимых анекдотов:

по Китаю бросили клич — «ломаем сервер Пентагона».
все бросились ломать сервер.
на двухсот пятилесяти шести миллиардной попытке сервер согласился, что у него пароль «Мао Цзедун» )))

PS> у одного из наших партнеров приемкой серверов и коло-дедами заведует девушка, симпатичная )).
НЛО прилетело и опубликовало эту надпись здесь
продакшн электронной музыки, раллийные гонки, кинематограф — вот только первые, навскидку.
высокогорный коньякинг
вот я как-то не очень вкурил — а зачем оставлять по юниту между сервреами? Это дизайн такой?:)
серверам более чем достаточно обдува спереди и отвода сзади… кстати я не понял а почему в НР рэках заглушки не пластиковые?

но в целом выше уже отметились критики — сгружать на асфальт в цело мне показатель уважения к клиенту… хотя паллета спасает. но вот у ДЦ просто ОБЯЗАН быть механизм вноса и выноса оборудования… не дело на руках таскать. особенно если «широкий круг глиентов и колокейшн» трафик будет знаете ли… а даже банально ДЛ380 одному уже не потаскаешь… да и в двоём не весело… телега должна быть НЕ одна и две телеги с оборудованием обязаны расходиться в любой точке коридора с зазором.
впрочем это здравый смысл.

пардон, не заметил что APC рэки… уфф… отлегло… :)
Один раз только видел вживую «механизм вноса оборудования» в дц в Курчатовском. Это была тележка пережившая Хрущева, Брежнева и Черненко с Андроповым. Ехать оно не хотело, сервера если больше 2 штук грузить новорили с нее спрыгнуть. Ну и вибрации. Уж лучше было на руках.
не передёргивайте. я имею ввиду нормальную тележку. если не найдете то можно на заказ сварить… думаю много организаций это сделают легко… кстати от вибраций хорошо помогает коврик из вспененой резины…
эти сервачки — на 2 юнита потребляют 1 квт (это 4 сервера в одном корпусе), вы же понимаете что есть ограничение по электроснабжению и тд…
что за сервера? z-ки?
я про ограничение не понял… ну есть оно на стойку и ладно… проёмы-то зачем оставлять?
H1000 — сервачки

Проем для того чтобы сзади поставить кабельный органайзер, и сделать правильную коммутацию…
производитель?
НЛО прилетело и опубликовало эту надпись здесь
а мне были бы интересны подробности вашего мониторинга
о, это весьма любопытная тема. в ближайших планах.
Напишем, обязательно
ну то, что с Хьюлетом у вас всё налажено, это понятно )))
а зачем вы по одному-два юнита оставляете между серверами/схд? потом ведь в случае добавления мощностей будете считать каждый юнит и придётся перемонтировать, а это время/деньги/банально простой.
чуть выше мы уже ответили, эти серверы потребляют по киловатту, ими нельзя набить стойку.
ну и не набивайте… набейте половину… снизу… зачем растягивать?
лучше теплоотвод?
очевидно — серверы на уровне оптимальной доступности для глаз и рук.
Как красиво сзади выглядят серваки в стойки пока к ним провода не подключены… Или уже таки можно wireless??? :-)
Ну, есть такая вещь как органайзеры, метки стяжки.
Можно сделать красиво. Правда, до первой перестановке в стойке.
Благоговейный трепет. Аж дух захватывает.
Я вот уже подмываю перебраться со своими серверами к вам. Место дадите??? )))
конечно, дадим! ))
Ну и отлично, надо будет изучить ваше предложение! ;-)
А можно вопрос в сторону безопасности? Раз речь пошла о ввозе оборудования — как проверяете электромагнитные и прочие качества клиентского оборудования? Т.е. как удостоверится что сервер клиента не замкнёт, не загорится, не фонит, не излучает, да и элементарно что там внутри нет толовой шашки от конкурентов?

Например Вы выше указали что клиента в комнате настройки сопровождает сотрудник — выходит есть отдельный охранник-нянька. А есть механизм настройки сервера в стойке (Вашим сотрудником либо клиентом), может подвозной столик или KVM/KVM over IP или ещё что-то?
На пикчах — Хуйло Паккарда. У HP есть встроенный ILO (Integrated Lights Out), реальная замена IPMI и KVM.
Не каждый iLO работает как КВМ — только iLO2
ilo умеет KVM
Уже не первый пост про датацентры. Новые датацентры. И ни к одном не вижу блейдов, при том что мой личный опыт довольно-таки положительный. Я что-то не понимаю?
Блейд почему-то оказывается дороже (док + лезвия).
Да ну, откуда такая информация? В оболочке на 16 штук где-то после 8-9 уже дешевле.
после 5 серверов, блейды оказываются выгоднее за счет интегрированной инфраструктуры
и что самое удивительное — дешевле!
Например, в блейдах Infiniband бывает только DDR, что в два раза медленнее, чем QDR. А по плотности вариант «один корпус 2U — 4 сервера» не сильно проигрывает блейдам.
На фотографиях я видел HP и Dell далеко не самых продвинутых моделей. Ваш аргумент принят, но не уместен.
Там нет Dell. А насчет продвинутости HP Вы заблуждаетесь. Корпуса серии 1000 показаны спереди, и это не более, чем корпуса.
В каждом из них 4 матери с 36 гигами памяти и двумя зеонами 5550.
Я Dell видел не конкретно на этих фотографиях, а вообще в топиках про датацентры видел HP и Dell.
Выигрыш блейдов не только и не столько в месте, сколько в уменьшении энергопотребления (следовательно и охлаждения) и упрощении кабельной системы.
HP блейды поддерживают IB QDR от двух производителей.
еще не забываем про интерконнект
Красотища, внушает!
Прошу прощения, не могу сдержаться. В свете последних событий самое время писать посты с названиями «Вывоз и демонтаж оборудования в дата-центре» :)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий