Как я строил свой датацентр — часть третья. Волшебство электричества и холода

[krayer]

Класс, — интересно :-) Спасибо. Как раз подыскиваем себе хостера))

[valmonnel]

В самом деле, потрясающая качественная реклама! В самом положительном смысле.

[radix]

так и просится слоган в стиле «наши серверные собраны заботливыми руками сисадминов из экологически чистых зарубежных комплектующих!» ;)

[muggle]

Абсолютно согласен. Руки прямо-таки потянулись к телефону, чтобы заказать себе стоечку.

[karohos]

Спасибо за рассказ! Осталось вам только газон вокруг посадить =)

[piroman]

насчет газонов это мысль. Пока только гравием грязь вокруг посыпал.

[egoholic]

еще бы над логотипом поработали, страшненько он выглядит=)

Буду болеть за вас, желаю удачи!

[slatvick]

Тоже за ребрендинг. Не хостерский какой то что ли.
Надо смотреть в сторону западных лидеров. Зашел на сайт и первого мгновения должно быть ясно, чем занимаетесь.
Удачи! Успехов! Всего!

[fonmax]

кстати, если посадите несколько деревец, то будете платить меньше налогов. законодательно так есть, по крайней мере, в Украине.

[Sundance]

Да, все три части супер. Как говорится от А до Я.
Очень познавательно и полезно.
Удачи и успеха в вашем начинании!

[piroman]

спасибо.

[imps]

как же всё просто выглядит по таким статьям :))))
сколько времени на всё ушло?

[piroman]

9 месяцев. От договора аренды, до запуска.

[AstonMartin]

доношенным родился =)

[TiGR]

А сколько из этих 9 месяцев ушло на предварительную подготовку (документы и прочее)?

[piroman]

Три месяца

[piroman]

ой не просто, многого не видно.
Несколько раз проект был на грани срыва.

[Anikin]

Статьи действительно «по верхам». Мало рассказано про работу инженеров, проектировщиков, монтажников, а ведь запустить даже небольшой датацентр на таком уровне — это по мимо финансов огромная работа. В этом центре действительно все сделано качественно и надежно — был у них месяц тому назад и лично все видел. После увиденного было принято решение о переносе к ним одной стоки серверов и большого блока IP адресов.
Процесс переноса прошел на удивление гладко и без лишних заморочек. Очень понравилось отношение Ивана и его сотрудников, желание понять и помочь клиенту.
За месяц работы проблем с электричеством и каналами замечено не было, тех поддержка оперативная.
Удручает только быстрая скорость заполнения стоек, надеюсь, через пару месяцев нам еще хватит там места.

[sgnppv]

После такого обзора — врядли хватит :)

[Biart]

Ребята конечно супермолодцы, Ивану отдельный пламенный респект, НО…

… но давайте обманывать не будем, увы, эта фраза — ложь:

> За месяц работы проблем с электричеством и каналами замечено не было

могу показать аптайм-отчет. Ребята хорошие, но давайте по-честному!

[piroman]

Покажите.
С электричеством не было. С каналами тоже.
Злобный нок наш, проключая каналы клал циску пару раз на 30 минут и один раз на 40.

[Biart]

Пожалуйста:

Первая ошибка обнаружена в 2009-10-29 17:14:35.
Последняя ошибка обнаружена в 2009-10-29 18:17:48.
Время простоя: 1 hour(s) 3 min(s) 14 sec(s).

Первая ошибка обнаружена в 2009-10-29 13:41:04.
Последняя ошибка обнаружена в 2009-10-29 14:12:29.
Время простоя: 31 min(s) 25 sec(s).

Первая ошибка обнаружена в 2009-10-26 12:30:37.
Последняя ошибка обнаружена в 2009-10-26 13:37:41.
Время простоя: 1 hour(s) 7 min(s) 4 sec(s).

Первая ошибка обнаружена в 2009-10-24 18:32:46.
Последняя ошибка обнаружена в 2009-10-24 19:06:44.
Время простоя: 33 min(s) 58 sec(s).

Первая ошибка обнаружена в 2009-10-18 23:18:30.
Последняя ошибка обнаружена в 2009-10-18 23:49:27.
Время простоя: 30 min(s) 57 sec(s).

Первая ошибка обнаружена в 2009-10-18 00:01:39.
Последняя ошибка обнаружена в 2009-10-18 00:32:44.
Время простоя: 31 min(s) 5 sec(s).

Первая ошибка обнаружена в 2009-10-12 14:17:16.
Последняя ошибка обнаружена в 2009-10-1215:18:33.
Время простоя: 1 hour(s) 1 min(s) 16 sec(s).

Первая ошибка обнаружена в 2009-10-09 23:48:36.
Последняя ошибка обнаружена в 2009-10-10 00:51:42.
Время простоя: 1 hour(s) 3 min(s) 6 sec(s).

Первая ошибка обнаружена в 2009-10-08 16:47:20.
Последняя ошибка обнаружена в 2009-10-08 17:17:48.
Время простоя: 30 min(s) 27 sec(s).

— С наилучшими пожеланиями,
host-tracker.com/ cлужба поддержки

[piroman]

Чего вы там мониторили то?

[Biart]

один из своих сайтов… даже два… на ip 188.120.36.40

[piroman]

ну дык. Брать Петю Костенко и трясти за низкий аптайм.

[Biart]

подскажите где у Пети аптайм. обязательно потрясу! :D

[Anikin]

Учитывая стадию (первый месяц работы, отладка, тестирование, запуск нового оборудования, ночные переезды клиентов каких как мы), я рассчитывал на гораздо большее проблемы. На удивление отключений по питанию не было не разу, отключения по каналу были практически незаметны по времени, а соответственно проблем не было — идет нормальная работа. Возможно «аптайм-отчет» — это Ваш частный случай, а случаи бывают разные и не всегда виноват ЦОД. Думаю не стоит судить настолько строго на данном этапе, посмотрим пару месяцев хотя бы.

[Biart]

Так я ж не против, просто у меня повышенное чувство справедливости)) Когда говорят, что простоев не было, ну не могу я молчать))

А так я с Рувебом работаю уже довольно давно и работой удовлетворен. Кроме «летних охладительных проблем» и вышеописанных даунтаймов…

[piroman]

доунтаймов чего? Рувеба? По дороге к рувебу стоит руотер рувеба, свитч рувеба, железка рувеба на которой стоит софтина рувеба.
Это и падало.

[Biart]

согласись, слабое оправдание для десятков негодующих клиентов…

[piroman]

У меня есть десятки клиентов?

Повторяю. С запуска электричество было всегда.
Сети были всегда. Циска падала три раза. Все.

[Biart]

дело в том, что «Петя Костенко» и другие писали:

[Biart]

блин

В общем, хорошо, снимаю свои претензии, во всем виноват Петя :)

[Anikin]

Возможна это ситуация RUWEB-а в процессе переезда, у E-Planet такого количества падений не наблюдалось.

[Somewan]

по каким причинам проект был на грани срыва?
(если не секрет разумеется)

[piroman]

Организационным. Нам было нужно одно — заводу другое.

[Somewan]

я так понимаю, что сейчас у вас договор на 5 лет, 9 месяцев из которого он строился.
не боитесь, что через 5 лет договор не будет продлен? успеет проект окупиться?

а вообще — здорово, очень рад, что ваш проект запустился, удачи вам.

[andreyurich]

раз ребята искали договор на 5 лет видимо, рассчитали, что этого времени хватит на то чтобы окупить затраты и заработать достаточную по их мнению сумму.

я бывал в нескольких датацентрах в Киеве, такого видеть не довелось…

[Somewan]

да я тут просто по ссылкам почитал, что сибирьтелеком недавно построитл свой ДЦ, вложил около 4 льенов баксов, и планирует окупить его за 8 лет.
понятно, что в географии своя специфика.
но даже если окупят — все равно рисковано. это же не офис перевезти в новое здание.

[andreyurich]

Из предыдущих постов — планируют 60 шкафов; из комментариев — половина уже занята; из их сайта — открылись в сентябре, то есть работают всего 2 месяца а занята уже половина, и стоимость аренды стойки там же. Можете провести калькуляции…

[Somewan]

лично я надеюсь, что проект окупится и не один раз ибо такой труд просто обязан быть вознагражден.
но ставя себя на место того, кто это построил, я бы очень расстроился, если бы мне отказали в продлении аренды через 5 лет.

[atomicxp]

>Можете провести калькуляции…

60 стоек * 60 000 рублей в месяц / стойку = 3 600 000 рублей в месяц

[Torm]

Ну тут наверное стоит вычесть большие коммунальные расходы типа электричества, связи и пр.

[NAS]

Плюс добавить доп. услуги. IP, увелечение каналов для клиентов и т.п

[piroman]

Насчет ip — в такие места люди едут, обычно со всоими as.
А канал и так 1000.

[ctapnep]

вот ехал я седня на работу и вспомнилось мне это обсуждение. В плане того, что 3 ляма баксов планируется окупить меньше чем за 5 лет. Причем не просто окупить, но и выйти в плюс. Начал считать…
2 килобакса за стойку. 60 стоек. 120 килобаксов в месяц, 1.4 лимона в год. Дохода. Минус налоги. Минус операционные расходы. По очень примерным прикидкам на одни зарплаты пол лимона в год уйдет. А 300киловатт — это под двести килобаксов в год. И еще охлаждение. И аренда. В общем, что-то я не насчитал как это дело может за 5 лет окупиться.

[andreyurich]

С чего вы взяли что 3 «ляма», на что там это все тратить в 400 кв м датацентре. Я думаю гадать бессмысленно, люди все посчитали и открыли, в убыток никто бы ничего не делал.

[ctapnep]

A я знаю на что? Я датацентры не строил пока.
3 ляма звучало где-то в комментариях. Автор точной цены не указал, но на сколько я понял уровень цен именно такой.

Вот ниже ссылочку дали — telecombloger.ru/1213#more-1213
Там внизу есть кап.затраты на датацентр на 50 стоек — 2.5 лимона баксов. Так что всё сходится.

[piroman]

2.5 это третий тьер. Второй подешевле. Да и в кризис были интересные скидки на строительство и оборудование в нелеквидах со скидками.

[piroman]

По зарплатам вы сильно превысили — нам бы такие зарплаты чесслово. Налоги при усложненой системе налогообложения не такие высокие на инвестиционные проекты. 300 киловат это меньше 100 к баксов.
И кто сказал про 3 лимона? Вот тут честные цены telecombloger.ru/1213#more-1213

[ctapnep]

честные цены — это 2.5 лимона на ЦОД на 50 стоек. И что, мы будем за пол лимона бороться? :) Разница между Tier-2 и Tier-3 по той-же статье в 25% (если от 3-го). То есть Если там 2.5 за Tier-3, то Tier-2 обойдется в 1.9. Да, лимон скинули. Но все равно далеко не бесплатно :)

Зато в том-же обзоре говорится о том, что цены упали с 2500 за стойку до 500 за стойку. При цене в 500 за стойку я вообще не вижу рентабельности ЦОДа такого размера.

Про налогообложение я ничего сказать не могу. Я и в местном-то не разбираюсь. Но то, что родное государство не захочет откусить по максимуму я не верю. А это не лоток с пирожками, тут особо не спрячешься.

А с зарплатами — тут ведь не от зарплат зависит скорее, а от количества народу. Как ни крути, а дежурные нужны, бухгалтер нужен, электрик нужен… ну и т.д.
и каждому зарплату заплати, налоги за него заплати.

Не, я не спорю, естественно, проект окупится. Причем не через 20 лет, а раньше. Но чтоб он за 5 лет принес прибыль… Боюсь, что если-бы все было столь радужно, то проблем с датацентрами не стояло-бы.

Но успехов вам в любом случае.

[piroman]

Спасибо. По 500 продавать не буду, сам себе оставлю и дедикайтед продам. :)

[Bobos]

Главное на промо-сайт не вешать первую фотку (а лучше её и в статье заменить), уж больно она «реальная»

[piroman]

Стимпанковская фотка с кондиционерами страшней. Хотя, сейчас там убрались.

[BaBL]

А во сколько обошелся проект в итоге? За проделанную работу респект просто

[piroman]

За стандартную, за такой проект сумму. Цифр назвать не могу, связан бумагами.

[stas_agarkov]

ох, уж эти девичьи секреты.

[thecoder]

«Обычно» это стоит примерно от 10 тыс. долл. за кв. метр.
Т.е. цифра должна быть примерно семизначной, как хорошая многоуровневая квартира в центре со всеми наворотами.

[piroman]

Ужасно. Злой смошник в лице меня пробрался в наши ряды. Иду самоуничтожаться.

[crx]

Хорошо рассказали. А дизель просто припарковали возле входной двери или смонтировали как-то?

[piroman]

Припарковал. Вдруг, сломается.

[Kumarunster]

а если сломается, запасной есть?

[piroman]

Береться в аренду. Срок 3-5 часов.

[magik]

Спасибо за рассказ, очень интересно было )
Вы говорили также что хотите чтобы в датацентре был вышколенный персонал. Где брать будете? ) Если сами занимались обучением то тоже было бы интересно почитать про процесс.

[piroman]

Кадры отдельная тема. Ну вообще, Корбина свой dc разогнала и помогла кадрами. А так, долгими беседами.

[moooV]

Осталось только завезти блэкджек и шлюх.

ДЦ роскошный!

[girichev]

К ссылке точка лишняя прицепилась.

[hsmishka]

Ссылочку на сайт поправь, там точка лишняя просочилась.

[citius]

Ссылку поправьте на сайт, там точка в конце лишняя.

[rushter]

Что-то сайтик ваш тормозит :)

[casey]

А точнее лежит :-(

[BarsMonster]

В ссылке в конце — лишняя точка. Сайт тормозит, надо что-то делать.
Даешь colocation неттопов у вас без соотношений :-)

[piroman]

гм…
Один хосттер внутри нас дает дедикетед неттопов. Без соотношение но всего 3 мбит.
Мы пока не готовы заняться коло неттопов, мы и юниты не продаем.

[icCE]

А можно как то получить информацию по неттопам, очень интересует этот вопрос.

[piroman]

https://ruweb.net/?page=server

[youngest]

Это все за свой счет, или инвестор?

[piroman]

Инвесторы.

[AntiGravitY]

Чувашкабель решает.

[piroman]

А то :)

[fata1ex]

Даешь в конце фотки «ДО» — «ПОСЛЕ» :)
замечательный сериал вышел, очень интересно. большое спасибо

[nllm]

Молодцы!

[BarsMonster]

А какая цена трафа и какие условия? Не нашел быстро…

[piroman]

370 р мбит без соотношений по 95% usage пока.

[BarsMonster]

Т.е. оплата по факту использования определенной полосы?

[piroman]

да

[Setti]

Я не понял! Yahoo переезжают штоле??

[potf]

Берите больше. Google и Яндекс переезжают. :)

[Setti]

Кстати, хабраэффект разорвал новую серверную.

[piroman]

дым пошел из сервера…

[Setti]

попробуйте ник поменять ;)

[piroman]

:)

[Mordraug]

а электрическая ввод только 1? :) а как же резервирование и авр система? Хотя наверное с дизелем и 1ой кабелюки хватит :)

[Mordraug]

что-то к вечеру у меня с окончаниями плохо :) электрическИЙ ввод*

[piroman]

Два. Там же нарисовано img-fotki.yandex.ru/get/26/piroman99.25/0_2e607_aee3134_L.jpg. И дизель.

[Mordraug]

по схеме они как будто с одного места идут, вот я и усомнился :)

Зачет.
Сам когда-то принимал участие в построении похожего дата-центра, понастольгировал.

[hellt]

эти 2 фидера от одной ТП?

[piroman]

Увы. Но с разных трансформаторов и с разных высоких.

[BarsMonster]

Нет, друпал :-)

[Andrey_Rogovsky]

Его готовить надо, в сыром виде вполне может тормозить

[Banzeg]

Теперь на хабре есть руководство а-ля «Строим датацентр своими руками» в 3-х частях. Замечательно. Что нам еще нужно? Нам нужно руководство а-ля «Строим космодром своими руками» — и мы наконец-то сможем свалить с этой гребаной планетки!

Если серьезно, то я не совсем понял, зачем поделили на 3 части. Могла бы получиться одна, но мега- статья.

[piroman]

Маркетинг.

[fatal]

Работает. Я на первые две части не успел, но 3-ю увидел, и пойду сейчас читать первых две.

[Unixspv]

А как быть, если по прошествии 5 лет, когда закончится срок аренды, владелец здания не захочет продлевать договор?

[Mordraug]

владельцу не выгодно разрывать договор, тут же неиссекаемый стабильный поток бабла :)

[piroman]

Dc к тому времени окупиться несколько раз. Но не думаю, что мы им так нодоедим.

[Setti]

Расскажите, пожалуйста, про организацию интернет-канала

[piroman]

Два линка
Один Бигтелеком, Один Комстар плюс один резерв к тому же Бигтелекому.
Сейчас включены на 1Gb, в любое время можно проапгрейдить до 10 ки.
К весне ожидаеся третий провайдер, к следующей осени свое темное волокно до девятки.

[hellt]

свое темное волокно

ЕМНИП, темное волокно — это неиспользуемые волокна в чьих-нибудь кабелях?

[ksenobayt]

А также в принципе неиспользуемые оптоканалы.

[hellt]

смущает слово «свое» темное волокно.
Просто я слышал, что сейчас волокна не продают. только сдают в аренду.

[piroman]

Ну да, в аренде.

[whiteRed]

> «Удаленные Руки». Удобный сервис для тех, кому не хватает собственных рук…
да вы там еб*нулись

[gudok]

На последней фотке мачты гармонично смотрятся.

[RexxeR]

Побольше было бы по РФ датацентров.
Но и за это спасибо!

[Screatch]

На каком уровне у вас реализована безопасность и как обстоят дела с охраной?
[irony]Какие гарантии что ночью не придёт к вам дядя Вася и не заберёт сервер?[/irony]

[piroman]

Дверь не откроют, у дежурного кнопка вызова масок шоу.

[polyakstar]

лучше была бы кнопка «не пускать маски шоу»

[piroman]

Приехали одни маски шоу, приехали другие маски шоу. Веселуха.

[piroman]

Боимся. Предпринимаем меры.
К тому же, смысл захватывать ДЦ? Кто нибудь станет в ДЦ с непонятным правовым статусом?

[BaBL]

ну рейдерство бывает не только «честное», при обыске могут увести документы и переоформить, а потом показать вам бумажку, что гендиректор у вас уже некий Абхаз Ереванович, а если работать дальше не смогут — тупо распродадут оборудование и другие материальные блага.

[piroman]

Там оборудование не сильно ликвидное.

[Kakysha]

Вот и сказке конец, а сказка то какая былаа…

[piroman]

Зато какая интрига.

[Mid]

Класс, спасибо, подобные вещи действительно инетересно читать.

[xvoland]

Дааа… интересно во сколько это всё встало :-) цифры, наверное на сотни тысяч долларов с техникой

[piroman]

Берите выше.

[VDR]

примерно 200кв. метров X 15000 у.е = 3 000 000 у.е.

[pwd]

Откуда такие познания? )

[piroman]

Видимо, уже заходил

[VDR]

Так автор на сайт производителя ссылку давал, оттуда и цены )

[xvoland]

Маштабно -)

[Mordraug]

Странно, что под фальшполом вы не сделали «чистый пол», нагнетаемым воздухом пыль будет в шкафы задувать. А судя по фотографиям бетонной пыли от бурения отверстий под крепеж стоек фальшпола там много :)

Мы когда монтировали такую систему — пол покрывался какой-то специальной краской, которая как резиновый слой после высыхания становится. То есть он и изначально чистый полностью и даже при возникновении какого-то количества пыли оно не будет так свободно летать, а липнет к полу.

[piroman]

Упустил, мы тоже покрыли этой краской, конечно.

[GlumShadow]

Масштабно, последняя фотка так и заставляет сказать, что у вас там теперь можно фильмы снимать про захват мира и красную кнопку :)

[Ragnar]

Расскажите про СОРМ оборудование

[schors]

Его не существует. Это глупый вопрос и сейчас вы услышите сказку про якобы его подключение.

[Ragnar]

Что значит не существует?

[schors]

Ну расскажите нам про гигабитный оптосорм и маньяков, которые его ставят. Я уже попкорн купил.

[piroman]

За тобой уже выехали.

[schors]

Я, Вань, наверное экстремист. Но вот это богобоязнь существующей проблемы меня выбешивает. Я, кстати, не против мероприятий как таковых. Даже на порядок или два чаще чем они есть. Было бы у кого желание их проводить. И у кого оно появляется — я с удовольствием этим оборудованием для них и работаю. Но рассказывать про страшные шкафы СОРМ, которых ни у кого из вас нет — наглише показухен, непонятно для кого и для чего.

[hellt]

что касается ДЦ — не скажу.
но в АТС — оборудование СОРМ обязательно.

[adnull]

Ну так в АТС там СОРМ-1. А тут — 2. При том что телефония — исконно-монопольная деятельность государства.

[Andrey_Rogovsky]

И в ЦОД СОРМ, но в состояние внедрения. Перманентном.

[adnull]

В точку. Лучший комментарий! :)

[sky_lord]

А зачем в дата-центре СОРМ? Если по бумагам все правильно оформлено, то СОРМ как стоял у провайдеров, которые в этом ДЦ присутствуют, так и продолжает там стоять и всех видеть. А в самом ДЦ-то ставить его какой смысл?

[kurokikaze]

Это для провайдеров, не для ДЦ, afaik.

[Belerafon]

был бы здорово еще так сделать… UPS — цена, Дизель — цена, Циска — цена… ну так округленно приблизительные)) Для развития, ведь далек от этого)

[Mordraug]

думаю порядок цифр в районе 2 — 2.5 М зелени

[Azy]

На весь DC?

[Mordraug]

без оборудования :D

[piroman]

Звонок в Радиус Вип или Теледом и весь прайс.

[hellt]

Кто-то делал проект ДЦ? Или сами?

[piroman]

Радис Вип. rvip.ru

[hellt]

солидно, судя по клиентам.

[piroman]

Пойду просить процент

[arc]

ДЦ хороший, а сайт то какой то не очень :(

[Rihtor]

А какова цена вопроса? Зная примерный ценник на некоторое оборудование я прифигел:) Если не секрет конечно :)

[d1v3r]

Скидка хабрапользователям будет? :)

[piroman]

На стойку? Ну стучитесь.

[venticello]

И так получается дешево 42U — 60000 рублей, поставить сервер на co-location в среднем 3500р. за юнит(бывает и дороже). В итоге получаем 147 000р.
Стоимость получается больше чем на 50% дешевле чем у среднестатистического хостера. Надо собирать народ на стойку =)

[kabachok]

вы к этим 60000 еще прибавьте стоимость 4х гигабит (чтобы на каждый сервак по 100 мбит было) и начинайте собирать народ

[piroman]

Не всякий сервак генерит 100 мбит 5% времени…
Реально, стойка с серверами генерит 30-150 мегабит, если не держишь какой либо супер трафикогенерящий проект

[kabachok]

ну ладно, 200 мегабит докупать, цена получится среднестатистическая :)

[piroman]

Мы не планировали заниматься демпингом. Хотя путь продать стойки по 700, а потом взвинтить цены до 2500 тоже имееет право на существование.

[kabachok]

да я про вас ничего не говорю, просто чтобы человек не грезил что все так просто :)

[venticello]

Аренда дополнительного порта 1Гбит/с — 1500р./мес, получаем + 4500р в месяц, мелочи, по сравнению с конкурирующей суммой :)
Может еще что-нить не посчитал?
Получается примерно ~1615р./мес с человека, если подарить 2U организатору того счастья за его организаторские услуги :)

[kabachok]

ну ну, сквозь пальци смотреть не надо
> Доп. трафик без учета соотношений (полоса) 1Мбит/с 370р./мес.
www.webdc.ru/frames

[venticello]

Если не размещать публичное файловое хранилище это не пригодится.

[kabachok]

на 10 мегабитах 40 серваков? :D а на серваках хомпаги? :D

[venticello]

Я как понимаю если соблюдать правило 1/4 то канал будет 1Гбит/сек, 10мбит это канал без ограничений на это соотношение. Если я ошибаюсь разуверьте.

[piroman]

неправильно понимаете. Не продаем трафик по соотношениям.

[venticello]

По сути я смотрю в основном все подключают к 100Мбит каналу (тот же самый TrueVDS).
А установка оборудования в стойку денег стоит или нет? (hc берут 1500 за установку 1U в стойку, и за аренду 90 000, и трафик 1/4).
Тут получается 93 300 рублей, при подключении к 100Мбитам, с трафиком без соотношений.

[piroman]

Не берут за установку.

[venticello]

А если в 6 КВт не укладываемся, дополнительное питание можно купить или надо уже отдельную стойку?
У меня сервер 550Вт, смотрю продают сервера с 650Вт и т.д, как уложиться в лимит питания? (Получается 10 серверов поставил и все..) Или я не правильно что то считаю :)

[piroman]

Вы попробуйте померить потребляемую мощность. 20 дуалквадксеонов с блоками на 750Вт у нас кушают меньше трех кВатт

[Usmekhaiouschiysia]

Ээээ… Это что за сервер такой?! Или там просто блок питания 550 Ватт?

[piroman]

dell 1950 и интелы

[Usmekhaiouschiysia]

По спекам в DELL 1950 идут зионы жрущие до 65 ватт, 2х65 Ватт, вероятно порядка 30 Ватт мать, харды немного жрут, им только на раскрутку нужно побольше… Там и двухсот ватт с розетки не сожрут, блоки питания там с вполне приличным КПД, 80+ уж точно.

[venticello]

Да, блок питания 550Вт. А как померить реально потребляемую мощность?

[Usmekhaiouschiysia]

Что-нибудь типа такого: www.evroizmeritel.ru/catalog/silovje__energeticheskie_i/vattmetr_pm300_1.html

[piroman]

только если некими прибороми.
Ваттметром, токовыми клещами.

[venticello]

Самое сложное получается заставить 40 человек(если конечно кто то по 2-3 сервера не размещает) своевременно платить, поэтому получается со всех надо сразу оплату за полгода-год брать, чтобы организатор на свои бабки не попал.

[kabachok]

организуйте хостинг, арендуйте стойку, можно шаред предоставлять

[venticello]

Представляешь какие на это средства нужны? Оборудование, админы, суппорт, офис.

[kabachok]

ага, а в твоем варианте нервов не оберешься и будешь только и заниматься тем, что напоминать про оплату за сервак, тоже на тоже получается

[venticello]

Долго напоминать не надо будет, не заплатили вовремя сервак офф.
А так надо 10 друзей, и брать 1/4 стоийки за 17000 (по 1700 на каждого), не велика разница получается :)

[kabachok]

да не получится так :D слишком много амбиций, да и с физиком думаю договор не заключат :)

[iBolit]

Тоже интересует бюджет всего мероприятия.

[piroman]

Не пытайте. Не могу.

[tgm]

а если паяльником? (шутка)

Ну серьезно, хотя бы порядок числа? Сколько нулей и в какой валюте? :)

[piroman]

шесть нулей в зеленых.

[Crashus]

а первая цифра 3?

[Barzometr]

на крыше много места — можно солнечные батареи налепить и напичкать генераторов — пусть накапливает, тогда вообще можно спать спокойно :)

[grokinn]

угу в россии где они полгода будут под снегом и от дождей им тоже не похорошеет это просто суперудачное вложение денег:) ещё можно ветрогенераторы поставить!

[piroman]

На крышу нас не пустили. Мы там блоки кондеев хотели разместить.

[schors]

Два вопроса:
1. А чего с АРЩ? Как завязано?
2. Главный вопрос — а почему шкафы, а не рамы?
3. А с каналами? 1-2-3? Я про физику.
4. Две линии питания к стойкам? Одна?

[piroman]

1) АВР
2) Что бы патчкорды никто не задел.
3) Пока 3. То бишь палок до завода 2, наружу завода 3.
4) Одна.

[schors]

1. так это… входы-выходы. тезисно. просто любопытно.
2. действительно проблема? просто как-то мне казалось шкафы дороговато… возможно их охлаждать конечно кошернее…
3. угу. нормально. ну ты понял на кого я намекал :)
4. а почему, кстати? не, без иронии. у всех одна. просто интересно почему две никто не делает.

[hellt]

а зачем 2 линии к стойкам, если бесперебойность обеспечивают УПСы и ДГА?

[schors]

Чтобы можно было вести регламентные работы по одной из линий. Это такое требование.

[piroman]

Гаси сервера. Кстати, такой регламент там раз в год на 5 минут.

[schors]

Не, ну ты понимаешь — я переживу. А ведь многие теряют 10000$/мин

[piroman]

Ну, когда нибудь, если доживем, построим треттий тьер.
Кста не вопрос, если у тебя такие проблемы принести тебе на время переключения юпс, включить в него второй блок питания, и переживай на здоровье.

[piroman]

2) Понты.
3) Пытаюсь.
4) Вдвое больше меди. Ну потому что ДЦ не под business critical.

[schors]

2-4) я воль :)
3) у стека долгое время был проброшен один кабель на м10.

[Andrey_Rogovsky]

Если шкаф гамотный, он все тепло выдувает взад, снизу, с фейкпола идет холод, и согласно етицкой силы законов физики, горячий уходит в отвестие теплозаборника

Впрочем, это мегосистема для 32-х ядерных монстров, которые умеют жарить яичницу

[VolCh]

Неплохо бы линки на 1-ю и 2-ю части прямо в тексте (точнее перекрестные линки во всех частях), не все их читали, а отложив могут и не вспомнить…

[spycom]

у Вас в компании вакансии есть?

[piroman]

Увы. Уже нет.

[maxism]

Вы, конечно, молодец и сделали большую работу, но «что бы» пишется слитно.
Да, я зануда.

[piroman]

Я поправил, извините пожалуйста.

[Sabiko]

И картинка вполне в духе стимпанка (за который респект, только меди/латуни/ржавчины не хватает) — без запятых.

[Usmekhaiouschiysia]

И вообще там не стимпанк, а вполне киберпанк, в духе «Моны Лизы овердрайв» :)

[fog]

Что тут скажешь… круто!

[Kastrulya]

Примите конгратуляции. Первый рассказ(другой автор) так и не окончился?
Читаются статьи, как повесть=)) интересно и понавательно!
Спасибо Вам! Успехов!
Возьмите на подработку ;))))

[XPyCT]

Интересно, спасибо

[hellt]

у нас в РЖД вообще смешно.
аккумуляторный резерв должен обеспечить 2 (иногда 8 часов) часа режима работы оборудования.

[piroman]

Что, и кондеев?

[hellt]

нет, только оборудования связи всех видов.
но и там 20-40кВ

[hellt]

кВт.

[spqer]

как раз на тему охлаждения сегодня комикс попался (:

[piroman]

Да, да.

[sgnppv]

Ну дык, этож РЖД. Небось есть специальные аккумуляторные составы для таких целей ;)

[spqer]

Спасибо огромное за рассказ. Надеюсь это еще не конец? Ведь еще столько можно рассказать… конечно, чтобы без вреда для бизнеса… но так хочется узнать подробней про интернет каналы, про то, как решали организаторские вопросы. (:

[piroman]

Будет время — сподвигнусь. Но это не так научно — популярно выйдет.

[MedVedar]

Было бы интересно послушать сколько это все обошлось. по каждому пункту. Там сколько строителям, сколько пожарниками, ну и т.п.

[piroman]

Много, буквально все что было

[Kndy]

Ребята, это настолько круто, что даже язык отнимается.
Может, поделитесь информацией — во сколько это все встало? Ну хотя бы порядки назовите.))

Серьезно, дело, доведенное до конца, да таких масштабов, выносят сознание. Уважение!!!

[Crashus]

3 ляма баксов

[Omgovich]

Боже, сколько же на все это ушло бабла. За всю жизнь столько не заработаю наверное.

[piroman]

Если работать на себя, то вопрос решаемый. Вообще, для бабла есть инвесторы.

[ekzo]

>Положили, тремя слоями сверху, каждые полметра, ленту с надписью «осторожно кабель».

будут копать найдут два раза ленту с надписью «осторожно кабель», включат осторожность и не найдут сам кабель, так на третий раз же не поверят!

[andrew_b]

Красота, да и только. Нет, серьезно, руи так и чешутся всё подробнее посмотреть и потрогать.
Даже представить сложно, сколько всё это стоило. Приблизительные цены были бы очень кстати.
Удачи вам!

[Boomburum]

Смотришь так, как ДЦ «за 1 день» на хабре «построился» и думается — «а не построить ли завтра тоже чениить такое?» )))
Спасибо, очень интересно!

[S2nek]

Ну всё, пошел я свой дата центр строить под стартап.

[piroman]

О, повсюду конкуренты :)

[ksenobayt]

Не парьтесь, не все такие буржуи — если я когда-нибудь доделаю корпоративный воркборд, вертеться он у меня будет на своем сервере под ногами, с гентой в зубах :)

[S2nek]

У Вас преимущество, инвесторы есть ;-)

[imwode]

Классная статья, спасибо. Коммент пишу вот зачем — открыл сайт, посмотрел цены. Так как я не в курсе, что за цены — 60тр, 32 тр и 17 тр — мне непонятно — это форева? В месяц? В год?

Я тыцкнул в ссылку, прочитал, что в месяц. Но все-таки.

[Mobby]

жаль картинки не кликабельны и не совсем подробно про электричество…

[piroman]

А элекртричество и не видно, оно в гофре, гофра в коробах.
Разве что, внешний вид щитов нашелкать.

[jury]

Легко. Позитивно. Близко (*пинг 5мс или 5 минут на авто*)
Отличная маркетинговая стратегия. Круто!)

[nZeus]

а инвайты на посещение такого чудесного помещения раздаёте? :)

[piroman]

После фейсконтроля.

[sgnppv]

Интересно, сколько еще человек спросит про стоимость?

piroman, поздравляю! Это самая классная и почти самая неприкрытая реклама на хабре, которую я видел тут :) Я думаю тут большинство будет не против, если вы продолжите этот цикл статей ;)

[nsamoylov]

Дизайнец сменить бы у сайтика-то.

[piroman]

Займусь на досуге.

[sgnppv]

А что с ним не так?

[nsamoylov]

Он не продает

[Juliyan]

а есть примеры продающих сайтов?

[nsamoylov]

Конечно есть, а вот еще один не продающий — firstvds.ru/

[Juliyan]

Примеры в студию:)

[nsamoylov]

edgash.ru/
polar-rugs.ru/

Хватит для начала.

[Juliyan]

Вы меня, конечно, извините, но в этих примерах я дизайна не вижу, вообще.
Исключительно собственное мнение:)

[nsamoylov]

Это исключительно ваше собственное мнение.

[ProTeg]

также как и вы высказываете исключительно ваше

[intnzy]

ад!
куски текста раскиданные по странице
и черный текст на черносинем фоне во втором случае.

это типа «сайт за 5$»?

[Juliyan]

ого!:) действительно ад какой-то, а броузер какой?:)

[intnzy]

Firefox 3.5.1

[Juliyan]

ну, слушайте, у меня FF 3.5, смотрю еще и IE семерку и восьмерку, даже шестёрку смотрю, но черногосинего фона, черного текста, вообще чего-то черного и разбросанных кусков не вижу… Что я делаю не так?:)

[intnzy]

как-то так



мегадизайн, да.

[Juliyan]

Вы какой сайт смотрите?:) Сделайте скриншот WebDC.ru, а то там про тапочки вроде ни слова не было:)

[Juliyan]

млин! не в ту ветку вклинилась!:))))

[Biart]

как POLAR-RUGS может продавать?? )) он у меня даже не открылся ))

П.С.: ваймакс интернет, провайдер Таском

[Biart]

edgash.ru/
17 октября, сб
Мы сменили дизайн нашего сайта!
(с)

Месяца не отработал, а уже есть информация о «продает»? ))

Друг мой, дизайн это такая странная вещь, что на глаз нельзя определить такой параметр как «продает» или «не продает», даже есть сайт делался строго по книжке про маркетинг и юзабилити ))

[darksab0r]

Ага, polar-rugs действительно продает унты, головы оленей и все прочее по 99 RUR/шт. Даже не удосужились в шаблоне FAQ заменить с дефолтного и «о магазине» не дописали.

[leonard]

Неудачный пиар.=)

[piroman]

Самое смешное, что firstvds.ru продает аж со свистом.

[nsamoylov]

Тут как бы не это имелось ввиду. А имелось ввиду что только за счет дизайна, инфографики сайт начнет продавать. Т.е. без помощи раскрутки (или с минимальной), чтобы с ее помощью приносить сверхприбыль.

[Biart]

Для того чтобы применять маркетинговые термины — почитайте их значение. Для того, что давать оценку что «продает», а что «не продает» — проведите исследования. Для того, чтобы не зажимать себя в оценках типа «дизайн продает» — почитайте другие книжки, кроме той что уже прочли.

[errr]

Как думаете, а этот сайт продает? ;-)

[Usmekhaiouschiysia]

Только за счёт дизайна сайт никогда продавать не начнёт, это фантастика. Хоть об стену убейся, а даже самый красивый магазин летит кувырком, если нет притока посетителей.

[leonard]

Если той же тематики, то вот этот ничего — mediatemple.net/
(у них jquery хостится)

[Juliyan]

да, согласна, славный сайт, но ориентирован на западный рынок, по большому счету.

[stfalcon]

знакомые фотки. сюда RuWeb перебрался :)

[piroman]

Не, я больше не Рувеб, чессное слово.

[stfalcon]

да я в курсе :)

[Agent_Smith]

Ссылки на первые две части добавьте, а то я эту прочитал, и только в комментах заметил что это 3я часть (=

[unicast]

Гораздо лучше предыдущего "<a href=«habrahabr.ru/company/ispsystem/blog/73061/>обзора»
Теперь всё видно, молодцы!

p.s. жду продолжения про «персонал и его дрессировку».

[unicast]

черт, сори за битый линк.

[KedaRasta]

Теперь главное — привлекать клиентов и совершенствовать работу коллектива! =)
ИМХО, в первую очередь работать надо на Качество (именно с Большой Буквы), а количество появится, когда всё будет организовано должным образом.
Надеюсь, оптимизм и рабочий настрой никого не будут покидать и дальше! ^_^

[baxtep]

а на сайте — стойки 800 мм продаете
а тут пишете что не хватило

где правда?

[piroman]

Вглубину.
В ширину 600

[piroman]

Высокий. пока не жаловались.

[delaf]

Какой прогноз по срокам окупаемости?

[piroman]

2 года.

[DYm00n]

Просто интересно — можно огласить цену на ремонт, электричество, генераторы, упсы, стойки, серверы по отдельности?

[piroman]

нет

[orcy]

А снаружи здание осталось как на первой фотографии? Дизбаланс, внутри 21 век, а снаружи совковый завод!

[piroman]

Увы. Не все в наших силах.

[Mordraug]

это прикрытие! :D

[piroman]

маскировка.

[intnzy]

кстати -да
взрослые сурьезные дядки так вообще, как правило, секретят расположение ДЦ.

[piroman]

Правильно. Но комерческий dc не засекретишь.
А вот кто знает, где хоть один ДЦ яндекса. А я знаю пару :)

[intnzy]

засекретиш. вполне. только это ограничит его сферу услуг… хотя…
даже на колокейшн может принимать оборудование специально обученный чел. приехал, забрал, и отвез «куда нужно». а клиент так и не будет знать физ разположение.
вполне себе схема.
В швейцарии, вона, в горах есть выдолбленные ДЦ, с воруженной охраной.

[TraderMax]

Нехватает статьи:

«Как я строил свой датацентр — часть четвертая. Как найти инвесторов»

[piroman]

Приезжайте на Хостобзор. Они там толпами.
ho20.ru

[piroman]

Спасибо. Сложности переходного периода.
Можно пока звонить лично мне 7499448

[delaf]

100% инвестицонные деньги, без кредитов обошлись?
Я правильно понял, вы владелец ruweb net?

[piroman]

Без кредитов.
Совладелец. Минориарий.

[piroman]

Буква т в ноутбуке, похоже, при смерти.

[shapa]

Посмотрел на сайте вашем про 6 квт питание :)
«Это один из самых высоких показателей для стоек таких размеров. „

Откровенную чушь пишите. Или просто врете…

Для таких размеров стоек — до 15квт можно подавать, а если бы брали knurr с жидкостным охлаждением — то и до 25 квт.

6квт по нынешним временам — чрезвычайно плюгаво, одно блейд шасси набитое лезвиями — кушает спокойно 8 киловатт. А это всего четверть стойки…

Я так понимаю — ДЦ максимум по классу tier-2 проходит? Чем тут гордиться? ;)

По ценам — на рынке в Мск есть и куда более выгодные предложения…

[piroman]

Холивар насчет блейдов поднимать?

Можно и 50 квт, но зачем? Где спрос?

[shapa]

Холивара не надо — проиграете :)
Я как бы имею огромный опыт работы с различными ДЦ по всему миру, Tier 4+ в т.ч.

В сущности, вы построили достаточно простенький датацентр, оснастив его достаточно спорно (один выбор cisco маршрутизатора с которых сейчас все бегут чего стоит, причем не в redundant виде) и (как я вижу) это в общем-то самодельщина в основном, которая не сможет пройти ни одну сертификацию того же uptime university по TIA стандартам.

Такие ДЦ тоже нужны (если цены нормальные), но как минимум — профильтруйте сайт от маркетингового бреда — потому что любой инженер который реально соображает в ДЦ даже не подумает к вам серьезно отнестись.

Насчет 6квт — за сумму 60000 рублей в месяц (2000$?) — в Европе снимается в ДЦ tier 3+ стойка с интернетом flat rate 100 мбит (от tier-1 операторов типа level3), прекрасной коннективити на россию и главное — будет около 10квт питания. А то что вы даете — это стоит около 500 евро в месяц максимум. За стойку. Учитывая прямые пиринги на той же DE-IX или AMS-IX почти всех крупных российских игроков рынка — с таким подходом бизнес ДЦ в Мск обречен.

Современный сервер легко кушает 500квт, и невозможность воткнуть в 40-юнитовую стойку не более 10-12 железок — удручает :)
Впрочем, все ДЦ Российские которые сделаны по принципу «я его слепила из того что было» обычно страдают той же самой проблемой.

Это (помимо других вещей) отсекает от вас сразу серьезных / крупных клиентов.

Anyway, всячески желаю вам оправдать вложения.

[piroman]

Спасибо.
Удачи вам с крупными клиентами европе.

[shapa]

Кажется, кто-то что-то не понял :D

Это я — _клиент_.
Размещаю проекты на десятки, сотни и тысячи серверов.

В Мск пересмотрел десятки ДЦ. В основном — удручающие вещи, по оснащению / конфигурации — примерно как у вас :)

Есть и новые ЦОД'ы, которые сделаны лучше, и даже близко к tier +.
Но цены по 12$k за стойку на 25 киловатт — это ребята похоже очень хорошо приложились головами об стенки :)))

Тенденция миграции крупных современных проектов из России в Европу — имеется, ввиду того что нынче оптика баснословно дешева.

Сейчас можно взять 10gbit p-t-p включение с MSK-IX до DE-IX например за 25$k в месяц. И не иметь никаких проблем.

Все думаю — кто первый допрет до предоставления «виртуального» московского датацентра — русский саппорт, «русские» AS, прямой выход на MSK-IX и пиринг со всеми кто нужен — а сам ДЦ размещен в ближней Европе (если финляндия — то вообще задержки будут минимальны).

Нет, бьются головой, плачут, едят кактусы и строят в Мск с безумно дорогим электричеством и кучей проблем :)))

[piroman]

Ну, постройте свой датацентр в Москве, раз такой умный то. Делов то на 2 года.

[shapa]

Зачем? Я что — идиот? :)) Заведомо утопическую бизнес-идею реализовывать?

Чтобы построить ДЦ грамотный в МСК — надо иметь огромный административный ресурс, особенно для получения энерговвода приемлемого (5 мегаватт минимум).

Для постройки ДЦ намного грамотнее или Европа или же на некотором расстоянии от Москвы.

Как только кто-то сделает грамотный ЦОД в подмосковье (неближнем) с отличными условиями и коннективити — начнется серьезный отток клиентов туда, и куча «я его слепила» вылетит в трубу без клиентов.

[piroman]

Даже если вы возмете 10gbit p-t-p включение с MSK-IX до DE-IX за 25$k, то это все равно + 40-50 мсекс, и все равно вы не со всеми запиритесь.
Но с другой стороны, говорить могут все, а как копать — недозовешься.
Включаетесь, покажите нам.

[shapa]

Как меня уже утомляет это тупое маркетинговое вранье ;)

1) Все забывают при этом уточнить что 50мск задержка (только по причине ограничений физики — скорость передачи световых импульсов) по широченной 10G «трубе» — для 99% клиентов _абсолютно_ приемлема, и никто ничего даже не заметит.

Единственное «но» — сервера RTS/FPS игр (и то — куча Россиян играют даже на _американских_ игровых серверах с удовольствием). Все… Ни мультимедийный контент, ни передача данных, ни онлайн игры, ни прочее — абсолютно не критичны к этим дополнительным 50мс.

2) Насчет «не запиритесь» — бред. В европе очень жесткие пиринговые законы. Если ты есть на DE-IX или AMS-IX — обязан пириться. Вот почему например трафик с рткома бегает на корбину через франкфурт или Лондон :D Они бы рады и вообще разорвать (воюют), но в Европе им за это по ушам надают, и серьезно. Ввиду чего имея выход на пиринговые Европейские точки — зачастую сервис _качественнее_ давать можно ввиду отсутствия диких колец a-la msk-frankfurt-msk (и суммарных задержек 200-300мс) :)

3) Кто сказал что мы НЕ включены? :)) Лично поднимал стыки Мск-Прага например.

[l0rda]

>Сейчас можно взять 10gbit p-t-p включение с MSK-IX до DE-IX например за 25$k в месяц. И не иметь никаких проблем.

где взять?
сколько не ищу мне до франкфурта самое дешевое что предлагали — 40к USD, а так в среднем не меньше 45к EUR (wave я имею ввиду).

[piroman]

Видимо, такие цены только сноубордистам :)

[piroman]

Хотя ладно, похоливарю.

Про весь мир и Тьерь 4 — тоже имею бооооольшлой опыт. 7 ноября будет 10 лет как им занимаюсь. Пересмотрел имел опыт работы не с одним десятком и европейских, и американских, и даже сингапурских.

Про сертификацию, циску вы конечно авторитет, диплом uptime institute у вас на стене весит. А нет, uptime university? Где это? Что это?

Насчет найти нормальный tier-2 за 500 долларов в европе? Покажите хоть один. Реально цена евров так 1200 за шкаф с 20 амперами. За 500 это Румыния, овощебаза, анагар, укурки в смене и хозяин цыган.

Та и про европейский Тьер 3 — ездил директор рувеба в dc, анонсирующий себя как tier -3, два ввода и ОДИН дизель. 2000 евро за стойку с 20 амперами, трафик по 6 евро мегабит? Я что то еще упустил?

Насчет прямых пирингов, у нас хоть кто то бесплатно подает трафик из DE-IX в MSK-IX? Вы либо не то курите, либо не совсем в курсе. Зарубеж в РФ платный, и поэтому зашейплен по пути к 30% клиентов, часто хорошо зашейпен, с дропами так.

А насчет сервера легко жрущего 500 вт, вы их хоть раз меряли руками? 20 реально включенных у меня дуалквадксеонов едят меньше 3 квт.

[shapa]

Отвечу разок ;) Мне тривиально не о чем с вами спорить :) Налицо отсутствие конструктива кроме попыток странным образом «огрызаться».

«7 ноября будет 10 лет как им занимаюсь.» — заниматься можно и 100 лет. Строить _такое_ как вы построили — опыта чувствуется не очень много :)

«циску вы конечно авторитет» — учитывая, что я поднимал ряд крупнейших проектов в мире и в России (из близких россиянам — например www.mamba.ru и www.begun.ru :)) ) — то _некоторый_ опыт имеется. Это как минимум :)

«А нет, uptime university? Где это? Что это?» — поймали, поймали! Леденец! :) Конечно же институт. Не далее как позавчера с ними общался в очередной раз :). Так по какому классу вы по TIA-962 проходите? Клиенты это будут спрашивать.

«ездил директор рувеба в dc, анонсирующий себя как tier -3, » это часом не тот ангар в Румынии про который упоминалось? :) в Германии например одни из лучших ДЦ в мире, цены даже того же Анкотела намного гуманнее ваших (но места мало), а учитывая что рядом есть как минимум 10 крупных ДЦ где можно выкупать целый этаж…

«Зарубеж в РФ платный,» — похоже курю не я :) У большинства «крупняков» flate-rate линки (или ipaccess или p-t-p) до DE-IX, AMS-IX и прочих. Тот же RETN дает.
То что деньги берут с мелочи пузатой — это совсем другой разговор.

«20 реально включенных у меня дуалквадксеонов едят меньше 3 квт. » — на них тетрис крутится? Или на глазок меряете? :D Мы обычно на свои проекты требуем у ДЦ (или сами ставим) APC PDU которые четко нам показываю кто что кушает. Так вот — даже 30 киловатт на стойку бывает маловато… По 6 розеток на 220 / 20A подаем — и все равно мало ;)

[piroman]

Ладно письками мерять не буду — это глупо.

Директор Рувеба ездил в Голандию, в Datacenter Grafix in Handelsweg. Насчет выкупить целый этаж, дык что же не выкупите, профит налицо, датацентры в России обречены.

Мелочь не мелочь, Местные телекомы вполне себе режут, вузтелекомы и подавно.

Меряю пдушкой апцшной, к которой они подключены, надеюсь вы о ней слышали? В ней даже вебинтерфейс есть. Внутри там хостинг крутиться.

Ну, насчет чем надо забить стойку, что бы она кушала 120 А? Ну есть и те, кто так развлекаеться. Экономического смысла в этом мало, но если клиент денег на железо не считает — банки, казино, нефтянка — газпром, порево, то пусть, деньги есть, можно тратить. Одно не пойму, если у людей есть деньги на это, зачем им чужой датацентр?
Обычно такие эксперементы ставят в своем, ну, исключая порнушников, там крутиться надо быстрее.

[shapa]

BTW — по поводу cisco — MSK-IX испытывает дикие проблемы с перегрузом своих цисок, сейчас уходят на другое решение :D

Из-за этого тормозит рунет кстати — полка 145 гигабит на MSK-IX. Сisco, в сущности — уже мертвецы. Nexus — от него все ведущие телекомы отказались во всем мире (крупные скандалы), ASR / GSR — архаично и тоже никому не нужно.

Умные компании берут Juniper (MX960 / 480 как рутеры, EX как L2/L3 коммутаторы), Foundry (на которых построено например AMS-IX где 2 терабита трафика уже), Force10Networks (ExaScale — шикарные железки)…

web.me.com/shapa/Site/msk-ix-daily.png

[piroman]

Вообщем вы стандартный сноубордист :)

Промывайте мозги вашим клиентам, мне их жалко.

[shapa]

Отличная аргументация, браво! :D

p.s. боюсь, идиотизм большинства (к счастью, не всех) российских «датацентростроителей» практически неизлечим ;)
так же как куриная слепота, не позволяющая заметить того что я / компании с которыми работаю — _клиенты_ датацентров :))))

[piroman]

Вообще да, от сноубордизма явно до ФМГ недалеко. И главное, был бы это первый пример.

Анализируем вышесказанное.

Вы ничего не предлагаете, а только и хотите сказать — у вас дерьмо, в Европе все сделано правильно, если тут все будет сделано правильно, вы все умрете, но делать я не буду, потому что я не идиот.

Клиническая картина.

[piroman]

Задайте себе простой и страшный вопрос.
Много ли таких клиентов датацентров, которым нужно тоже, что и вам? И кстати, славянский на сколько % забит?

[piroman]

А на сайте да, много всяких глупостей. Отмазываюсь, тексты не я писал.

[Juliyan]

надо поправить тексты и всё будет ок, я думаю?!:)

[venticello]

Hc вообще стойку только на 4кВт предлагают, с ценой 90 000.
Какие в России по основным параметрам нормальные дата-центры? или надо всем повально сервера заграницу везти?

[shapa]

Например — лично знаю этих ребят.

www.dc77.ru/

Никакого аффилирования нет, дом стоит («Эдельвейс» на кутузовском) рядом с их ДЦ — познакомился случайно.

Стойки knurr, жидкостное охлаждение, 15квт на стойку, более чем разумные цены.

Кстати где-то здесь они на хабре тоже статьи выкладывали.

Еще есть вполне адекватные ЦОДы — тот же Iteco с их новым ДЦ, цены тоже очень разумны и тоже можно получить 10квт на стойку спокойно например (да и больше)

И тд и тп.

Может стоит только поискать? :)

[venticello]

У Iteco, 5 КВт на стойку (Смотрю тут), может другой сайт нового ДЦ?
Dc77 довольно таки интересные предложения.
Искать конечно вариант, только там пока не попробуешь не узнаешь, в тексте все что угодно можно написать.

[shapa]

Айтеко — у них есть новый ДЦ, который часть уже введена, часть — скоро будет.

Сделаны очень грамотно (значительно грамотнее того что тут «рекламируется»), это твердый уровень Tier 3+ (вплоть до того что есть подземный (очен большой, мини-озеро) резервуар с водой для аварийного охлаждения), при умении договариваться — цены получаются весьма привлекательные.

Cтандарт у них 5квт, при необходимости дают 11-12квт (но лучше заранее до запуска зала в эксплуатацию договориться)

[delaf]

Бест хостер тут все отписывает что они переезжают в свой дата центр. Случаем не в ваш?

[piroman]

Не в наш.

[Tonna]

Поздравляю! Отличная работа.
Только мне не понравилось освещение на последней фотографии. Для интимных встреч пойдет, а для работы надо еще ряд между стоек пустить на потолке.

[Anikin]

Свет в норме, просто фото наверное с телефона. Холодно очень работать, но человеческие слабости там на втором месте после условий для горячих серверов. Главное чтобы железкам было комфортно жужжать.

[piroman]

тс… Никому не рассказывайте.
На самом деле он где надо, аска просто не прописана куда надо.

[shapa]

Ну, это NOC (любители cisco? :) ) протупили просто видимо и ошиблись при получении AS :)
Чинится за день, но похоже никому не нужно.

[Rulez]

супер, прочитал все комментарии на часах страшное время

[aim]

а IP KVM есть? чтоб по VNC подключиться и получить KVM?

[piroman]

Да. Резвый дежурный воткнет ее по запросу. Но, вообще к стойке принято брать ее самомум :)

[morbid]

Чёто у вас не красиво, вот как надо —
thatlinuxbox.com/blog/article.php/20091104231422578

[piroman]

Я тоже так умею :)

[cynical2207]

Простите, может уже спрашивали, не увидел: сколько человек было задействовано во всей мега-стройке?

[piroman]

Несколько бригад на каждом участке. Не считал, но порядка 30, в общей сложности.

[Pilat]

А нет ли вокруг датацентра вредного производства, по которому ездят камазы и врезаются в стены датацентра?

[piroman]

В смыле карьера с белазами? Карьера нет.

А вокруг они ездиют, куда деваца. Но медленно и поодаль.

[Pilat]

Вчера один такой камаз в жилой дом въехал. А я смутно припоминаю, что в аммериканском стандарте прописано, что датацентры рядом с производством и камазами нельзя ставить. Не страшно за здание?

[piroman]

Прописано. В третьем тьере.
У нас второй, так что можно не волноваться.

[Pilat]

Ну пусть ездиют поодаль :)

Каким бы плохим Ваш центр не был (по мнению знатоков), пока такими центрами не насытится рынок, лучше всё равно ничего не будет. А там, глядишь, вы и раскачаете индустрию, и следующий будет уже побольше и посильнее.

[piroman]

Кто это знаток, интересно?
Сноубордист shapa?

На рынке ДЦ в Москве много понтов и мало реальных данных.
Реальных тьер 3 ДЦ в москве меньше чем пальцев на одной руке. Да и то, пока не начнешь копать.
А все потому, что 3 тьер стоит очень много денег, да и клиентов на надежность 1.5 часа простоя в год за две цены не так много.

[dizel3d]

Привет из 2023! :-) Как идут дела? Как пережили все кризисы?

[piroman]

Ну я построил, запустил и ушел ( потому что стало скучно) ДЦ - вебдц потихоньку работает.