Серверы и ЦОДы в Нидерландах – опыт эксплуатации

    Мы в HOSTKEY держим более 400 собственных серверов в ДЦ Сервериус, который расположен посреди красивых полей в Нидерландах, в городе Дронден — чуть севернее Амстердама. Хочу поделиться своими впечатлениями и кросс-культурными различиями от более чем 2-х летнего опыта размещения наших серверов в Сервериусе, как не наступать на грабли.

    Вся история началась около 3 лет назад, когда мы решили открыть площадку и в Нидерландах. Мы объехали с десяток ЦОД, в Амстердаме, Роттердаме и окрестностях. Провели переговоры, собрали предложения и контракты.

    Все их можно было разделить на две категории:

    • «крутые ЦОД»/телехаусы от 10000м2 с охраной, парковкой и всеми делами с ценой за стойку около 2000 евро и кучей ограничений. Общаешься с менеджером, все красиво, но в договоре полные засады – расскажу об этом позже.
    • «обычные ЦОД» для хостинга, 100-200 стоек – в регионе, на бывшем складе или бывшей телефонной станции или что-то типа ангара. Цена за стойку около 1000 с электричеством – ну и как договоришься. Договор тоже не простой, но общаешься с хозяином.
    • ЦОДы крупных хостеров — как правило они ищут реселлеров, реселлерская участь в Голландии тяжела — маржа 5-20 евро с машины, обязательство заказывать 10-20 серверов в месяц, что бы иметь хорошую скидку. Мы такие не рассматривали.

    На этом разница заканчивается – технологические решения почти одинаковы. Эти технологические решения я в Москве видел только в самых крутых местных ЦОД. Все идеально, оптимизировано что бы никогда не трогать, что бы работало без вмешательства человека. Полная автоматика. Тотальный аутсорсинг.

    В общем из 5-6 реальных предложений мы тогда выбрали Сервериус и не пожалели. За все время работы у нас не было ни одной аварии по их вине.

    Нет ничего дороже персонала


    Как правило, весь персонал ЦОД на 100-200 стоек составляет человек 5: хозяин, он же главный инженер и продавец; главный по финансам; начальник техподдержки; пара младших инженеров ему в помощь. Зарплаты высоки, налоги высокие – персонала мало. Все что можно вынести — выносится на аутсорсинг. Все вкалывают на совесть (безработица 20% и ипотека творят чудеса).

    Следствие: нет круглосуточной смены, как все тут привыкли. Надо привыкать, что голландцы приходят на работу ровно в 9 по своему времени и уходят ровно в 18. Сверхурочные – 150 евро в час, за эту сумму сам хозяин сядет на велосипед и приедет смотреть что стряслось с вашим сервером. Мы ни разу не пользовались.
    Надо отдать должное, если они начали работу – то закончат. В Германии, инженер-болгарин может свалить в 18-00, оставив дело в середине, а сервер разобранным.

    Следствие: Никто никуда не поедет менять диски, покупать память и т.п. Все это должен делать ваш поставщик. Все вопросы решаются только через KPN/DHL, причем курьер приезжает в ЦОД.
    Мораль: все сервера должны быть укомплектованы модулями удаленного доступа. Все диски должны быть серверного класса. Все должно быть на гарантии.

    Отсутствие спешки


    Мы тут в Москве привыкли, что планирование практически бессмысленная вещь и торопимся решать вопросы. Не доверяем никому, товар берем день в день со склада.
    В Голландии это не так. Если что-то заказываете, поставщик честно говорит — это будет готово через неделю. И ровно через неделю + 1 день это приезжает в ЦОД. Никто ничего не держит на складе. Все сборщики заказывают у дистрибьюторов, это привозят почтой с разных мест и потом собирают и отправляют тоже почтой. Так принято и так все работают.

    Тему «мне нужен сервер завтра или сегодня» никто просто не поймет. Вы заказываете, Вам называют срок и в этот срок все приезжает. Не забудьте – если что-то сломается по гарантии, то вызывается курьер и деталь отправляется поставщику. Например, если сервер перестал реагировать на IPMI, его целиком в сборе отправляют поставщику. Диски скапливаются пока их не наберется ящик и отправляются так же поставщику. Через месяц приходит такой же ящик с подменными дисками.
    В ЦОД есть SLA – платный. Так как ЦОД не монстр, а вы клиент не самый маленький – ваши просьбы будут обслуживаться быстрее.
    Формулировать надо точно.

    Отсутствие надуманных формальностей


    Камнем преткновения использования региональных ЦОД в РФ была невозможность отправки серверов в ЦОД без своего экспедитора-инженера, что уничтожало весь экономический эффект от цены. В Сервериус наш поставщик просто отправляет сервера по почте с пометкой HOSTKEY, ЦОД их принимает, настраивает IPMI, монтирует в стойки и подключает сервера к сети. Точно так же они переконфигурируют сервера, отправляют запчасти по гарантии и т.п. Все работы, которые можно сделать за 15 минут считаются мелкими и отдельно не оплачиваются. Нет проблем для них перекинуть память, заменить диски, перекинуть машины между стойками.
    Очень важно — одолжений не будет, описывайте все в контракте. Контракт — закон.

    Ценообразование на стойку


    В РФ мы привыкли к формуле 42U и 5 кВт. В Голландии обычно в стоимость 42U стойки включают чуть электричества, около 1,5 кВт. Базовая цена становится около 400-500 евро и превышение стоит по 15 евро центов. На набитую стойку выходит около 1000 евро. Следствие простое – ставь экономичное оборудование и плати меньше. Выключай сервера которые ждут клиента. Само невыгодное, что можно сделать — держать старые сервера, они обойдутся существенно дороже в эксплуатации.
    Очень внимательно читайте контракты – в Голландии и Германии если что-то заказали на год, то придется платить за это ровно год, не важно — пользовались или нет. Отказаться от стойки раньше времени не выйдет, а предупреждать надо иногда за 3 месяца. Так вот принято. Бывают и пятилетние контракты — внимательно смотрите срок, на который подписываетесь. Потом не соскочите.

    Интернет


    Обычно ЦОД дает свой интернет, уже доставленный на площадку. Опасайтесь и бегите, когда этого нет – инсталляционные затраты и долгосрочные контракты сделают затею мутной. Мы имеем цену на гарантированный интернет около 800 евро за гигабит полосы. Опять внимательно читайте контракты – мы привыкли в РФ, что превышение стоит обычно пропорционально обязательному потреблению, т.е. если куплен гигабит за 2000 долларов, то превышение пойдет по 2 доллара или меньше. В Голландии превышение может оказаться по 50-70 Евро/мегабит, вам придется увеличивать гарантированное потребление! И его не получится оперативно уменьшить, контракт-то годовой. В остальном все традиционно, тарификация 95% burstable — 5% верхних значений загрузки за месяц отбрасываются.

    Сам ЦОД не управляет интернетом – как правило, это сдано на аутсорсинг профессионалам. ЦОД не может позволить себе держать нескольких супер-сетевиков, этим занимаются конторы, которые их нанимают.

    Часто есть «рекомендованный» провайдер. Цена на темную оптику выходит такая, что самому делать трассу до AMS-IX становится выгодно только после 10Г полосы в ту сторону. При этом от дистанции мало что зависит – трасса внутри Амстердама и трасса Амстердам-ЦОД в регионе будет стоить почти одинаково.

    Что мы используем в повседневной работе


    По опыту с наилучшей стороны показали себя сервера Supermicro. Срок поставки 7-10 дней, 3 года гарантии на все.

    Однопроцессорные мы берем в составе Microcloud на 8-12 лезвий. Процессоры E3-1230v2, диски WDC RE4 500Gb 7200 rpm, 2Tb 7200 RPM. Все машины с модулем удаленного управления. 10 систем Microcloud в такой конфигурации потребляют около 4-5 кВт, а это 80 серверов.



    Более крупные машины мы заказываем из стандартных 1U корпусов с начинкой из последних моделей E5-2630 и прочего. Так как мы ничего не реселлим, то заказывать мы можем у поставщика все что пожелаем из свежего. Мы стараемся придерживаться следующих популярных артикулов на старшие сервера:
    Процессоры E5-2630, 6 ядер 2,3GHz, E5-2670 8 ядер, 2,6GHz
    Память — только 16Gb DDRIII ECC REG LV DIMM от Kingston, ни одного гарантийного случая
    Матери — Supermicro X9DRD, 2xs2011, 16xDDRIII (256Gb RAM)
    Контроллеры: LSI Megaraid 9260-4i, Megaraid 9260-8i, HBA 9211-8i
    Диски: SATA WDC RE4 500Gb, 3Tb. SAS – 300Gb 15K, 600Gb 15K, 2Tb 7,2K – Seagate/Hitachi
    корпуса Supermicro 4, 12 и 36 слотов под 3,5” диски.
    SSD серверного класса: Samsung 940 Pro, Intel 520 размером 128 и 256Gb. Можно заказать и более крутые модели.
    Итого, 15 артикулов – все взаимозаменяемо.

    Самое крутое, что у нас брали на заказ – систему 2хE5-2630/384Gb/36x300Gb SAS 15K/5xLSI 9211-8i HBA.
    В качестве гарнира идет любая Циска – от простых коммутаторов для VLAN до ASA5530 со всеми наворотами. Цена закупки – в три раза ниже чем в РФ.

    Сеть



    Мы подключены через два 10Г интерфейса с помощью своих современных роутеров Brocade CER-2024. Это позволяет нам не замечать редкие DDOS атаки, которые прошли незамеченными через системы мониторинга апстримов. Внутри вся сеть сделана на Cisco Catalyst 1000/100Mbps. Все управляется и мониторится централизовано.

    Почему такая цена


    Все очень просто – поставщики дают нам рассрочку на сервера, равными долями на 2 или 3 года без аванса. Для этого мы аккуратно ведем белую голландскую компанию, имеем кредитную историю и ведем игру в белую. Мы добавляем расходы на ЦОД, интернет, маржу и получаем цену сравнимую с Хетзнером или другими игроками. В отличие от известных дискаунтеров, HOSTKEY может собрать любой нужный конфиг из описанных выше деталей и обслуживать его в лучшем виде. Любые кластеры, системы виртуализации, СХД — все что хочешь, в том числе и колокация своих серверов клиента.

    Такой подход позволяет нам обходиться одним человеком в Амстердаме, который занят финансами и взаимодействием с поставщиками. Все остальное по технике мы решаем через Московский офис силами дежурной смены и одного старшего инженера, который отвечает за Нидерландскую площадку. Это налаженные, отполированные до блеска бизнес-процессы.

    Надеюсь, данный пост покажется кому-то полезным, достойным занесения в избранное и убережет от ошибок.
    Автор – директор и совладелец Hostkey.ru
    HOSTKEY
    Company
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 38

      0
      Не подскажете, у кого берете Microcloud и приблизительный прайс? А то местные продаваны, ничего не говорят или не хотят везти, продвигая свои решения…
        0
        Какие свои решения и кто предлагает?
        0
        Мы берем МС у одной немецкой компании и есть местные поставщики. Стоят они так же как в Москве, около 5000 долларов. Тут вопрос важный от кого берете еще. Могу продать :)
        Если не секрет, а можно ссылки на «свои решения»?
        • UFO just landed and posted this here
            0
            спасибо =)
          • UFO just landed and posted this here
              0
              бывали, поэтому и пишу. В русских договорах смотришь одно, а там надо смотреть другое.
              0
              Похоже, у вас сайт прилёг :(
                +1
                Канал до Мегафон ДЦ у них упал минут на 10.
                0
                Кстати, а расскажите пару слов о ДЦ Мегафона, там как условия?
                  0
                  условия там хорошие, только новых клиентов туда не ставит Мегафон.
                    0
                    Разве? Я у вас заказал два сервера и они установлены именно там :)
                      0
                      я имел ввиду не нам, я имею ввиду что мегафон не продает там стойки новым клиентам. а так все в порядке, работает.
                        0
                        Ок. Тогда расскажите об этом ДЦ в сравнении с Сервериусом? Кто лучше или хуже? Как выбрать между ними, если цены на кастомную конфигурацию одинаковы? Пока выбирал Мегафон, т.к. пинг меньше.
                          0
                          они просто разные — один в РФ, другой в НЛ. Цена на кастомный конфиг в НЛ процентов на 20 ниже.
                          так что тут надо от задач плясать, если надо подешевле и пингом без разницы особой, то НЛ лучше. Если надо что бы тут все было, рядом с М9 — то НЛ не пойдет. Если восточнее Урала, то не надо брать в НЛ — неудобно будет работать.
                  0
                  А что за память ставите в 12-ти нодовые супермикры? hynix?
                    +1
                    Поставщик ставит подходящие, вроде Hynix
                    0
                    В микру нормально стявятся кингстоны, hynix, samsung. На всякий случай надо уточнять валидацию.
                      +1
                      там особенная микра, в нее походу высокие диммы не лезут. а низкие кингстон не делает этого типа. вот в этом засада
                        0
                        Память ставится от микры, партномер такой DR380L-HV01-EU16 (это 8GB) DR340L-HV01-EU16 (это 4GB)
                      0
                      вообще то кингстон много что делает, есть отдельная раздел по валидации под конкретную мать конкретного вендора. например KVR13LR9D4/16HM
                        +1
                        вы не поняли темы — в 12 нодовом микроклауде не помещаются диммы стандартного размера.
                        нужны вот такие
                        а это не так просто купить как хотелось бы…
                          0
                          В МСК проблем нет.
                            0
                            мы не про Мск же сейчас, и в Никсе таких нет кстати
                              0
                              Ну платформу то Вы где то видели? Тогда и вопросы про память к ним :-)
                              У тех, кто поставляет микроклауды в датацентры эта память в наличии.
                                0
                                Хех, не то что видели… даже поставляем =)
                                  0
                                  удивительно! Мы тоже. даже на складе пара лежит, включая память :-)
                          0
                          Очень интересно, спасибо. Я сам перемещаюсь от ДЦ к ДЦ со своими сотнями серверов и меня это уже задолбало по самое немогу. От Хецнера и других немецких ДЦ впечатления самые мерзкие.
                            0
                            ага, ох как мы нажрались когда в телехаусах ставили в германии. Предполагается что все работы делают инженеры клиента, очно и лично.
                            а так обращайтесь и по серверам и по стойкам, мы оптом берем, у нас цена хорошая и варианты всегда есть.
                            0
                            «Samsung 940 Pro»

                            Точно 940? Не 840?
                              0
                              840, опечатался. Они даже быстрее чем 520 Интелы
                              0
                              Мне интересно насколько это вообще распространенная практика в развитых странах — отправлять оборудование в ЦОД по почте и надеяться на адекватную его первоначальную инсталляцию сотрудниками ЦОДа?

                              Я понимаю, что в случае Hostkey и Нидерландов всё было бы идеально,
                              но данный вопрос подразумевает США.
                                0
                                ничего не знаю по США =(
                                  0
                                  Интересно как это отправка по почте сервера… А таможня? Основная заморочка в поставке в другую страну, это таможить все это по грамотному.
                                    0
                                    Разумеется, я говорю о пересылке внутри той страны, где расположен ЦОД.
                                    Более того, я говорю о подборе ЦОДа в зависимости от местонахождения оборудования.

                                      0
                                      в Германии при получении товара из РФ все приходит, а потом таможня просит показать инвойс очно или по почте и заполнить формуляр. потом приходит просьба уплатить налог в указанном размере. Внутри ЕС никакой таможни нет.
                                    0
                                    Поставщики дают именно рассрочку? Или Лизинг? Какие, если не секрет?
                                      0
                                      сами поставщики: да, если показываешь поставщику белый прибыльный баланс с приличной валютой, показываешь что ты профи в этом деле, ЦОД ручается за тебя и гарантирует что сервера не уедут из ЦОД без согласия поставщика до окончания рассрочки. Ну и надо еще договориться про все это лично и очно.
                                      лизинг: по лизингу — они будут смотреть сделки от 100К Евро, мы сейчас сделали одну для пробы — но это заняло больше полугода что бы войти в отношения с лизингом и закрыть первую сделку. Нам пришлось изменить корпоративную структуру что бы пройти кредитчек. Если Вы не профессиональный хостер, специализирующийся на выделенный серверах с 5 летней историей — даже не думайте.

                                    Only users with full accounts can post comments. Log in, please.