Hetzner может неожиданно отключить ваш сервер

    Мы — небольшая группа разработчиков web, пишем сайты на заказ, хостим или у себя или у разных провайдеров по миру. У нас небольшой отдел тех. поддержки, стараемся в меру своих сил реагировать вовремя на возникающие проблемы. Статья написана тем, у кого есть свои сервера на Hetzner, чтобы были готовы к определённым особенностям поддержки.


    Бывают и такие случаи, как описанный далее. Мы к нему оказались не готовы, как морально, так и технически. А столкнулись мы с тем что сервер может быть отключён, и понять либо устранить причину отключения оперативно невозможно.

    10.36 GMT +2



    Сайт перестал пинговаться. Наша команда поддержки немедленно попыталась разобраться в чём причина.

    Заказчик этого сайта — находится в US (ночью он спит), команда поддержки — в Украине, Hetzner — в Германии. Сайт лёг в самое удачное время, когда в США ночь, а в Украине и в Германии нормальное рабочее время, которое по идее должно дать нам возможность восстановить работу сайта. Эх,…

    При попытке зайти в Rescue Mode мы наткнулись на странное сообщение:

    «The Ip is locked» со ссылкой на: «wiki.hetzner.de/index.php/Leitfaden_bei_Serversperrung/en»

    Читаем… Советы типа: «First of all, please examine the log files of the server» меня несколько озадачили.

    Q: Как проверить Log files если доступ отключён?

    Далее, ещё интереснее:

    «Before the server can go back online, the problem has to be solved. We require a signed statement
    from you via email or fax about the cause of the problem, explaining how you have solved the problem
    and what you have done to avoid the same problem in future.»


    Q: Доступа нет, сервер отключён, включить можно только если починим, но чтобы починить надо зайти ведь?..

    Выяснилось что этот тип проблем должен (по правилам Hetzner) решаться через KVM. Запросили KVM, но непонятно что чинить. В админке нет никакого упоминания о конкретике, есть только ссылка на общий документ о возможных проблемах.

    Ну логично, если ничего непонятно, надо спрашивать у саппорта:

    Вопрос к Hetzner 11:36> I can not ping and login to the server
    Ответ от Hetzner 12:25> please check your mails, you should have received a mail why the IP is locked.


    Саппорт работает, но ситуация мне напоминает анекдот про программистов на воздушном шаре, когда ответ оказался правильным и абсолюно бесполезным, а время то идёт. Каждый вопрос / ответ — около часа задержки.

    Срочно звоню нашему клиенту в США, с просьбой проверить и форварднуть всю почту от hetzner. Наконец то получаю более менее понятное объяснение:

    Dear Sir or Madam
    
    We have noticed that you have been using other IPs from the same sub net in
    addition to the main IP mentioned in the above subject line.
    
    As this is not permitted, we regret to inform you that your server has been
    deactivated.
    
    Guidelines regarding further course of action may be found at
    http://wiki.hetzner.de/index.php/Leitfaden_bei_Serversperrung/en.
    
    Yours faithfully
    
    Your Hetzner Support Team
    
    09:29:55.027863 a8:be:dd:56:e7:15 > cf:40:04:22:32:1f, ethertype IPv4(0x0800), 
    length 66: 188.40.25.34.42709 > 5.9.xx.xx.80: Flags [.], ack16154, win 661, 
    options [nop,nop,TS val 1003012 ecr 2687744519], length 0
    


    13:21



    KVM (LARA) дали (+1 h), 3 часа спустя после downtime, наконец то начинаем что то делать и появляется надежда разобраться с проблемой. Получаем доступ к серверу через Lara.

    Учитывая то, что сети нет никакой, поставить проверку root kit не получиться. Проверяем что можем проверить, но даже tcpdump запустить не получается — port в down и пакеты слать отказывается.

    Архитектура системы у нас:



    На страже границ находится хост система с KVM, ядро 3.5.2, регулярные апдейты GLSA, порт только SSH (вру, был ещё nrpe, проверили, вроде нет ссылок на то что nagios-nrpe ломали).

    Понимая что на Web части проекта установлена «солянка» разных технологий, в т ч PHP код, потому виртуальне машины физически отделены от внешнего мира, и захватить чужой IP адрес уж точно не могут никаким образом.

    Исследование базовой host системы Gentoo не показало никаких изменений. В файле messages, dmesg, last тоже всё нормально.

    В целом, после ряда исследований написали им в поддержку что мы ничего сами найти не можем и нам требуется помощь с их стороны чтобы идентифицировать проблему. Также попросили убедиться что непонятный траффик идёт конкретно с нашего VLAN.

    15:40



    Получили ответ:
    Hetzner> Please complete and sign the following statement and return it to us via fax or email:
    Hetzner> www.hetzner.de/pdf/en/Comment_Serversuspension.pdf

    Хм… Тут меня начинает немного типать. Прошло 4 часа, мы не продвинулись ни на йоту, скоро утро в US, адекватной (на мой взгляд) помощи со стороны Hetzner не последовало, и вместо того чтобы помочь, они просят выслать им факс. Чё то невесело…

    Q: о чём подписываться в форме «об устранении проблемы», если мы проблему обнаружить не смогли, и соответственно ничего не чинили (и сказали об этом)?.. Задал вопрос. На что получил ответ, что они не имеют права включать сервер для любых разбирательств пока не получат факс/скан c подписью.

    Учитывая то, что мы уже приняли решение восстанавливаться из бекапов на этот момент (уж очень много времени заняли вопросы/ответы и попытки понять в чём проблема), более спешки не было, мы спокойно заполнили форму и стали ожидать результатов.

    Через некоторое время получаем ответ:

    > Dear Client,
    >
    > as requested we've let this issue checked by our network department and it seems
    > that you server answers on each requests even for another MAC's. So please check
    > your server again and solve this issue.


    Ok… Учитывая то что сервер включали на период около минуты, мы ничего не успели посмотреть.

    После этого мы задали вопрос что же теперь можно сделать с сервером, не имея сетевого доступа к нему, нам посоветовали отформатировать сервер и установить новую систему путём монтирования удалённого ISO образа.

    Мы попытались это сделать, но были не готовы технически (под рукой не оказалось маленького ISO, все большие были для desktop, пытались грузить X, и вообще не очень подходили для инсталляции через KVM). История закончилась около 10 вечера, когда у нас отрубили KVM в процессе инсталляции системы (правило в Hetzner — бесплатный KVM даётся не более чем на 2 часа).

    Через несколько дней





    В спокойной обстановке, в понедельник с утра, дали заявку на KVM, получили доступ, установили небольшую систему на sda1 (развалили raid) через Lara/ISO mount image, отправили скан факса о решении проблем, и получили ответ что сервер активирован. Но он почему то не пинговался…

    После повторной заявки на активацию сайт наконец то запингался, мы зашли с сети, и первое что я сделал — это полный tar cjvpf бекап старой основной системы, скачал её к себе для экспериментов и развернул локально.

    Локально тоже не смог найти проблему. Поднял отдельную машину как default router, включил её в ту, на которой была запущена копия, посмотрел на траффик tcpdump на обоих концах, подняли NAT с gw адреса для сетки. Каких либо странных пакетов не обнаружено.

    Проверили на root kit, проверили все пакеты и файлы — нет ни одного изменённого MD5, нет никаких лишних процессов и т п.

    В чём же была проблема? Можно только гадать. Возможно у них в сети появились одинаковые MAC адреса, возможно что то ещё… Кто что ещё может подсказать?

    В общем, даже если и были проблемы именно у нас (в чём я сомневаюсь), выяснить это невозможно. А они со своей стороны вряд ли признаются или смогут выделить специалиста для помощи.

    Выводы (а у нас кстати много других клиентов уже/ещё хоститься на Hetzner).



    1) Всегда имейте небольшой ISO образ вашей системы под рукой, чтобы по просьбе hetzner вы смогли оперативно отформатировать ваш сервер. Желательно чтобы основной раздел и сервисы/данные были разделены.

    2) Очень желательно организвать стриминг netflow за пределы Hetzner, чтобы потом была возможность проверить обвинения.

    3) Всегда быть готовыми к тому что сервер может исчезнуть насовсем (что впрочем и так правильная стратегия).

    P.S. Мне админы говорят что это нормально: вначале отрубаем проблему, потом разбираемся в чём она. Но если первое происходит оперативно, то и разбирательство должно следовать.

    Похожие публикации

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 114

    • НЛО прилетело и опубликовало эту надпись здесь
        +12
        А на самом деле бред какой-то. IP Source Guard плюс DAI плюс port-security (с вручную сконфигурированным sticky маком) — и пусть клиент хоть обпосылается левыми пакетами, все равно они будут дропаться на его порту. Собственно, я вообще не понимаю, как можно предоставлять хостинговые услуги, не задействовав данный функционал. Это если хватило мозгов селить несколько клиентов в один VLAN, что тоже, мягко говоря, странно.
          0
          " it seems that you server answers on each requests even for another MAC's"
          Кстати — легко проверить. Посмотрите, работает ли сетевая карта в promiscuous mode.
          Ну и попросите доказательства того, что ваш сервер ответил на свалившийся на него unknown unicast (неужели их там так много?), заспуфив IP адрес отправителя.

          «a8:be:dd:56:e7:15 > cf:40:04:22:32:1f»
          Первый мак ваш?
            0
            В посте все маки и адреса изменены. Но да, то что прислали почтой, в письме был наш MAC. Но как то проверить это с помощью tcpdump у нас не получалось с KVM т к порт был в down. Т е действительно ли приходили пакеты с нашей машины или с какой то другой с тем же mac address не было возможно.
              0
              Ну тогда развернуть с нуля образ «подозрительной» машины, поднять линк и средствами ifconfig проверить, работает ли порт в promiscuous mode. Не запуская tcpdump.
            0
            Вообще-то у них на портах четкие ограничения по MAC-ам, даже когда ставишь виртуалку в режиме бриджа, заказываешь MAC для нее, иначе не работает. Я вообще не пойму как такое могло произойти. Раньше не возможно было юзать виртуалки в режиме бриджа, так как на порт был привязан только один MAC, впоследствии они расширили функционал с добавлением MAC-ов…
            Не верю я в эту писанину. 3+ года у них, 7 серверов, на которых по 2-5 виртуалок. Были проблемы когда ДДосили, они писали письма об этом со статистикой, но чтоб отрубить вот так вот — никогда.
            И потом, такой вопрос: какого хрена письма от хетзнера приходят непосредственно клиенту который в USA а не тех-поддержке (Вам)? Успели бы оперативно среагировать.
            Для Вашего сведения, в панели управления можно отделить технические контакты от платежных, и тогда письма с таким содержанием будете получать Вы, а не клиент. Другими словами, Ваших ошибок тут полон огород.
            Иногда стоит читать о нововведениях, появляется много чего полезного.
              +5
              «Другими словами, Ваших ошибок тут полон огород». Та я так и написал в начале. Да, мы в курсе своих проблем. То что мы не получили предупреждение о проблеме почтой — наша проблема, наш email не был прописан в тот момент. По поводу блокировок MAC — даже если была блокировка мака на порту — и что? Маки то наши… А вот если два мака в сети — эффект будет как раз как у нас… «3+ года у них», — а мы уже более 5ти лет, и есть сетапы со стойками серверов с отдельными switch, прыгающим IP и многим другим, и тоже всё работает как часы. Когда работает — никто не спорит, а вот показывает себя саппорт только тогда, когда возникает реальная проблема. И вообще эта статья это не попытка облить Hetzner грязью, а сделать выводы. Выводы для себя мы сделали, вот делюсь этими выводами с остальными, как бы банально они не звучали: бекапы, быстрый deployment, и правильный экономический расчёт должны иметь место. Хотелось бы надеятся на лучший саппорт, но какой есть такой уж есть. По крайней мере он есть.
            +4
            На месте hetzner я бы просто включил port security и молча дропал посторонние mac/ip на интерфейсе.
              0
              port security не дропает постороние ip. Что бы обеспечить комплексную защиту от спуфинга нужна связка, описанная JDim-ой

              habrahabr.ru/post/160759/#reply
          • НЛО прилетело и опубликовало эту надпись здесь
              0
              Любой датацентр может «неожиданно» отлючить ваш сервер, хотя в вашем случае предупреждали по емейлу, так что это вовсе не «неожиданно». Мне например смски даже приходят. Так что для негодую, думаю, здесь нету повода — можно предпринять действия чтобы не оказаться в такой ситуации в другой раз.
                0
                В процессе общения ещё тогда написал им письмо где чётко указал что без их помощи в данной ситуации нам не разобраться о очень нужен администратор с их стороны. На что был ответ что я с администратором и говорю, а всё что им надо это чтобы мы сами решили проблему и выслали им скан или факс об этом. Возможно у них вообще стоят неуправляемые свитчи так что на вопрос о VLAN ответа тоже не последовало.
                  0
                  Возможно у них вообще стоят неуправляемые свитчи

                  Закономерный вопрос: а каким образом им тогда удалось идентифицировать ваш порт как виновник флуда?
                    +2
                    Так я прямо их и спросил: уверены ли что трафик идёт с нашего VLAN. Прямого ответа на этот вопрос не было.
                      0
                      Раз «you server answers on each requests even for another MAC's» — значит, вы все-таки обитаете в одном VLANе с другими клиентами. Видимо, потому и не ответили, что вопрос не из самых умных.
                        +1
                        (на всякий случай: ни в коем случае не пытаюсь оскорбить, просто констатирую факт, что по мнению поддержки вопрос «вы точно про мой VLAN говорите?», когда ранее они писали «спуфите маки других клиентов», является глупым, ибо один и тот же мак запросто может одновременно светиться в разных VLANах без всяких взаимных пересечений и проблем)
                        0
                        В моем случае они говорили что группа клиентов (и мы в том числе) создаем избыточную нагрузку на сеть (30000 — 45000 пакетов в секунду) и создаем проблемы другим их клиентам, хотя я не понимаю, как на гигабитном линке такое количество пакетов могут создать кому-то проблемы. Нас тоже блокировали несколько раз. И мы тоже не смогли получить ответ.
                        Даже специально просили знакомых из Германии звонить и общаться на родном языке — ничего.

                          0
                          Нужно просто предвидеть возможные проблемы, мониторить оборудование и иметь средства для быстрого восстановления. Ситуация подобно описанной может произойти у любого хостера. Идеального выбора наверно нет.
                          Так что мониторинг и контроль!
                  +4
                  Для продакшен серверов необходим постоянный KVM over IP. Обязательно. А по поводу историии, бывает чо. Молодцы что бэкапы делаете, еще один повод для тех кто ПОКА не делает бэкапы подумать. Можно подумать прям сегодня :)
                    0
                    Да-да. Завёл себе таск в трекере, прям с утра и настрою:-)
                      +4
                      На хабре было десятки тем про бэкап, но каждый раз находятся люди которые только только планируют его сделать.
                        0
                        На предыдущем серваке были, а после переезда всё как-то руки не доходили настроить.
                        +1
                        Бекапы, лучше делать сразу, как голова «проснется». А не «завтра сделаю», «чай допью». Закон подлости, зараза, хватает тебя за горло именно в промежутке между мыслью и началом реализации затеи.
                          +2
                          После этого случая я задумался о том что пора переходить на следующий уровень — не просто делать бекапы, а ещё научится их быстро разворачивать. И бекапы у нас были, как выяснилось не все, а 95%, а это обидно т к 5% отсуствующих данных могут серьёзно усложнить жизнь. Например весь сайт был а SSL сертификат не бекапился, пришлось срочно дёргать заказчика чтобы он забрал с godaddy. Ну хотя бы _почти_ всё заработало. Бекапы надо не просто делать а ещё периодически проверять насколько они работают. В случае же с этим сайтом — посещаемость — 3-5тысяч visits/day, надо было поднимать быстро, а там надо ставить django, mysql, postgresql, celery, redis, exim, настраивать домены и многое другое… В общем сам процесс подъёма из бекапа занял несколько часов, увы, надо похоже инвестировать в deploy scripts.
                            0
                            Я, к примеру, на своем ресурсе организовал репликацию бд, после нескольких шышок. А графические, по мере возможности, перевожу в base64 и храню там же, а остальные храню в локальной папке с dropbox синхронизацией. Хотя, не отрицаю, что данный вид резервного копирования подойдет далеко не всем проектам — но мне пока хватает.
                              0
                              а делать копию корневого раздела не думали?
                              • НЛО прилетело и опубликовало эту надпись здесь
                                  +1
                                  backup — это не просто формальность а ответ на проблему.
                                  Проблема с хостингом — надо иметь backup виртуалки, образ хост машины.
                                  Проблема с сайтом — надо иметь снепшот файлов и базы.

                                  В общем — не надо делать что-то формально, трясти бубном и магические пассы, а немного подумать, разобраться что и почему и сделать как понял и считаешь нужным.
                                  +2
                                  Расскажу быстренько прохладную историю о вовремя проснувшейся голове. Появился у нас один сервер, не очень важный, там, в основном, файлопомойка и терять её не критично, но все равно очень неприятно для пользователей, само собой. Бэкапы там были не настроены.

                                  Приходит вечером домой моя жена, работающая в другой организации и рассказывает, что у них из-за какого-то там выключения электричества (она не тех. специалист — объяснить причины, соответственно, не смогла) пропала вся работа в клиент-серверных программах за полгода.

                                  На что я пробурчал, что вот, мол, админы ваши прошляпили — надо ведь делать бэкапы.

                                  Жена спрашивает:
                                  — А у вас везде настроено это?

                                  И тут я вспоминаю про этот сервачок. На следующий день, когда образовалось немного свободного времени, я установил на него простенькую программку, чтобы она делала бэкапы раз в неделю. Этого более чем достаточно для той информации, что там хранится. Решил поставить на пятницу, в полночь. Здесь у меня, из-за спешки и невнимательности, в голове произошел сбой, — я почему-то посчитал, что пятница, полночь это вечер пятницы. Что, естественно не так :). Так и поставил.

                                  Ну и надо ли рассказывать, что часть данных была утрачена в пятницу днем?

                                  Таким образом, стечение двух обстоятельств:
                                  1. Раздолбайство сисадминов на предприятии супруги
                                  2. Ошибка в определении желаемого времени бэкапа
                                  Позволило сохранить данные :).

                                  PS я не сисадмин :)
                                +3
                                Последнее время это почему-то становиться достаточно дорогим удовольствием, порой в разы превышающем стоимость сервера. Мне этого никогда не понять. У хетзнера 30 баксов вроде стоит, что тоже немало, это половина от стоимости аренды i7 2600 16 Гб… что там за космические технологии. Некоторые ДЦ просят вообще до 100 баксов + установка. Да еще и глючные они часто.
                                Последнее время стараемся брать сервера с ilo kvm, дешевле обходиться, и работает стабильнее.
                                  0
                                  Репутационные потери от даунтайма и невозможности быстро разрешить проблему выше. Если вы организация, то платить лишние даже 100 баксов в месяц не проблема, если хостите включайте в стоимость хостинга. ILO посмотрю, спасибо за информацию.
                                    0
                                    КВМ на каждый сервер может в копеечку вылиться. Да и толку от него в вашей ситуации не много. Больше бы пользы было от дополнительного айпишника.
                                    А вообще, наш ДЦ помню при локах слал сначала предупреждение, потом делал лок и давал ссылку по которой можно было разблокировать сервер и отписаться что проблема решена. Ну понятно, мы сначала отписывались что проблема решена и разблокировали сервер, а потом начинали разбираться. :)
                                    0
                                    у IBM еще очень хорошие KVM — знаю по практике.
                                      0
                                      а у них что за технология?
                                      у меня в стойке 2 IBM'а стоят с отдельным портом, но я так и не понял, каким софтом к ним можно прицепиться — IPMI? или что-то толстое типа iLO?
                                        0
                                        Integrated Lights-Out — механизм управления серверами в условиях отсутствия физического доступа к ним. Применяется фирмой Hewlett Packard для всех своих серверов (кроме серверов 100 серии до марта 2009 года (до G6)).

                                        ru.wikipedia.org/wiki/Integrated_Lights-Out
                                          0
                                          IBM тоже использует iLO? жаль, оба сервера в продакшене, даже посмотреть нельзя
                                            0
                                            iLO это фирменное название у HP. Тоже самое у IBM называется IMM (integrated management module), в старших серверах — FSP, у Dell — iDRAC.
                                              0
                                              спасибо, хоть буду знать.
                                              а не знаете нормальный вариант софта для iDRAC и IMM?
                                                0
                                                Родной от вендора. IBM Systems Director какой-нибудь :) Плюс как минимум там веб-интерфейс есть + обычные ipmi утилиты работают.
                                          0
                                          ниже уже описали — называется IBM IMM Console
                                    0
                                    А хетцнер дает по дефолту не 3 айпишника на один сервер? Если нет, то не лишним будет заранее заказать хотя бы 1 дополнительный, чтобы в случае лока основного ипа, можно было как минимум получить доступ к своему серверу для выяснения ситуации, как максимум перетащить все критично-важные сервисы на второй ип.
                                    Ибо, как показывает практика, техподдержка в таких вопросах очень тугодумчива, а причин для блока может быть много.
                                      +2
                                      или перестать использовать lowend хостеров :D
                                        0
                                        Да я вас умоляю. :) Не замечал существенно разницы в обслуживании при разных ценниках. У нас что за 50 баксов счет, что за 7000 переваливали, отношение было схожим. Как только у тебя какие серьезные проблемы (тот же сильный ддос или абуза какая злая) дц прячет голову в песок. Нам как-то доходиво объяснили, что им проще потерять клиента покупающего каждый мес на 7К, чем пострадает 100 других. или их репутация.
                                          0
                                          дифференцировать клиентов по месячному обороту будет очень плохой практикой, причем те кто так думают — Вы что к своим клиентам также относитесь? В сапорте вообще никакой разницы нет — клиент это клиент, и качество думаю зависит от конкретного случая — можете попасть на гения случайно затесавшегося в сапорт, иной раз попадете в клинический случай лентяйства :)
                                            +1
                                            Саппорт может и не знать, с каким клиентом он работает — платящим 50 баксов или 5000.
                                            Для саппорта клиенты могут быть просто KVM-43/44d/2IP ;)
                                      +2
                                      хетцнер это лоукост, поэтому ставить к ним сложное и ответственное это не очень правильный вариант. любая проблема и с суппортом вы увязнете как в болоте. это лоукост, вы не платите за качественный суппорт и его вам по факту и не предоставляют.

                                      у нас на хецнере несколько серверов уже несколько лет и проблем с ними особых нет, ничего не отключали. мелочи решаются довольно оперативно перепиской с саппортом. размещать у них что-то критичное не стал бы. саппорт тугой и нет постоянного квм в базе (что объяснимо, это же эконом).
                                        –4
                                        а что Вы ожидали за эти деньги?
                                        • НЛО прилетело и опубликовало эту надпись здесь
                                            0
                                            У Hetzner есть система отключения сервера за несоответствуютщий конент, и в том случае действительно даётся 24 часа на разбор полётов, а в дальнейшем, после блокирования сервера для всех, всё же остаётся возможность из панели установить определённый IP адрес и зайти с него, чтобы проблему пофиксить. А в данном случае никаких шансов у нас не было — просто отключили, а потом уже письма стали писать.
                                            +4
                                            У меня пару недель назад отвалился /dev/sda в массиве RAID1, попросил переставить, так они выключили сервер (!) на час (sic!!!) и потом послали письмо, что видите-ли сервер больше не запускается. А как же он может запуститься, если отвалился мастер на первом контроллере. Загрузили меня в rescue mode и сказали самому разбираться. Итого: 4 часа даунтайма из-за несчастного жёсткого диска.
                                              0
                                              Что-то я не очень понимаю о чем речь. В первом рейде все диски равнозначны(к windows с ее софтрейдом не относится).
                                                –1
                                                Какая ещё windows? Linux, RAID программный, а BIOS ищет загрузчик только на одном диске. Вы вообще в курсе, что Hetzner использует материнские платы десктопных компьютеров? Да там аудиокарточки в каждой мамке торчат! см. cat /proc/asound/cards
                                                  +1
                                                  Может вы просто забыли прописать загрузчик на оба диска, в инсталяторе дебиана 6 эта ошибка есть. У меня на обычном десктопе все нормально грузилось при отключении одного из дисков. Винду привел в качестве примера рейда где оба диска не равнозначны.
                                                    0
                                                    Я ничего не прописывал, как получил RAID1 от Hetzner'а, так и пользовался. Но даже если бы загрузчик был на двух дисках, это бы не помогло. Первый-то диск вставили девственный.

                                                    Проблема в том, что я не ожидал, что для замены диска они захотят выключить сервер. Это неслыханный маразм. Даже если SATA контроллер официально не поддерживает hot-swap, линукс позволяет заменять диски на лету.
                                                      0
                                                      Там же грядка десктопных башенных корпусов. Они физически не смогут его вскрыть и заменить диск без выключения. Low-cost, как уже выше упомянули
                                                0
                                                На час — это шикарно — обычно они дольше тупят.
                                                Но тут целиком Ваша вина, Вы перед заменой не прописали загрузчик на SDA.
                                                grub> root (hd0,0) grub> setup (hd0) grub> root (hd1,0) grub> setup (hd1)
                                                И все, птичка в клетке.

                                                Под нагрузкой (а нагрузка на сервера чудовищная) на последних серверах в Хецнере диски больше двух месяцев у нас не живут. Съехали оттуда.

                                                Думаю, через годик ST3000DM001 посыпятся и без нагрузки у всех(у них от производителя-то время работы полгода). Самое время запасаться попкорном — посмотреть на тех кто покупал сервер у лоукоста не зная команды smartctl.
                                                  –1
                                                  Подождите, мне же сервер выключили и sda заменили на новый. Куда что прописывать при выключенном сервере?

                                                    +1
                                                    Вам следовало сделать grub на sdb еще до замены сервера, сразу после установки. Сломался бы у Вас sda, например, сервер ребутнулся и не вышел из перезагрузки — тут уже ни на кого не пожалуешься.

                                                    При выключенном сервере грузитесь в rescue режим, делаете grub-install /dev/sdb (если не получается, то приведенные команды выше). Затем на верочку можете скопировать через dd с sdb на sda первые сектора.

                                                    Действие занимает 5 минут. У Вас 4 часа даунтайма из-за того, что сервера в хецнере стали брать клиенты не до конца готовые к unmanaged серверам на десктопном железе. Они же ругают и звонят в саппорт и саппорт не успевает заниматься реальными задачами ( на 10.000 серверов ночью дежурит 2 техника ).
                                                0
                                                Вообще у хетзнера нормальный саппорт, за 3 года общения стоит там больше 10 полноценных EX машин — очень оперативно решают проблеммы. Один раз они прислали моему менеджеру что про тех работы( естественно на английском или немецком, не помню), мне письмо форварданули, а я ответил что нифига не понял что там написанно. Каковы было мое удивление, когда через полчаса получил ответ на чисторусском языке, что это обычные тех работы и меня они не коснуться( оказывается я в хетзнер ответил, а не менеджеру)!
                                                  +2
                                                  Была недавно практически аналогичная ситуация. Направили на сервер в хетцнер статистику аналогичную GA. Много и резко. Проработала час, после чего сервер отключили от сети. На долгие попытки найти диалог с суппортом получали всякую фигню в ответ, наконец нам сказали что с нашего сервера большая ИСХОДЯЩАЯ атака и он был выключен. Что-то втолковать суппорту невозможно, у них написано в тикете от старших братьев — исходящая атака и все глухи и слепы. И просят почиститься и отправить эту форму на факс. После чего начинают утверждать ту же фигню про левые IP адреса на нашем сервере, приводят какие-то строчки из своего мониторинга и усиленно впаривают платные услуги и опять просят форму на факс. Короче еле отмазались. Сутки даунтайма. Я так понял это просто политика наказания за беспокойство дорогих админов. Короче хетцнер хорош пока все хорошо, но если что случилось — полный неадекват.
                                                    +2
                                                    У Hetzner откровенно неадекватнная поддержка (точнее abuse отдел) в отношении некоторых скользких вопросов. В частности, если кому-то приспичит написать жалобу на ваш сервер в отношении какого-либо контента или неординарного траффика, даже если у вас на сайте просто стоит ссылка (!) на какой-то контент, защищённый копирайтом или считающийся «нелегальным» (abuse отдел обычно считает, что не разрешено абсолютно всё, что «нелегально», без ссылок на конкретные законодательные акты), а вы об этом слыхом не слыхивали или просто хотите разобраться что к чему — это запросто может случить поводом, чтобы вам через 24 часа после единственного оповещения сервер полностью отключили от сети.
                                                    Для сайтов с большим количеством user generated контента, который вы не способны полностью контролировать, их хостинг однозначно не годится.

                                                    Что касается рассматриваемого в топике инцидента, не может ли это быть связано с чьей-то попыткой ARP спуфинга, с целью перехвата траффика?
                                                      0
                                                      Это у всех немецких ДЦ так, и чуть ли не у всех европейских. По их законам ссылки на пиратские ресурсы запрещены всем, кроме Google.
                                                        0
                                                        Хорошо бы воочию увидеть эти законы…
                                                          0
                                                          Законы про запрет ссылаться на пиратские mp3, и даже на youtube? Просто на любом своём сервере в ДЦ германии или европы сделай например свой тематический поисковик, или форум с ссылками на mp3/video/, и увидишь как его закроют через пару месяцев (если он станет известным).
                                                          В Англии в 2007-8 даже одного вебмастера судили за поисковик по сериалам на основе… youtube.
                                                            0
                                                            Я всё понимаю про практику, но хотелось бы увидеть те самые законодательные акты или конкретные дела.
                                                      0
                                                      Тоже пользуюсь хетзнер. Мой сервер (а точнее айпи) блокировали из-за того что на него шел сильный ддос. Благо на сервере было несколько айпи и поэтому доступ к нему был. Собственно айпи разблокировали, когда ддос прекратился.
                                                      В целом пользуюсь хетзнер уже года три и подобные проблемы были там ну очень редко.
                                                        +1
                                                        Кстати, если им не нравятся чужие маки на интерфейсе, возможно, что-то пробивается через бридж?
                                                          0
                                                          У меня была точно такая же ситуация, отключили сервер за то что я якобы подменял чейто ip.
                                                          Два дня бесполезного общения с техподдержкой, которая отвечает как минимум раз в час ни к чему не привела. В итоге сошлись на том что они полностью отформатируют сервер.

                                                          Dear Client,
                                                          we can't unblock the server until the problem is solved, we can offer you to
                                                          reinstall the OS for you. Please confirm the full data loss and tell us which
                                                          (standard)OS you want us to install.
                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                              0
                                                              Именно этот. Они для виртуальных машин сами выдают MAC-адреса. Хелп надо читать.
                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                  +2
                                                                  А зачем вообще делать бридж? Стандартная-то да, но всегда нерекомендуемая. Ошибки в конфигурации могут иметь печальные последствия для всего сегмента.
                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                      0
                                                                      Ну в двух словах.
                                                                      Отказоустойчивость? Есть бондинг.
                                                                      Выполнять обработки с проходящим мимо трафиком? Есть роутинг.
                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                          0
                                                                          А что-то мешает просто создать еще один виртуальный интерфейс и назначить ему этот самый «Выделенный внешний айпи для виртуалки»? Со всех сторон более правильное решение.
                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                              0
                                                                              Я говорю с позиции человека, знакомого и с общей архитектурой виртуализации, и с конкретными гипервизорами от hyper-v до ESX.
                                                                              Так что скорее всего это вы понятия не имеете, как делать можно и как — нельзя, и реализуете ущербную от рождения архитектуру.
                                                                              «Ну поставьте proxmox например» — если этот гипервизор ущербен, может, стоит попробовать другой? И «попробуй сам» — не аргумент, а попытка уйти от ответа на простой вопрос, а именно — «зачем делать бридж для назначения виртуалке внешнего адреса?».
                                                                              Или под бриджем понимается встроенный в хост виртуальный свитч? Но это ведь вовсе не бридж. И у него не должно быть своего мака. А конечные виртуальные машины все равно будут иметь по одному интерфейсу.
                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                  0
                                                                                  А кто-то заставляет вас использовать генту? Нельзя поставить нормальный гипервизор, или на крайняк воткнуть в XEN Open vSwitch?
                                                                                  Скажу по секрету: вообще-то обычно виртуальный свитч в гипервизоре вовсе не должен светить своим маком. Да и бриджу, строго говоря, это не обязательно. Они должны быть совершенно прозрачны на L2. Если на опенсорсе применяется корявое решение — претензии к этому опенсорсу.
                                                                                  Management доступ к хосту надо организовывать через интерфейс, отличный от того, через который работают виртуалки. И уж конечно на гипервизоре не должно быть ничего кроме виртуалок, никаких других продуктивных задач.

                                                                                  Делайте все по-человечески, и проблем не будет.
                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                      +1
                                                                                      Бридж — это поместить виртуалку в один сегмент с гипервизором наравне.

                                                                                      Неверно. Гипервизор не обязан иметь L3 интерфейс в любом из сегментов с виртуалками. Напротив, это не рекомендуется делать — так как интерфейс гипервизора нужен лишь для management целей, и неправильно мешать его с реальными данными в одном виртуальном сегменте. В идеале порт гипервизора должен висеть на одном комплекте физических интерфейсов, а виртуалки — на другом. Т.е. на гипервизоре есть виртуальный свитч, к которому сам гипервизор не имеет подключения.
                                                                                      Тот же форвард на юниксе настраивается через совершенно дикие скрипты.

                                                                                      Роутинг на юниксе сложно настроить? Мне казалось, это — одна строчка в конфиге и пара маршрутов (по желанию добавить правила IPTABLES), ну да ладно :)
                                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                                          +1
                                                                                          VmWare WorkStation, Oracle VirtualBox, Citrix XenServer получаются ущербные стало быть по вашему.

                                                                                          Сравнивая с тем же ESX и даже Hyper-v: а разве они не ущербны, не отстают от них по возможностям на многие годы?
                                                                                          можно узнать кем «не рекомендуется»

                                                                                          Ну даже не знаю… Рекомендациями вендоров? Здравым смыслом?
                                                                                          Вы хоть раз слышали о том, чтобы нормальным считалось объединение management-only с боевыми интерфейсами в одной сущности?
                                                                                          Считайте интерфейс гипервизора чем-то вроде IP-KVM. Есть ли логика в объединении его на одном порту с реальными данными?

                                                                                          Вы привыкли делать виртуализацию «тяп-ляп» в обход здравого смысла. Не возражаю. Но не надо считать такую архитектуру правильной.
                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                              0
                                                                                              У меня стоит гипервизор за 600 USD в мес с гигабитом трафика на ProxMox.

                                                                                              Целый один гипервизор? Здорово. У нас сотни, причем каждый имеет чуть лучшие ТТХ :)
                                                                                              И работает, представьте не падает.

                                                                                              Когда дорастете до серьезных внедрений — поймете, что опенсорс без радикального перепиливания (т.е. нужен штат разработчиков) под такое просто-напросто не годится. А с перепиливанием стоимость будет такая, что полный переход на vSphere покажется выгодным.
                                                                                              «Не падает»? На сколь угодно кошмарное и ненадежное решение найдется человек, у которого оно работает годами без проблем.
                                                                                              У ваших заказчиков денег много?

                                                                                              Мы сами заказчики — сами закупаем оборудование, сами закупаем софт и ставим их на своих площадках.
                                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                  0
                                                                                                  Вы сначала дорастите до нужных масштабов, тогда и поймете, что такие вопросы бессмысленны. Это как говорить «у тебя этажный коммутатор стоит $100000? А я накупил десяток неуправляемых d-link'ов, каждый по 1000р., общий бюджет 10000р!».

                                                                                                  (да, у нас некоторые пользовательские свитчи уровня доступа действительно стоят $100k)
                                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                0
                                                                                                от чего ваш здравый смысл говорит «фи» на бридж?

                                                                                                Вы так и не поняли.
                                                                                                Мое «фи» относится к подключению гипервизора к виртуальному свитчу (в хомячковых реализациях зовется бриджем). Если не подключать, то в физическую сеть будут вещаться только маки виртуальных машин. Со всех точек зрения это правильнее.
                                                                                                Ну разве что ARP штормом может нагадить

                                                                                                При правильной настройке сети нельзя. Вы запустите шторм — и он будет гаситься на уровне вашего порта, причем даже не придется отключать этот порт и прерывать хождение других данных.
                                                                                                Но у меня на виртуалках, демилитаризованная зона, например.

                                                                                                И у меня тоже. И что?
                                                                                                Но вы что, высунули интерфейс гипервизора в тот же сегмент? И считаете это чем-то кроме глупости?
                                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                    0
                                                                                                    В чем заключается глупость? Высунул. Дальше что?

                                                                                                    Да ничего — кроме того, что, во-первых, снижена надежность (как внутренний глюк бриджа и следующая за этим потеря связи с хостом, так и банальное блокирование порта хостером с теми же последствиями — да и что там упоминалось про засвечивание мака бриджа на физическом коммутаторе и следующие за этим проблемы?), а также повышен риск безопасности (сложнее изолировать хост от виртуальных машин на уровне транспорта). Именно поэтому когда-то давно умные люди пришли к выводу, что management и data смешивать не стоит, но эта информация еще не до всех дошла :)

                                                                                                    vSphere упоминался в качестве решения, по сравнению с которым остальное действительно выглядит ущербным. Другой вопрос, что вам может не требоваться его функционал.

                                                                                                    Тем более что, вообще говоря, есть бесплатный VMWare ESXi ;)
                                                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                        0
                                                                                                        ESXi есть бесплатный, но

                                                                                                        а) ограниченный по фнкционалу
                                                                                                        б) проприетарный

                                                                                                        a) Сами говорите «мне не нужен весь функционал VSphere. Даже пятая часть от него.»
                                                                                                        б) ITшник, судорожно гуглящий в процессе решения инцидента — это кошмар на грани профнепригодности. Хотя если у вас по SLA вполне допустимы даунтаймы в несколько часов/дней — почему нет? Но что если гугл не помог? Будете полную переустановку затевать, откатываться на старые бекапы? :)
                                                                                                        Правильное решение — как раз завести высокоприоритетный кейс вендору. Это и быстрее, и надежнее. Хотя никто не мешает в процессе работы инженеров поддержки и погуглить.

                                                                                                        Отсутствие поддержки вендора в случае опенсорсных гипервизоров — абсолютный стоп-фактор и для нас, и для большинства других компаний, которым все-таки важна надежность. Вам она не важна, потому для вас и допустим первичный метод устранения аварии «гугл».
                                                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                              0
                                                                                                              А по вашему, человек, неспособный без гугла применить рабочий воркараунд и затем запросить у вендора корректное решение, годится для работы в IT?

                                                                                                              В моей зоне ответственности было несколько аварий, связанных с явным багом в ПО. В части случаев через несколько минут после обнаружения проблемы деградация качества связи устранялась рабочим воркараундом. В остальных случаях, когда влияние на инфраструктуру было несущественное, любые шаманства прекращались до вмешательства сотрудников TAC, которые обладают куда более мощными инструментами для поиска причин проблемы, и, соответственно, с большей вероятностью идентифицируют баг и предложат решение, позволяющее избежать его повторения, а затем и пофиксят баг.

                                                                                                              Но а если человек не обладает достаточной квалификацией, чтобы устранить аварию, не сделав только хуже по советам с форумов — стоит сходу завести кейс и ничего не трогать.
                                                                                                          +1
                                                                                                          ESXi прекрасен.

                                                                                                          Например тем, что не поддерживаются сервера с разумным количеством памяти на хосте (более 32G, если правильно помню), что сейчас выглядит просто смешно.

                                                                                                          И клиент для управления этим самым ESX/ESXi работает только под win.

                                                                                                          Ещё особо не ущербно в ESX выглядит scsi диски, воткнутые в виртуалки. Как сделаешь fsync на заммапленном файле 1Тб размером… После особо и до хоста уже не достучишься.
                                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                              0
                                                                                              Мне нравится реакция, имхо, как нельзя лучше олицетворяет человека, на фразу от инженера-сетевика «Я говорю с позиции человека, знакомого и с общей архитектурой виртуализации, и с конкретными гипервизорами от hyper-v до ESX.» выдавать «А… виндузятник.» :)
                                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                  0
                                                                                                  Стоит задача — несколько виртуалок и базовая миграция на лету. Можно обойтись парочкой проксмоксов и нфс шарой.

                                                                                                  Угу.
                                                                                                  А дальше хостер кладет единственный порт — и жопа. И сервисы недоступны, и данные не вытащить, только KVM есть. И я часами распинаюсь, как это предотвратить, но без толку.
                                                                                                  насколько рулит Hyper-V и виндос датацентр едишн

                                                                                                  Какой еще «виндос датацентр едишн»? Вы не в курсе, что hyper-v бесплатен, и фактически не имеет ограничений по памяти и ядрам?
                                                                                                  просит бюджет в 300к, чуть ли не целую стойку

                                                                                                  Поразительно, но количество занимаемого железом места грубо пропорционально требованиям к ресурсам :)
                                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                      +1
                                                                                                      Дело не в датацентр едишн. А в том, что топикстартер рассказывает за сервак у хецнера (а это очень дешевый хостер), а вы тут по дорогущие проприетарные решения втираете.

                                                                                                      А сколько стоит hyper-v?
                                                                                                      И сколько стоит физически отделить управляющий трафик от трафика данных на XEN, чтобы снова не оказаться в такой ситуации?
                                                                                                      Ошиблись топиком. Роспил это не здесь.

                                                                                                      Ну да, ну да. Рядовой инженер, участвующий в распиле, это забавно, и не менее забавен подход «тот, кто пользуется качественными решениями, а не собранными на коленке, обязательно что-то пилит».

                                                                                                      Ну в принципе на заре своей карьеры я тоже руководствовался подходом «брать что подешевле». А потом понял, что этот принцип не работает.
                                                                                                        0
                                                                                                        Раз работаете в большой компании у которой есть деньги — значит верняк где-то кто-то пилит! Не вы, так компания ваша, иначе откуда деньги на железо и дорогущий бесполезный софт?
                                                                                                          0
                                                                                                          В принципе, логично. Да вообще, любой человек, имеющий смартфон (в первую очередь айфон), тоже где-то попиливает, иначе зачем и на какие шиши он купил такой дорогущий бесполезный телефон, в то время как в магазинах до сих пор продается нокия 1100 с фонариком? По ней тоже можно звонить. С нее тоже можно отправлять СМСки. На ней тоже можно играть в игрушки. Что еще надо от телефона?
                                                                                                            0
                                                                                                            Следуя такой логике, некоторые выводят очень интересные откровения. Типа того, что вся часть экономики, что существует за счёт госзаказа (а это где-то 50%) — попил бюджета, без исключения; а остальная — основана на попиле нефтяных денег. А так как попильщикам деньги нужно тратить, то образуется «паразитарная» часть попильной экономики — всякие бутики брильянтов, салоны для собак и тому подобные фитнесы :) Ну и естественно, софтверные и железные энтерпрайз решения играют во всем этом не последнюю роль, ибо штука непонятная, а значит откатоёмкая.
                                                                                                              0
                                                                                                              Ээээ… Прошу прощения, что не в тему, но где там нокия 1100/1110 продаётся? я бы прикупил :)
                                                                                                              //ой боже, это же был конец аж 12-ого года. Гугл до добра не доводит, особенно если на даты не смотреть :)
                                                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                              0
                                                                              3 года арендую там сервак через посредника, несколько раз приходили абузы на спам, при этом давали время на решение проблемы не отключая сервак, если не получалось самому решить проблему, писал в поддержку посредника, хоть у них это считается платной услугой, всегда выручали за спасибо и все вопросы с hetzner разруливали сами, тем не менее согласен с автором в выводах, «всегда надо быть готовым ко всему...»
                                                                                0
                                                                                Возможно проблема в виртуалке, у них на один порт должен быть один мак
                                                                                  0
                                                                                  так у нас и так на один порт один мак адрес и один реальный IP. Чё то подозреваю что кто то в том же VLAN занимался spoof, поставили наш mac адрес, а Hetzner не разбираясь нас отрубили. Меня в этой всей ситуции целиком вывело из себя не то, что отключили не разобравшись, а то, что не смогли разобраться и включить кого надо. В результате несколько дней сервер был без сети а мы восстанавливались на бекапе.

                                                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                Самое читаемое