Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 114
А на самом деле бред какой-то. IP Source Guard плюс DAI плюс port-security (с вручную сконфигурированным sticky маком) — и пусть клиент хоть обпосылается левыми пакетами, все равно они будут дропаться на его порту. Собственно, я вообще не понимаю, как можно предоставлять хостинговые услуги, не задействовав данный функционал. Это если хватило мозгов селить несколько клиентов в один VLAN, что тоже, мягко говоря, странно.
" it seems that you server answers on each requests even for another MAC's"
Кстати — легко проверить. Посмотрите, работает ли сетевая карта в promiscuous mode.
Ну и попросите доказательства того, что ваш сервер ответил на свалившийся на него unknown unicast (неужели их там так много?), заспуфив IP адрес отправителя.
«a8:be:dd:56:e7:15 > cf:40:04:22:32:1f»
Первый мак ваш?
Кстати — легко проверить. Посмотрите, работает ли сетевая карта в promiscuous mode.
Ну и попросите доказательства того, что ваш сервер ответил на свалившийся на него unknown unicast (неужели их там так много?), заспуфив IP адрес отправителя.
«a8:be:dd:56:e7:15 > cf:40:04:22:32:1f»
Первый мак ваш?
Вообще-то у них на портах четкие ограничения по MAC-ам, даже когда ставишь виртуалку в режиме бриджа, заказываешь MAC для нее, иначе не работает. Я вообще не пойму как такое могло произойти. Раньше не возможно было юзать виртуалки в режиме бриджа, так как на порт был привязан только один MAC, впоследствии они расширили функционал с добавлением MAC-ов…
Не верю я в эту писанину. 3+ года у них, 7 серверов, на которых по 2-5 виртуалок. Были проблемы когда ДДосили, они писали письма об этом со статистикой, но чтоб отрубить вот так вот — никогда.
И потом, такой вопрос: какого хрена письма от хетзнера приходят непосредственно клиенту который в USA а не тех-поддержке (Вам)? Успели бы оперативно среагировать.
Для Вашего сведения, в панели управления можно отделить технические контакты от платежных, и тогда письма с таким содержанием будете получать Вы, а не клиент. Другими словами, Ваших ошибок тут полон огород.
Иногда стоит читать о нововведениях, появляется много чего полезного.
Не верю я в эту писанину. 3+ года у них, 7 серверов, на которых по 2-5 виртуалок. Были проблемы когда ДДосили, они писали письма об этом со статистикой, но чтоб отрубить вот так вот — никогда.
И потом, такой вопрос: какого хрена письма от хетзнера приходят непосредственно клиенту который в USA а не тех-поддержке (Вам)? Успели бы оперативно среагировать.
Для Вашего сведения, в панели управления можно отделить технические контакты от платежных, и тогда письма с таким содержанием будете получать Вы, а не клиент. Другими словами, Ваших ошибок тут полон огород.
Иногда стоит читать о нововведениях, появляется много чего полезного.
«Другими словами, Ваших ошибок тут полон огород». Та я так и написал в начале. Да, мы в курсе своих проблем. То что мы не получили предупреждение о проблеме почтой — наша проблема, наш email не был прописан в тот момент. По поводу блокировок MAC — даже если была блокировка мака на порту — и что? Маки то наши… А вот если два мака в сети — эффект будет как раз как у нас… «3+ года у них», — а мы уже более 5ти лет, и есть сетапы со стойками серверов с отдельными switch, прыгающим IP и многим другим, и тоже всё работает как часы. Когда работает — никто не спорит, а вот показывает себя саппорт только тогда, когда возникает реальная проблема. И вообще эта статья это не попытка облить Hetzner грязью, а сделать выводы. Выводы для себя мы сделали, вот делюсь этими выводами с остальными, как бы банально они не звучали: бекапы, быстрый deployment, и правильный экономический расчёт должны иметь место. Хотелось бы надеятся на лучший саппорт, но какой есть такой уж есть. По крайней мере он есть.
На месте hetzner я бы просто включил port security и молча дропал посторонние mac/ip на интерфейсе.
port security не дропает постороние ip. Что бы обеспечить комплексную защиту от спуфинга нужна связка, описанная JDim-ой
habrahabr.ru/post/160759/#reply
habrahabr.ru/post/160759/#reply
Любой датацентр может «неожиданно» отлючить ваш сервер, хотя в вашем случае предупреждали по емейлу, так что это вовсе не «неожиданно». Мне например смски даже приходят. Так что для негодую, думаю, здесь нету повода — можно предпринять действия чтобы не оказаться в такой ситуации в другой раз.
В процессе общения ещё тогда написал им письмо где чётко указал что без их помощи в данной ситуации нам не разобраться о очень нужен администратор с их стороны. На что был ответ что я с администратором и говорю, а всё что им надо это чтобы мы сами решили проблему и выслали им скан или факс об этом. Возможно у них вообще стоят неуправляемые свитчи так что на вопрос о VLAN ответа тоже не последовало.
Возможно у них вообще стоят неуправляемые свитчи
Закономерный вопрос: а каким образом им тогда удалось идентифицировать ваш порт как виновник флуда?
Так я прямо их и спросил: уверены ли что трафик идёт с нашего VLAN. Прямого ответа на этот вопрос не было.
Раз «you server answers on each requests even for another MAC's» — значит, вы все-таки обитаете в одном VLANе с другими клиентами. Видимо, потому и не ответили, что вопрос не из самых умных.
(на всякий случай: ни в коем случае не пытаюсь оскорбить, просто констатирую факт, что по мнению поддержки вопрос «вы точно про мой VLAN говорите?», когда ранее они писали «спуфите маки других клиентов», является глупым, ибо один и тот же мак запросто может одновременно светиться в разных VLANах без всяких взаимных пересечений и проблем)
В моем случае они говорили что группа клиентов (и мы в том числе) создаем избыточную нагрузку на сеть (30000 — 45000 пакетов в секунду) и создаем проблемы другим их клиентам, хотя я не понимаю, как на гигабитном линке такое количество пакетов могут создать кому-то проблемы. Нас тоже блокировали несколько раз. И мы тоже не смогли получить ответ.
Даже специально просили знакомых из Германии звонить и общаться на родном языке — ничего.
Даже специально просили знакомых из Германии звонить и общаться на родном языке — ничего.
Для продакшен серверов необходим постоянный KVM over IP. Обязательно. А по поводу историии, бывает чо. Молодцы что бэкапы делаете, еще один повод для тех кто ПОКА не делает бэкапы подумать. Можно подумать прям сегодня :)
Да-да. Завёл себе таск в трекере, прям с утра и настрою:-)
На хабре было десятки тем про бэкап, но каждый раз находятся люди которые только только планируют его сделать.
Бекапы, лучше делать сразу, как голова «проснется». А не «завтра сделаю», «чай допью». Закон подлости, зараза, хватает тебя за горло именно в промежутке между мыслью и началом реализации затеи.
После этого случая я задумался о том что пора переходить на следующий уровень — не просто делать бекапы, а ещё научится их быстро разворачивать. И бекапы у нас были, как выяснилось не все, а 95%, а это обидно т к 5% отсуствующих данных могут серьёзно усложнить жизнь. Например весь сайт был а SSL сертификат не бекапился, пришлось срочно дёргать заказчика чтобы он забрал с godaddy. Ну хотя бы _почти_ всё заработало. Бекапы надо не просто делать а ещё периодически проверять насколько они работают. В случае же с этим сайтом — посещаемость — 3-5тысяч visits/day, надо было поднимать быстро, а там надо ставить django, mysql, postgresql, celery, redis, exim, настраивать домены и многое другое… В общем сам процесс подъёма из бекапа занял несколько часов, увы, надо похоже инвестировать в deploy scripts.
Я, к примеру, на своем ресурсе организовал репликацию бд, после нескольких шышок. А графические, по мере возможности, перевожу в base64 и храню там же, а остальные храню в локальной папке с dropbox синхронизацией. Хотя, не отрицаю, что данный вид резервного копирования подойдет далеко не всем проектам — но мне пока хватает.
а делать копию корневого раздела не думали?
backup — это не просто формальность а ответ на проблему.
Проблема с хостингом — надо иметь backup виртуалки, образ хост машины.
Проблема с сайтом — надо иметь снепшот файлов и базы.
В общем — не надо делать что-то формально, трясти бубном и магические пассы, а немного подумать, разобраться что и почему и сделать как понял и считаешь нужным.
Проблема с хостингом — надо иметь backup виртуалки, образ хост машины.
Проблема с сайтом — надо иметь снепшот файлов и базы.
В общем — не надо делать что-то формально, трясти бубном и магические пассы, а немного подумать, разобраться что и почему и сделать как понял и считаешь нужным.
Расскажу быстренько прохладную историю о вовремя проснувшейся голове. Появился у нас один сервер, не очень важный, там, в основном, файлопомойка и терять её не критично, но все равно очень неприятно для пользователей, само собой. Бэкапы там были не настроены.
Приходит вечером домой моя жена, работающая в другой организации и рассказывает, что у них из-за какого-то там выключения электричества (она не тех. специалист — объяснить причины, соответственно, не смогла) пропала вся работа в клиент-серверных программах за полгода.
На что я пробурчал, что вот, мол, админы ваши прошляпили — надо ведь делать бэкапы.
Жена спрашивает:
— А у вас везде настроено это?
И тут я вспоминаю про этот сервачок. На следующий день, когда образовалось немного свободного времени, я установил на него простенькую программку, чтобы она делала бэкапы раз в неделю. Этого более чем достаточно для той информации, что там хранится. Решил поставить на пятницу, в полночь. Здесь у меня, из-за спешки и невнимательности, в голове произошел сбой, — я почему-то посчитал, что пятница, полночь это вечер пятницы. Что, естественно не так :). Так и поставил.
Ну и надо ли рассказывать, что часть данных была утрачена в пятницу днем?
Таким образом, стечение двух обстоятельств:
1. Раздолбайство сисадминов на предприятии супруги
2. Ошибка в определении желаемого времени бэкапа
Позволило сохранить данные :).
PS я не сисадмин :)
Приходит вечером домой моя жена, работающая в другой организации и рассказывает, что у них из-за какого-то там выключения электричества (она не тех. специалист — объяснить причины, соответственно, не смогла) пропала вся работа в клиент-серверных программах за полгода.
На что я пробурчал, что вот, мол, админы ваши прошляпили — надо ведь делать бэкапы.
Жена спрашивает:
— А у вас везде настроено это?
И тут я вспоминаю про этот сервачок. На следующий день, когда образовалось немного свободного времени, я установил на него простенькую программку, чтобы она делала бэкапы раз в неделю. Этого более чем достаточно для той информации, что там хранится. Решил поставить на пятницу, в полночь. Здесь у меня, из-за спешки и невнимательности, в голове произошел сбой, — я почему-то посчитал, что пятница, полночь это вечер пятницы. Что, естественно не так :). Так и поставил.
Ну и надо ли рассказывать, что часть данных была утрачена в пятницу днем?
Таким образом, стечение двух обстоятельств:
1. Раздолбайство сисадминов на предприятии супруги
2. Ошибка в определении желаемого времени бэкапа
Позволило сохранить данные :).
PS я не сисадмин :)
Последнее время это почему-то становиться достаточно дорогим удовольствием, порой в разы превышающем стоимость сервера. Мне этого никогда не понять. У хетзнера 30 баксов вроде стоит, что тоже немало, это половина от стоимости аренды i7 2600 16 Гб… что там за космические технологии. Некоторые ДЦ просят вообще до 100 баксов + установка. Да еще и глючные они часто.
Последнее время стараемся брать сервера с ilo kvm, дешевле обходиться, и работает стабильнее.
Последнее время стараемся брать сервера с ilo kvm, дешевле обходиться, и работает стабильнее.
Репутационные потери от даунтайма и невозможности быстро разрешить проблему выше. Если вы организация, то платить лишние даже 100 баксов в месяц не проблема, если хостите включайте в стоимость хостинга. ILO посмотрю, спасибо за информацию.
КВМ на каждый сервер может в копеечку вылиться. Да и толку от него в вашей ситуации не много. Больше бы пользы было от дополнительного айпишника.
А вообще, наш ДЦ помню при локах слал сначала предупреждение, потом делал лок и давал ссылку по которой можно было разблокировать сервер и отписаться что проблема решена. Ну понятно, мы сначала отписывались что проблема решена и разблокировали сервер, а потом начинали разбираться. :)
А вообще, наш ДЦ помню при локах слал сначала предупреждение, потом делал лок и давал ссылку по которой можно было разблокировать сервер и отписаться что проблема решена. Ну понятно, мы сначала отписывались что проблема решена и разблокировали сервер, а потом начинали разбираться. :)
у IBM еще очень хорошие KVM — знаю по практике.
а у них что за технология?
у меня в стойке 2 IBM'а стоят с отдельным портом, но я так и не понял, каким софтом к ним можно прицепиться — IPMI? или что-то толстое типа iLO?
у меня в стойке 2 IBM'а стоят с отдельным портом, но я так и не понял, каким софтом к ним можно прицепиться — IPMI? или что-то толстое типа iLO?
Integrated Lights-Out — механизм управления серверами в условиях отсутствия физического доступа к ним. Применяется фирмой Hewlett Packard для всех своих серверов (кроме серверов 100 серии до марта 2009 года (до G6)).
ru.wikipedia.org/wiki/Integrated_Lights-Out
ru.wikipedia.org/wiki/Integrated_Lights-Out
ниже уже описали — называется IBM IMM Console
А хетцнер дает по дефолту не 3 айпишника на один сервер? Если нет, то не лишним будет заранее заказать хотя бы 1 дополнительный, чтобы в случае лока основного ипа, можно было как минимум получить доступ к своему серверу для выяснения ситуации, как максимум перетащить все критично-важные сервисы на второй ип.
Ибо, как показывает практика, техподдержка в таких вопросах очень тугодумчива, а причин для блока может быть много.
Ибо, как показывает практика, техподдержка в таких вопросах очень тугодумчива, а причин для блока может быть много.
или перестать использовать lowend хостеров :D
Да я вас умоляю. :) Не замечал существенно разницы в обслуживании при разных ценниках. У нас что за 50 баксов счет, что за 7000 переваливали, отношение было схожим. Как только у тебя какие серьезные проблемы (тот же сильный ддос или абуза какая злая) дц прячет голову в песок. Нам как-то доходиво объяснили, что им проще потерять клиента покупающего каждый мес на 7К, чем пострадает 100 других. или их репутация.
дифференцировать клиентов по месячному обороту будет очень плохой практикой, причем те кто так думают — Вы что к своим клиентам также относитесь? В сапорте вообще никакой разницы нет — клиент это клиент, и качество думаю зависит от конкретного случая — можете попасть на гения случайно затесавшегося в сапорт, иной раз попадете в клинический случай лентяйства :)
хетцнер это лоукост, поэтому ставить к ним сложное и ответственное это не очень правильный вариант. любая проблема и с суппортом вы увязнете как в болоте. это лоукост, вы не платите за качественный суппорт и его вам по факту и не предоставляют.
у нас на хецнере несколько серверов уже несколько лет и проблем с ними особых нет, ничего не отключали. мелочи решаются довольно оперативно перепиской с саппортом. размещать у них что-то критичное не стал бы. саппорт тугой и нет постоянного квм в базе (что объяснимо, это же эконом).
у нас на хецнере несколько серверов уже несколько лет и проблем с ними особых нет, ничего не отключали. мелочи решаются довольно оперативно перепиской с саппортом. размещать у них что-то критичное не стал бы. саппорт тугой и нет постоянного квм в базе (что объяснимо, это же эконом).
У Hetzner есть система отключения сервера за несоответствуютщий конент, и в том случае действительно даётся 24 часа на разбор полётов, а в дальнейшем, после блокирования сервера для всех, всё же остаётся возможность из панели установить определённый IP адрес и зайти с него, чтобы проблему пофиксить. А в данном случае никаких шансов у нас не было — просто отключили, а потом уже письма стали писать.
Что-то я не очень понимаю о чем речь. В первом рейде все диски равнозначны(к windows с ее софтрейдом не относится).
На час — это шикарно — обычно они дольше тупят.
Но тут целиком Ваша вина, Вы перед заменой не прописали загрузчик на SDA.
И все, птичка в клетке.
Под нагрузкой (а нагрузка на сервера чудовищная) на последних серверах в Хецнере диски больше двух месяцев у нас не живут. Съехали оттуда.
Думаю, через годик ST3000DM001 посыпятся и без нагрузки у всех(у них от производителя-то время работы полгода). Самое время запасаться попкорном — посмотреть на тех кто покупал сервер у лоукоста не зная команды smartctl.
Но тут целиком Ваша вина, Вы перед заменой не прописали загрузчик на SDA.
grub> root (hd0,0)
grub> setup (hd0)
grub> root (hd1,0)
grub> setup (hd1)И все, птичка в клетке.
Под нагрузкой (а нагрузка на сервера чудовищная) на последних серверах в Хецнере диски больше двух месяцев у нас не живут. Съехали оттуда.
Думаю, через годик ST3000DM001 посыпятся и без нагрузки у всех(у них от производителя-то время работы полгода). Самое время запасаться попкорном — посмотреть на тех кто покупал сервер у лоукоста не зная команды smartctl.
Вам следовало сделать grub на sdb еще до замены сервера, сразу после установки. Сломался бы у Вас sda, например, сервер ребутнулся и не вышел из перезагрузки — тут уже ни на кого не пожалуешься.
При выключенном сервере грузитесь в rescue режим, делаете grub-install /dev/sdb (если не получается, то приведенные команды выше). Затем на верочку можете скопировать через dd с sdb на sda первые сектора.
Действие занимает 5 минут. У Вас 4 часа даунтайма из-за того, что сервера в хецнере стали брать клиенты не до конца готовые к unmanaged серверам на десктопном железе. Они же ругают и звонят в саппорт и саппорт не успевает заниматься реальными задачами ( на 10.000 серверов ночью дежурит 2 техника ).
При выключенном сервере грузитесь в rescue режим, делаете grub-install /dev/sdb (если не получается, то приведенные команды выше). Затем на верочку можете скопировать через dd с sdb на sda первые сектора.
Действие занимает 5 минут. У Вас 4 часа даунтайма из-за того, что сервера в хецнере стали брать клиенты не до конца готовые к unmanaged серверам на десктопном железе. Они же ругают и звонят в саппорт и саппорт не успевает заниматься реальными задачами ( на 10.000 серверов ночью дежурит 2 техника ).
Вообще у хетзнера нормальный саппорт, за 3 года общения стоит там больше 10 полноценных EX машин — очень оперативно решают проблеммы. Один раз они прислали моему менеджеру что про тех работы( естественно на английском или немецком, не помню), мне письмо форварданули, а я ответил что нифига не понял что там написанно. Каковы было мое удивление, когда через полчаса получил ответ на чисторусском языке, что это обычные тех работы и меня они не коснуться( оказывается я в хетзнер ответил, а не менеджеру)!
Была недавно практически аналогичная ситуация. Направили на сервер в хетцнер статистику аналогичную GA. Много и резко. Проработала час, после чего сервер отключили от сети. На долгие попытки найти диалог с суппортом получали всякую фигню в ответ, наконец нам сказали что с нашего сервера большая ИСХОДЯЩАЯ атака и он был выключен. Что-то втолковать суппорту невозможно, у них написано в тикете от старших братьев — исходящая атака и все глухи и слепы. И просят почиститься и отправить эту форму на факс. После чего начинают утверждать ту же фигню про левые IP адреса на нашем сервере, приводят какие-то строчки из своего мониторинга и усиленно впаривают платные услуги и опять просят форму на факс. Короче еле отмазались. Сутки даунтайма. Я так понял это просто политика наказания за беспокойство дорогих админов. Короче хетцнер хорош пока все хорошо, но если что случилось — полный неадекват.
У Hetzner откровенно неадекватнная поддержка (точнее abuse отдел) в отношении некоторых скользких вопросов. В частности, если кому-то приспичит написать жалобу на ваш сервер в отношении какого-либо контента или неординарного траффика, даже если у вас на сайте просто стоит ссылка (!) на какой-то контент, защищённый копирайтом или считающийся «нелегальным» (abuse отдел обычно считает, что не разрешено абсолютно всё, что «нелегально», без ссылок на конкретные законодательные акты), а вы об этом слыхом не слыхивали или просто хотите разобраться что к чему — это запросто может случить поводом, чтобы вам через 24 часа после единственного оповещения сервер полностью отключили от сети.
Для сайтов с большим количеством user generated контента, который вы не способны полностью контролировать, их хостинг однозначно не годится.
Что касается рассматриваемого в топике инцидента, не может ли это быть связано с чьей-то попыткой ARP спуфинга, с целью перехвата траффика?
Для сайтов с большим количеством user generated контента, который вы не способны полностью контролировать, их хостинг однозначно не годится.
Что касается рассматриваемого в топике инцидента, не может ли это быть связано с чьей-то попыткой ARP спуфинга, с целью перехвата траффика?
Это у всех немецких ДЦ так, и чуть ли не у всех европейских. По их законам ссылки на пиратские ресурсы запрещены всем, кроме Google.
Хорошо бы воочию увидеть эти законы…
Законы про запрет ссылаться на пиратские mp3, и даже на youtube? Просто на любом своём сервере в ДЦ германии или европы сделай например свой тематический поисковик, или форум с ссылками на mp3/video/, и увидишь как его закроют через пару месяцев (если он станет известным).
В Англии в 2007-8 даже одного вебмастера судили за поисковик по сериалам на основе… youtube.
В Англии в 2007-8 даже одного вебмастера судили за поисковик по сериалам на основе… youtube.
Тоже пользуюсь хетзнер. Мой сервер (а точнее айпи) блокировали из-за того что на него шел сильный ддос. Благо на сервере было несколько айпи и поэтому доступ к нему был. Собственно айпи разблокировали, когда ддос прекратился.
В целом пользуюсь хетзнер уже года три и подобные проблемы были там ну очень редко.
В целом пользуюсь хетзнер уже года три и подобные проблемы были там ну очень редко.
Кстати, если им не нравятся чужие маки на интерфейсе, возможно, что-то пробивается через бридж?
У меня была точно такая же ситуация, отключили сервер за то что я якобы подменял чейто ip.
Два дня бесполезного общения с техподдержкой, которая отвечает как минимум раз в час ни к чему не привела. В итоге сошлись на том что они полностью отформатируют сервер.
Dear Client,
we can't unblock the server until the problem is solved, we can offer you to
reinstall the OS for you. Please confirm the full data loss and tell us which
(standard)OS you want us to install.
Два дня бесполезного общения с техподдержкой, которая отвечает как минимум раз в час ни к чему не привела. В итоге сошлись на том что они полностью отформатируют сервер.
Dear Client,
we can't unblock the server until the problem is solved, we can offer you to
reinstall the OS for you. Please confirm the full data loss and tell us which
(standard)OS you want us to install.
А зачем вообще делать бридж? Стандартная-то да, но всегда нерекомендуемая. Ошибки в конфигурации могут иметь печальные последствия для всего сегмента.
Ну в двух словах.
Отказоустойчивость? Есть бондинг.
Выполнять обработки с проходящим мимо трафиком? Есть роутинг.
Отказоустойчивость? Есть бондинг.
Выполнять обработки с проходящим мимо трафиком? Есть роутинг.
А что-то мешает просто создать еще один виртуальный интерфейс и назначить ему этот самый «Выделенный внешний айпи для виртуалки»? Со всех сторон более правильное решение.
Я говорю с позиции человека, знакомого и с общей архитектурой виртуализации, и с конкретными гипервизорами от hyper-v до ESX.
Так что скорее всего это вы понятия не имеете, как делать можно и как — нельзя, и реализуете ущербную от рождения архитектуру.
«Ну поставьте proxmox например» — если этот гипервизор ущербен, может, стоит попробовать другой? И «попробуй сам» — не аргумент, а попытка уйти от ответа на простой вопрос, а именно — «зачем делать бридж для назначения виртуалке внешнего адреса?».
Или под бриджем понимается встроенный в хост виртуальный свитч? Но это ведь вовсе не бридж. И у него не должно быть своего мака. А конечные виртуальные машины все равно будут иметь по одному интерфейсу.
Так что скорее всего это вы понятия не имеете, как делать можно и как — нельзя, и реализуете ущербную от рождения архитектуру.
«Ну поставьте proxmox например» — если этот гипервизор ущербен, может, стоит попробовать другой? И «попробуй сам» — не аргумент, а попытка уйти от ответа на простой вопрос, а именно — «зачем делать бридж для назначения виртуалке внешнего адреса?».
Или под бриджем понимается встроенный в хост виртуальный свитч? Но это ведь вовсе не бридж. И у него не должно быть своего мака. А конечные виртуальные машины все равно будут иметь по одному интерфейсу.
А кто-то заставляет вас использовать генту? Нельзя поставить нормальный гипервизор, или на крайняк воткнуть в XEN Open vSwitch?
Скажу по секрету: вообще-то обычно виртуальный свитч в гипервизоре вовсе не должен светить своим маком. Да и бриджу, строго говоря, это не обязательно. Они должны быть совершенно прозрачны на L2. Если на опенсорсе применяется корявое решение — претензии к этому опенсорсу.
Management доступ к хосту надо организовывать через интерфейс, отличный от того, через который работают виртуалки. И уж конечно на гипервизоре не должно быть ничего кроме виртуалок, никаких других продуктивных задач.
Делайте все по-человечески, и проблем не будет.
Скажу по секрету: вообще-то обычно виртуальный свитч в гипервизоре вовсе не должен светить своим маком. Да и бриджу, строго говоря, это не обязательно. Они должны быть совершенно прозрачны на L2. Если на опенсорсе применяется корявое решение — претензии к этому опенсорсу.
Management доступ к хосту надо организовывать через интерфейс, отличный от того, через который работают виртуалки. И уж конечно на гипервизоре не должно быть ничего кроме виртуалок, никаких других продуктивных задач.
Делайте все по-человечески, и проблем не будет.
Бридж — это поместить виртуалку в один сегмент с гипервизором наравне.
Неверно. Гипервизор не обязан иметь L3 интерфейс в любом из сегментов с виртуалками. Напротив, это не рекомендуется делать — так как интерфейс гипервизора нужен лишь для management целей, и неправильно мешать его с реальными данными в одном виртуальном сегменте. В идеале порт гипервизора должен висеть на одном комплекте физических интерфейсов, а виртуалки — на другом. Т.е. на гипервизоре есть виртуальный свитч, к которому сам гипервизор не имеет подключения.
Тот же форвард на юниксе настраивается через совершенно дикие скрипты.
Роутинг на юниксе сложно настроить? Мне казалось, это — одна строчка в конфиге и пара маршрутов (по желанию добавить правила IPTABLES), ну да ладно :)
VmWare WorkStation, Oracle VirtualBox, Citrix XenServer получаются ущербные стало быть по вашему.
Сравнивая с тем же ESX и даже Hyper-v: а разве они не ущербны, не отстают от них по возможностям на многие годы?
можно узнать кем «не рекомендуется»
Ну даже не знаю… Рекомендациями вендоров? Здравым смыслом?
Вы хоть раз слышали о том, чтобы нормальным считалось объединение management-only с боевыми интерфейсами в одной сущности?
Считайте интерфейс гипервизора чем-то вроде IP-KVM. Есть ли логика в объединении его на одном порту с реальными данными?
Вы привыкли делать виртуализацию «тяп-ляп» в обход здравого смысла. Не возражаю. Но не надо считать такую архитектуру правильной.
У меня стоит гипервизор за 600 USD в мес с гигабитом трафика на ProxMox.
Целый один гипервизор? Здорово. У нас сотни, причем каждый имеет чуть лучшие ТТХ :)
И работает, представьте не падает.
Когда дорастете до серьезных внедрений — поймете, что опенсорс без радикального перепиливания (т.е. нужен штат разработчиков) под такое просто-напросто не годится. А с перепиливанием стоимость будет такая, что полный переход на vSphere покажется выгодным.
«Не падает»? На сколь угодно кошмарное и ненадежное решение найдется человек, у которого оно работает годами без проблем.
У ваших заказчиков денег много?
Мы сами заказчики — сами закупаем оборудование, сами закупаем софт и ставим их на своих площадках.
Вы сначала дорастите до нужных масштабов, тогда и поймете, что такие вопросы бессмысленны. Это как говорить «у тебя этажный коммутатор стоит $100000? А я накупил десяток неуправляемых d-link'ов, каждый по 1000р., общий бюджет 10000р!».
(да, у нас некоторые пользовательские свитчи уровня доступа действительно стоят $100k)
(да, у нас некоторые пользовательские свитчи уровня доступа действительно стоят $100k)
от чего ваш здравый смысл говорит «фи» на бридж?
Вы так и не поняли.
Мое «фи» относится к подключению гипервизора к виртуальному свитчу (в хомячковых реализациях зовется бриджем). Если не подключать, то в физическую сеть будут вещаться только маки виртуальных машин. Со всех точек зрения это правильнее.
Ну разве что ARP штормом может нагадить
При правильной настройке сети нельзя. Вы запустите шторм — и он будет гаситься на уровне вашего порта, причем даже не придется отключать этот порт и прерывать хождение других данных.
Но у меня на виртуалках, демилитаризованная зона, например.
И у меня тоже. И что?
Но вы что, высунули интерфейс гипервизора в тот же сегмент? И считаете это чем-то кроме глупости?
В чем заключается глупость? Высунул. Дальше что?
Да ничего — кроме того, что, во-первых, снижена надежность (как внутренний глюк бриджа и следующая за этим потеря связи с хостом, так и банальное блокирование порта хостером с теми же последствиями — да и что там упоминалось про засвечивание мака бриджа на физическом коммутаторе и следующие за этим проблемы?), а также повышен риск безопасности (сложнее изолировать хост от виртуальных машин на уровне транспорта). Именно поэтому когда-то давно умные люди пришли к выводу, что management и data смешивать не стоит, но эта информация еще не до всех дошла :)
vSphere упоминался в качестве решения, по сравнению с которым остальное действительно выглядит ущербным. Другой вопрос, что вам может не требоваться его функционал.
Тем более что, вообще говоря, есть бесплатный VMWare ESXi ;)
ESXi есть бесплатный, но
а) ограниченный по фнкционалу
б) проприетарный
a) Сами говорите «мне не нужен весь функционал VSphere. Даже пятая часть от него.»
б) ITшник, судорожно гуглящий в процессе решения инцидента — это кошмар на грани профнепригодности. Хотя если у вас по SLA вполне допустимы даунтаймы в несколько часов/дней — почему нет? Но что если гугл не помог? Будете полную переустановку затевать, откатываться на старые бекапы? :)
Правильное решение — как раз завести высокоприоритетный кейс вендору. Это и быстрее, и надежнее. Хотя никто не мешает в процессе работы инженеров поддержки и погуглить.
Отсутствие поддержки вендора в случае опенсорсных гипервизоров — абсолютный стоп-фактор и для нас, и для большинства других компаний, которым все-таки важна надежность. Вам она не важна, потому для вас и допустим первичный метод устранения аварии «гугл».
А по вашему, человек, неспособный без гугла применить рабочий воркараунд и затем запросить у вендора корректное решение, годится для работы в IT?
В моей зоне ответственности было несколько аварий, связанных с явным багом в ПО. В части случаев через несколько минут после обнаружения проблемы деградация качества связи устранялась рабочим воркараундом. В остальных случаях, когда влияние на инфраструктуру было несущественное, любые шаманства прекращались до вмешательства сотрудников TAC, которые обладают куда более мощными инструментами для поиска причин проблемы, и, соответственно, с большей вероятностью идентифицируют баг и предложат решение, позволяющее избежать его повторения, а затем и пофиксят баг.
Но а если человек не обладает достаточной квалификацией, чтобы устранить аварию, не сделав только хуже по советам с форумов — стоит сходу завести кейс и ничего не трогать.
В моей зоне ответственности было несколько аварий, связанных с явным багом в ПО. В части случаев через несколько минут после обнаружения проблемы деградация качества связи устранялась рабочим воркараундом. В остальных случаях, когда влияние на инфраструктуру было несущественное, любые шаманства прекращались до вмешательства сотрудников TAC, которые обладают куда более мощными инструментами для поиска причин проблемы, и, соответственно, с большей вероятностью идентифицируют баг и предложат решение, позволяющее избежать его повторения, а затем и пофиксят баг.
Но а если человек не обладает достаточной квалификацией, чтобы устранить аварию, не сделав только хуже по советам с форумов — стоит сходу завести кейс и ничего не трогать.
ESXi прекрасен.
Например тем, что не поддерживаются сервера с разумным количеством памяти на хосте (более 32G, если правильно помню), что сейчас выглядит просто смешно.
И клиент для управления этим самым ESX/ESXi работает только под win.
Ещё особо не ущербно в ESX выглядит scsi диски, воткнутые в виртуалки. Как сделаешь fsync на заммапленном файле 1Тб размером… После особо и до хоста уже не достучишься.
Например тем, что не поддерживаются сервера с разумным количеством памяти на хосте (более 32G, если правильно помню), что сейчас выглядит просто смешно.
И клиент для управления этим самым ESX/ESXi работает только под win.
Ещё особо не ущербно в ESX выглядит scsi диски, воткнутые в виртуалки. Как сделаешь fsync на заммапленном файле 1Тб размером… После особо и до хоста уже не достучишься.
Стоит задача — несколько виртуалок и базовая миграция на лету. Можно обойтись парочкой проксмоксов и нфс шарой.
Угу.
А дальше хостер кладет единственный порт — и жопа. И сервисы недоступны, и данные не вытащить, только KVM есть. И я часами распинаюсь, как это предотвратить, но без толку.
насколько рулит Hyper-V и виндос датацентр едишн
Какой еще «виндос датацентр едишн»? Вы не в курсе, что hyper-v бесплатен, и фактически не имеет ограничений по памяти и ядрам?
просит бюджет в 300к, чуть ли не целую стойку
Поразительно, но количество занимаемого железом места грубо пропорционально требованиям к ресурсам :)
Дело не в датацентр едишн. А в том, что топикстартер рассказывает за сервак у хецнера (а это очень дешевый хостер), а вы тут по дорогущие проприетарные решения втираете.
А сколько стоит hyper-v?
И сколько стоит физически отделить управляющий трафик от трафика данных на XEN, чтобы снова не оказаться в такой ситуации?
Ошиблись топиком. Роспил это не здесь.
Ну да, ну да. Рядовой инженер, участвующий в распиле, это забавно, и не менее забавен подход «тот, кто пользуется качественными решениями, а не собранными на коленке, обязательно что-то пилит».
Ну в принципе на заре своей карьеры я тоже руководствовался подходом «брать что подешевле». А потом понял, что этот принцип не работает.
В принципе, логично. Да вообще, любой человек, имеющий смартфон (в первую очередь айфон), тоже где-то попиливает, иначе зачем и на какие шиши он купил такой дорогущий бесполезный телефон, в то время как в магазинах до сих пор продается нокия 1100 с фонариком? По ней тоже можно звонить. С нее тоже можно отправлять СМСки. На ней тоже можно играть в игрушки. Что еще надо от телефона?
3 года арендую там сервак через посредника, несколько раз приходили абузы на спам, при этом давали время на решение проблемы не отключая сервак, если не получалось самому решить проблему, писал в поддержку посредника, хоть у них это считается платной услугой, всегда выручали за спасибо и все вопросы с hetzner разруливали сами, тем не менее согласен с автором в выводах, «всегда надо быть готовым ко всему...»
Возможно проблема в виртуалке, у них на один порт должен быть один мак
так у нас и так на один порт один мак адрес и один реальный IP. Чё то подозреваю что кто то в том же VLAN занимался spoof, поставили наш mac адрес, а Hetzner не разбираясь нас отрубили. Меня в этой всей ситуции целиком вывело из себя не то, что отключили не разобравшись, а то, что не смогли разобраться и включить кого надо. В результате несколько дней сервер был без сети а мы восстанавливались на бекапе.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Hetzner может неожиданно отключить ваш сервер