Мы в свое время ловили так:
1) с порта убирались все vlan'ы, чтобы не сделать петлю,
2) в порт подключался кабель, замыкающийся сам на себя,
3) все коммутаторы отправляли syslog на сервер,
4) на сервере syslog слушали два костыля — первый реагировал на гашение порта с сигнальной парой, второй на одновременное гашение нескольких клиентских портов,
5) костыли отправляли емейлы и СМС.
Результат: 47news.ru/articles/42097/
Перехватили днём, буквально через 30 секунд они бы успели удрать.
Сработал второй костыль, более громоздкий, но универсальный (сигнальную пару успели сделать не везде).
Ставьте, не бойтесь.
Моя success story — обслуживание поселковой сети (по вечерам 60-70 клиентов онлайн, канал 35 мегабит) микротиковской коробкой за $100.
Единственный пойманный глюк — зависания при разгоне процессора.
Для rb/750g решилось заменой штатного БП на более слабый, для 450g от разгона пришлось отказаться.
Пожалуй, в таких взломах могут быть два смысла:
1) проникновение за Большой Китайский Файрволл,
2) контроль над маршрутизаторами, разработанными и произведёнными целиком в Китае (Хуавей и т.д.).
Странно, что им нужно взламывать маршрутизаторы поштучно вместо того, чтобы один раз «взломать» компанию-производителя маршрутизаторов и поставить закладки на аппаратный уровень или уровень прошивки.
Скорее всего, их не эксплуатируют в мирное время настолько массово, чтобы Сноуден как младший сисьадмин cмог об этом узнать.
Поверить в то, что таких закладок нет вообще, imho было бы легкомысленно.
Пользователь Worky с nag.ru прислал свой отзыв емейлом.
Выкладываю с минимальными косметическими правками. Особенно интересен имхо пункт 4.
Общего пессимизма автора в отношении Ubuntu Server и KVM не разделяю :)
Поведаю своего опыта.
Была задача завиртуализировать офис. Начал собирать данные по средам виртуализации, анализировать и пришел к КВМ. С виду было видно, что КрасноШляпа взялась за него серьезно и это мэйнстрим. В качестве платформы мы используем Ubuntu 10.04 и я решил не менять то, что работало.
Проблемы начались через неделю использования нескольких виртуалок с ВинХР.
При этом данное сообщение в логах либвирта ничего не значит: это просто реакция системы на сбой, а причина где то в дампе ядра винды.
В результате менял и версии дров либвиртио, и отключал вообще устройства либвиртио, а использовались устройства QEMU. Но результатов это не давало.
Пришлось связаться с одним из разрабов дров и узнать очень много нового, после чего мне теперь видится КВМ как сырое решение.
По своему опыту дам такие советы:
1) не использовать Убунту: даже переход с Дебиана на Убунту дает в КВМ ошибки на голом месте. Качество Убунты становится все ниже (ИМХО). Или вот еще факт — при выключении сервака Убунта просто ресетит виртуалки с потерей данных, в то время как Центос ставит их на паузу, сбрасывает их на диск и только потом тушит сервак. Только после воя на ланчпаде по этому вопросу, убунту девелоперы добавили временную задержку при выключении сервера…
2) использовать RHEL-аналоги дистров — девелоперы КВМ-дров проверяют их ТОЛЬКО на текущих релизах RHEL (Дебианы и Убунты идут лесом и сами решают проблемы с КВМ у себя).
3) в случае непонятных глюков пробуйте отключать KSM: в RH это демон (и в proc переменная), в Убунте это в конфиге либвирта переменная.
4) в случае ВинХР и BSOD с кодом IRQL_NOT_LESS_OR_EQUAL пробуйте загружать модуль КВМ под тип процессора так: kvm-intel flexpriority=0. Это помогает реально! И — ВНИМАНИЕ — об этом можно прочитать только на закрытом багтрекере КрасноШляпы!!! То есть по такому распространенному глюку ИНФЫ НЕТ!!! Поэтому…
5)… если у вас есть непонятные проблемы с виртуалками — пишите разрабам КВМ!!! Лучше и быстрее их вам никто не поможет!!!
6) Вин Сервер 2003 32бит работает под КВМ с дровами Виртио без проблем.
Итог: на голом месте я получил кучу проблем со средой, которая якобы готова для «ынтерпрайза».
Я разочарован, но решений такого же плана и свободных просто нет!
В windows все равно надо сделать предварительно sysprep.
То ли мне повезло, то ли одно из двух.
Сделал пресет с Вендой, sysprep не использовал.
Создал из него несколько десяток ВМ на нескольких Линукс-серверах, проблем (пока) не было.
Что не будет работать, если при подготовке пресета не использовался sysprep?
Смена аппаратного окружения? Для Windows меняется только MAC-адрес сетевой карты.
Подключение в домен AD? На тех задачах, которые у меня возникали, оно не требовалось.
Со скрипом она работает на 1 гигабайте. Я спокойно запускаю в ней офис и браузер.
На что же этот гигабайт тратится, если W2K3 на таком же объёме памяти обеспечивает одновременную работу через RDP двоих-троих сотрудников с 1С, офисом, браузером и почтой?
Ой да ладно? И в чем же она заключалась?
В xml вместо типа загрузчика требуется явно указывать полный путь к его исполняемому файлу. В Дебиане и Редхате он разный. Вы не знали?
Что такое «типовой линукс»? Какая OS, какая версия пакетов и какое ядро?
Например, Ubuntu Server 12.04 LTS amd64. Ядро и все пакеты штатные.
Судя по багтрекеру — центос?
Нет, просто Гугл по описанию ошибки нашёл её в редхатовском багтрекере.
В нём наиболее полные описание и набор ссылок на багтрекеры других дистрибутивов.
Насколько можно судить, бага не в каком-то отдельном дистрибутиве.
Поставьте уже убунту и наслаждайтесь скоростью и стабильностью.
Не в курсе, как с этим сейчас обстоит дело в Proxmox'e, но в чистом KVM виртуалки создаются
из пресетов копированием двух файлов — образа корневой ФС и настроек загрузчика.
Пресет — это обычная система с немного подчищенными настройками
(из /etc/ надо стереть ключи ssh-сервера, мак-адрес сетевой карты и т.д.)
Как правило, энтерпрайз специализируется на поддержке чётко очерченного круга задач на чётко обозначенном объёме ресурсов.
Отсюда ядро 2.6.18, всякие HCL и т.д.
А как же образ дискетки с драйверами и «Press F6 if you need to install a third party SCSI or RAID driver»?
Во-первых, готового образа дискетки у них нет, поэтому его надо создавать. Уже морока.
Во-вторых, заранее неясно, что именно с ISO-образа на неё надо копировать.
Папки на ISO-образе можно перебирать в Диспетчере оборудования до победного конца,
с неправильным образом дискетки придётся перезагружаться заново.
Так что формально Вы правы, но в итоге такой вариант рискует занять гораздо больше времени, чем с временным диском.
А как W2k3 работает на 256 мегабайтах?
Вы согласны, что W7 требует для нормальной работы на несколько сот мегабайт больше ОЗУ?
Если согласны, тогда к чему Вы цепляетесь? К способу подсчёта через Proxmox?
Если не согласны, тогда приводите свои настройки — проверим, сравним.
там как раз таки Windows XP находится в поддерживаемых.
На заборе тоже написано, а там дрова лежат. XP работала более-менее устойчиво до февраля 2011 года, когда вышло обновление, поломавшее совместимость с KVM.
Откуда у вас информация?
Везде из личного опыта, если явно не оговорено обратное.
Так же не понятно если у вас продакшен что мешает использовать libvirt? Он существенно упрощает работу с виртуальными машинами.
Это не имеет отношения к гостевым Windows, но вообще libvirt не понравился в своё время из-за www.opennet.ru/openforum/vsluhforumID1/92426.html
А так же подвисаний libvirtd, тогдашнего отсутствия внятной документации на ProxyARP-режим
и невозможности переносить XML между Дебианом и Центосом без небольшой пляски с бубном.
задержка в пол-секунды, +++ меньше чем за пол-секунды, снова задержка в пол-секунды.
после этого модем переходил из режима передачи данных в режим ввода команд.
1) Не мешает для гарантии включать sysctl net.ipv4.ip_forward=1
2) В домашней или офисной локалке ProxyARP имхо предпочтительнее маскарадинга,
потому что позволит без дополнительных настроек заходить на виртуалку с соседних компов.
И не сильно сложнее в настройке.
3) И без dnsmasq не комильфо, на гостевой системе придётся настраивать статический IP.
>> Proxmox: требует продуманной инсталляции на отдельный компьютер;
> В общем и целом неправда, поверх дебиана ставится.
Спасибо, кэп :) У Вас на десктопе Дебиан?
Если потребуется что-то проверить, Вы взгромоздите Проксмокс прямо на него?
«Поверх дебиана» — это значит, что продумывать инсталляцию Проксмокса уже не надо?
> интерфейс работает через апач, который работает совсем даже без рутовых прав:
И при этом позволяет создавать и удалять виртуалки, образы дисков, хранилища
и прочее, что очевидно требует суперпользовательских привилегий.
Вы твёрдо уверены, что доступа к рутовой консоли из него никак не получить?
Кстати, вот неплохой отзыв: klinkov.ya.ru/replies.xml?item_no=2112
У меня таких страшных косяков не было, возможно потому, что задачи для Проксмокса были попроще.
> они ядро утащили с RHEL 6 а там интересная картина с версиями. Например, у них последний QEMU:
Qemu там может быть какой угодно, но очевидно, что новые функции переносятся в rhel-ядра не полностью и не сразу.
На практике из-за этого периодически приходилось сталкиваться с ситуациями наподобие такой: forum.nag.ru/forum/index.php?showtopic=70612&view=findpost&p=653589
SELinux был точно не причем, т.к. его принято отключать сразу после инсталляции.
Проблема была одинаковой в Дебиане и Центосе.
Возможно, за год libvirt подружили с NATом, но тогда потребовались совершенно
лишние пляски с бубном, после чего я для себя решил дела с ним больше не иметь.
1) с порта убирались все vlan'ы, чтобы не сделать петлю,
2) в порт подключался кабель, замыкающийся сам на себя,
3) все коммутаторы отправляли syslog на сервер,
4) на сервере syslog слушали два костыля — первый реагировал на гашение порта с сигнальной парой, второй на одновременное гашение нескольких клиентских портов,
5) костыли отправляли емейлы и СМС.
Результат: 47news.ru/articles/42097/
Перехватили днём, буквально через 30 секунд они бы успели удрать.
Сработал второй костыль, более громоздкий, но универсальный (сигнальную пару успели сделать не везде).
Моя success story — обслуживание поселковой сети (по вечерам 60-70 клиентов онлайн, канал 35 мегабит) микротиковской коробкой за $100.
Единственный пойманный глюк — зависания при разгоне процессора.
Для rb/750g решилось заменой штатного БП на более слабый, для 450g от разгона пришлось отказаться.
1) проникновение за Большой Китайский Файрволл,
2) контроль над маршрутизаторами, разработанными и произведёнными целиком в Китае (Хуавей и т.д.).
Скорее всего, их не эксплуатируют в мирное время настолько массово, чтобы Сноуден как младший сисьадмин cмог об этом узнать.
Поверить в то, что таких закладок нет вообще, imho было бы легкомысленно.
Выкладываю с минимальными косметическими правками. Особенно интересен имхо пункт 4.
Общего пессимизма автора в отношении Ubuntu Server и KVM не разделяю :)
Это пляски не столько с KVM, сколько с Windows.
Например, заблокированная по умолчанию реакция на сигналы ACPI — причём тут KVM?
То ли мне повезло, то ли одно из двух.
Сделал пресет с Вендой, sysprep не использовал.
Создал из него несколько десяток ВМ на нескольких Линукс-серверах, проблем (пока) не было.
Что не будет работать, если при подготовке пресета не использовался sysprep?
Смена аппаратного окружения? Для Windows меняется только MAC-адрес сетевой карты.
Подключение в домен AD? На тех задачах, которые у меня возникали, оно не требовалось.
На что же этот гигабайт тратится, если W2K3 на таком же объёме памяти обеспечивает одновременную работу через RDP двоих-троих сотрудников с 1С, офисом, браузером и почтой?
В xml вместо типа загрузчика требуется явно указывать полный путь к его исполняемому файлу. В Дебиане и Редхате он разный. Вы не знали?
Например, Ubuntu Server 12.04 LTS amd64. Ядро и все пакеты штатные.
Нет, просто Гугл по описанию ошибки нашёл её в редхатовском багтрекере.
В нём наиболее полные описание и набор ссылок на багтрекеры других дистрибутивов.
Насколько можно судить, бага не в каком-то отдельном дистрибутиве.
Наслаждаюсь.
Оно? unix-heaven.org/proxmox-ve-kvm-template
Не в курсе, как с этим сейчас обстоит дело в Proxmox'e, но в чистом KVM виртуалки создаются
из пресетов копированием двух файлов — образа корневой ФС и настроек загрузчика.
Пресет — это обычная система с немного подчищенными настройками
(из /etc/ надо стереть ключи ssh-сервера, мак-адрес сетевой карты и т.д.)
Как правило, энтерпрайз специализируется на поддержке чётко очерченного круга задач на чётко обозначенном объёме ресурсов.
Отсюда ядро 2.6.18, всякие HCL и т.д.
Во-первых, готового образа дискетки у них нет, поэтому его надо создавать. Уже морока.
Во-вторых, заранее неясно, что именно с ISO-образа на неё надо копировать.
Папки на ISO-образе можно перебирать в Диспетчере оборудования до победного конца,
с неправильным образом дискетки придётся перезагружаться заново.
Так что формально Вы правы, но в итоге такой вариант рискует занять гораздо больше времени, чем с временным диском.
А как W2k3 работает на 256 мегабайтах?
Вы согласны, что W7 требует для нормальной работы на несколько сот мегабайт больше ОЗУ?
Если согласны, тогда к чему Вы цепляетесь? К способу подсчёта через Proxmox?
Если не согласны, тогда приводите свои настройки — проверим, сравним.
На заборе тоже написано, а там дрова лежат. XP работала более-менее устойчиво до февраля 2011 года, когда вышло обновление, поломавшее совместимость с KVM.
Везде из личного опыта, если явно не оговорено обратное.
Это не имеет отношения к гостевым Windows, но вообще libvirt не понравился в своё время из-за www.opennet.ru/openforum/vsluhforumID1/92426.html
А так же подвисаний libvirtd, тогдашнего отсутствия внятной документации на ProxyARP-режим
и невозможности переносить XML между Дебианом и Центосом без небольшой пляски с бубном.
после этого модем переходил из режима передачи данных в режим ввода команд.
нам дороги эти позабыть нельзя (с)
очепятка? не должно быть "-hda kvm1.raw"?
5) vlan=0 не нужен, ifname=tap0 незачем (kvm-ifup получит автоматическое имя интерфейса в $1) и вредно (tap0 может быть уже занят).
2) В домашней или офисной локалке ProxyARP имхо предпочтительнее маскарадинга,
потому что позволит без дополнительных настроек заходить на виртуалку с соседних компов.
И не сильно сложнее в настройке.
3) И без dnsmasq не комильфо, на гостевой системе придётся настраивать статический IP.
Welcome to the real world, Luke.
> В общем и целом неправда, поверх дебиана ставится.
Спасибо, кэп :) У Вас на десктопе Дебиан?
Если потребуется что-то проверить, Вы взгромоздите Проксмокс прямо на него?
«Поверх дебиана» — это значит, что продумывать инсталляцию Проксмокса уже не надо?
> интерфейс работает через апач, который работает совсем даже без рутовых прав:
И при этом позволяет создавать и удалять виртуалки, образы дисков, хранилища
и прочее, что очевидно требует суперпользовательских привилегий.
Вы твёрдо уверены, что доступа к рутовой консоли из него никак не получить?
Кстати, вот неплохой отзыв: klinkov.ya.ru/replies.xml?item_no=2112
У меня таких страшных косяков не было, возможно потому, что задачи для Проксмокса были попроще.
> они ядро утащили с RHEL 6 а там интересная картина с версиями. Например, у них последний QEMU:
Ядро скорее уж не от RHEL, а от Parallels: download.openvz.org/kernel/branches/rhel6-2.6.32/stable/
То, что на pve.proxmox.com/wiki/Proxmox_VE_Kernel написано "based on RHEL6x", для ovz-ядра верно.
Qemu там может быть какой угодно, но очевидно, что новые функции переносятся в rhel-ядра не полностью и не сразу.
На практике из-за этого периодически приходилось сталкиваться с ситуациями наподобие такой:
forum.nag.ru/forum/index.php?showtopic=70612&view=findpost&p=653589
Проблема была одинаковой в Дебиане и Центосе.
Возможно, за год libvirt подружили с NATом, но тогда потребовались совершенно
лишние пляски с бубном, после чего я для себя решил дела с ним больше не иметь.