Вступление

Проводя работу по изучению производительности разных задач в виртуальных машинах, я использовал старый проверенный метод для количественного осмысления полученных результатов, а именно бенчмарки. Многие из них довольно хорошо себя зарекомендовали ранее, плюс даже пару своих написал на волне энтузиазма. Собрав уже неплохую статистику, не сильно сомневаясь в полученных результатах, на одном из тестов я случайно заметил, что затраченное на задачу время, о котором радостно отрапортовала программа, в несколько раз больше того, сколько я ждал этого результата. Повторные замеры с секундомером подтвердили мои наблюдения: да, время в виртуальной машине может идти не так, как мы ожидаем. За подробностями и чем нам это грозит прошу под хаброкат.

Привет, хабрасообщество!

Наконец-то свершилось то, чего я так ждал! Мы долго трудились, и вот результат! Пожалуй, что имеет смысл сообщить просто факт: мы рады представить обновленный центр по виртуализации на Microsoft TechNet.

Мы нашли и перевели около 50 статей, которые смогут помочь как начинающим, так и уже опытным системным администраторм разобраться (местами очень непонятными) технологиями виртуализации. Мы готовили данный контент с ожиданием того, что это будет по-настоящему полезным и приятным сюрпризом для всех тех, кто занимается виртуализацией в той или иной мере. Пожалуй, что не буду попусту тратить место на экране, а просто представлю то, что у нас получилось:

1. Преимущества виртуализации

2. Виртуализация серверов

3. Виртуализация локальных настольных компьютеров

4. Виртуализация удаленных рабочих столов

Уважаемые скучные люди из интернета коллеги! Рад предложить вам для бета-тестирования виртуальные серверы (VDS) на базе KVM!

ОАЭ не перестают удивлять. QR-коды прочно входят в общественную жизнь жителей и гостей крупнейшего города Объединенных Арабских Эмиратов.

После 11 месяцев разработки, вышел новый релиз открытого гипервизора Xen.
Неполный список изменений:

Новый стек инструментов XL, уже почти аналогичный по функционалу старому XM/Xend
Прототип нового шедулера, лучше справляющегося с чувствительными к задержкам задачами
Пулы процессоров
Поддержка больших систем (>255 CPU)
Поддержка x86 AVX
Новый API доступа к памяти (упрощает интеграцию модулей безопасности)
Заявлена большая стабильность благодаря новым регрессионным тестам

И да, в portage — уже есть, ебилдов ждать не надо ;)

Оригинал новости:
blog.xen.org/index.php/2011/03/25/xen-4-1-releases

Полный список новшеств:
wiki.xen.org/xenwiki/Xen4.1

Давайте продолжим наши упражнения в виртуализации Linux систем под Hyper-V. Сегодня мы займемся установкой и настройкой Debian 6 под Hyper-V. Все что я буду писать ниже можно применять не только к Debian 6, но и к Debian 5 и к остальным дистрибутивам основанным на Debian таким как Ubuntu, Kubuntu, Xubuntu, Ebuntu.

В статье разбирается принцип работы xvc0 как с точки зрения domU, так и с точки зрения dom0, а так же описывается, что с этой консолью делают дальше.
Сразу предупреждаю, топик интересен только тем, кто с Xen'ом плотно работает.

Консоль с точки зрения Xen'a

Консоль и XenStore — два устройства в виртуальной машине, которые не анонсируются через XenStore, а пишутся в святую святых — start info page домена. Штатным механизмом для всех остальных устройств является их анонс в XenStore. Понятно, что анонсировать XenStore в XenStore несколько неудобно, так что это устройство «должно быть с самого начала».

Консоль можно было бы поместить в список «обычных» устройств. Но его вынесли в особый класс и сделали «равным XenStore» ради удобства отладки и диагностики. Чем раньше ядро сможет писать на консоль (и мы сможем это читать), тем больше вероятность, что информации на консоли будет достаточно для определения причины поломки.

На самом-самом низком уровне консоль использует кольцевой буфер, причём размером в одну страницу памяти (4кб для i386/x86_64). Этот кольцевой буфер поделен в соотношении 1024/2048, первая половинка используется для ввода (буфер для «нажатых» кнопок), вторая для вывода (символы и esc-коды, которые выводятся на экран).

У меня наконец-то дошли руки написать о том, как виртуализировать SCO OpenServer.

Когда я решил заняться виртуализацией этой ОС многие коллеги недоумевали над тем какая муха меня укусила. Понятно, что ты периодически рассказываешь о жизни Linux и Unix под Hyper-V, но зачем берешься за такую древность как системы от SCO? Некоторые молодые ИТ специалисты даже удивлялись, что компания SCO до сих пор жива и чувствует себя вполне нормально. Они думали, что после затяжных судебных разбирательств, войны с сообществом и другими производителями Unix, банкротства в 2007 году, компания перестала существовать.

Ответ на эти вопросы очень прост.

Давайте продолжим серию статей о запуске Unix и Linux систем под Hyper-V R2. Сегодня посмотрим, как устанавливать и настраивать CentOS 5.5 под управлением нашей системы виртуализации. Почему именно CentOS? Все очень просто он является самым популярным среди любителей RedHat подобных дистрибутивов.

Для тех, кому лень читать могу сказать что CentOS работает под Hyper-V очень хорошо и готов к применению в производственной среде. Кстати, все, что я напишу ниже можно с таким же успехом применять и для RHEL.

Ну что приступим?

Коллеги, у меня для вас сегодня очень хорошая новость. Вышла публичная бета второй версии великолепной свободной платформы виртуализации Proxmox VE. Если ранее Proxmox (версии 1.x) мог конкурировать с VMware при использовании в небольших компаниях, то сегодня он замахнулся как минимум на средние.

Что же такое Proxmox?

— Это свободная платформа виртуализации (Open Source, GNU AGPL v3)
— Это принцип KISS (Proxmox состоит из небольшого числа прозрачно взаимодействующих компонентов: Debian как основа, пропатченное ядро Linux, KVM и окружение Proxmox, которое включает в себя web-интерфейс, демон синхронизации и консольные утилиты управления)
— Это простая установка
— Это удобный и функциональный Web-интерфейс (без необходимости устанавливать клиент)
— Это надёжность
— Это возможность использования уже имеющихся навыков администрирования Linux, без необходимости переобучения
— Это возможность использования преимуществ Linux, которые могут быть и не предусмотрены Web-интерфейсом Proxmox VE (например DRBD)

Те, кто раньше сталкивался с созданием виртуальных машин, представляют себе процесс и могут оценить его по времени. Нужно создать саму виртуальную машину, указать для неё необходимые параметры (размер и тип диска, количество оперативной памяти), после этого подключить установочный диск с операционной системой (будь то настоящий оптический привод или образ ISO), дождаться загрузки, запустить установку, дождаться её завершения, отключить установочный диск и перезагрузиться. На всё это может уйти около 20 минут — в каких-то случаях меньше, в каких-то больше, но всё равно это много времени. А если виртуальная машина по каким-то причинам будет удалена, то всё это придётся делать заново.

Vagrant — способ значительно упростить и убыстрить создание новых виртуальных машин. Вместо установочного диска используется специальный box-файл, который автоматически разворачивается в новое виртуальное окружение. После этого с сетевого интерфейса виртуальной машины могут быть перенаправлены порты, может быть выделен IP-адрес, может быть установлено и настроено необходимое ПО. Всё это указывается настройках Vagrant, которые подробно описаны в документации.

Vagrant работает в Linux, Mac OS X, Solaris и Windows.

Пару лет назад я писал про запуск FreeBSD 6.3 и 7.0 под Hyper-V версии 1. FreeBSD развивается, да и Hyper-V не стоит на месте. Проблемы, которые я описывал ранее, исчезли и теперь FreeBSD гораздо лучше работает в нашей системе виртуализации.

Сегодня мы будем устанавливать FreeBSD 8.1 и 7.3, потому что именно они являются официально рекомендуемыми на данный момент. Так же проверим, как система работает в многопроцессорной конфигурации, и какие скорости устройства показывают во время тестов.

Выдалось немного свободного времени, поэтому сегодня я решил написать, как обстоят дела с работой Ubuntu 10.04 под Hyper-V.

Не смотря на то, что Ubuntu не входит в список официально поддерживаемых Linux дистрибутивов работает он под Hyper-V отлично. Более того никаких дополнительных компонентов интеграции ставить не пришлось. Все что нужно для работы с Hyper-V давно находится в свежих ядрах Linux.

Ну что, приступим?

Благодаря новогодним каникулам появилась возможность рассказать о проекте OpenVZ Web Panel. Данный проект занял 3-е место в номинации «Индивидуальный проект» конкурса «Лучший свободный проект России — 2010», проводимый журналом «Linux Format» (пруф-линк). Звучит немного пафосно конечно, но, как говорится, слов не выкинешь.

По некоторым обстоятельствам мне потребовалось установить и настроить Citrix XenServer. Дистрибутив был скачан с сайта Citrix и успешно установлен на сервер HP. Вроде бы можно бы засунуть его в стойку и радоваться виртуальной жизни серверов, но не тут то было. Как оказалось в XenServer не предусмотрено локальное хранилище для дистрибутивов, точнее для ISO-образов. Предполагается, что все дистрибутивы будут лежать на сетевом хранилище (для работы с которым есть все инструменты), но если говорить про Stand-alone сервер, без какого либо сетевого хранилища, то тут и возникают различные идеи. Одна из таких идей под катом.

Некоторое время назад пробовал виртуализировать под Hyper-V разные версии Sun Solaris x86 от старых до самых новейших. К сожалению полноценного успеха тогда достигнуть не удалось. Solaris устанавливался успешно и даже запускался под Hyper-V, но в гостевой ОС не работал эмулируемый сетевой адаптер. Понятно что с такими недостатками использовать Solaris для чего либо серьезного было нельзя.

В связи с покупкой Sun компанией Oracle ОС была переименована в Oracle Solaris. Для тестирования силами сообщества выпущена свободно доступная Solaris Express 11. Были надежды что новая метла от Oracle, изменит разработку встроенных в ОС драйверов в лучшую сторону. Поэтому я решил проверить как будет чувствовать себя Oracle Solaris Express 11 под Hyper-V.

Тем кто спешит могу сказать, что результат оказался вполне удовлетворительным. Несмотря на то что Solaris официально не поддерживается Microsoft под Hyper-V и компоненты интеграции для него отсутствуют он работает стабильно и с приемлимой производительностью.

Ну а тех кому любопытны подробности установки, скриншоты потрясающей красоты и результаты тестирования, прошу проследовать под кат.

Четвёртая часть. Предыдущие части: Первая, вторая, третья.

В этой главе: блочные устройства: физические и виртуальные; образы дисков, хранилища.

С точки зрения управления машинами это самая содержательная часть. Даже управление сетью (следующие части) проще, чем диски. Причина проста — дисковые устройства в виртуализации — самые сложные абстракции.

Прежде чем перейти к фактическому описанию, перечислим свойства дисковых устройств:

• Они хранят информацию.
• У них есть свободное место для будущей информации.
• Они не связаны с конкретным компьютером и могут переключаться между компьютерами.
• Они позволяют записывать, читать информацию.
• Они позволяют стирать старую информацию и записывать новую поверх старой.

Каждая строчка из этого списка — отдельное свойство, требующее отдельной реализации (для сравнения у сетевого интерфейса свойств всего два: они могут принимать и отправлять информацию).

Для виртуализации эти свойства разделены в две группы: первая, связанна с хранением информации. Вторая — связанна с доступом к месту хранения информации.

Очевидно, что доступ (процесс доступа) тесно связан с виртуальной машиной. А процесс хранения — нет. Хранить мы можем и без того, кто пишет, а вот писать без того, кто хранит — не можем. Впрочем, вы не можем так же писать информацию и без того, кто пишет, таким образом процесс доступа тесно связан как с виртуальной машиной, так и с хранилищем информации.

QuorumSoft Alike — программное обеспечение для проведения резервного копирования/восстановления виртуальных машин Citrix XenServer. Программа состоит из инсталлятора, скачать который можно только после регистрации на сайте производителя. При скачивании в комплекте с инсталлятором идет бесплатная лицензия на проведение бекапа с 1 XenServer хоста. Бесплатная лицензия ограничена созданием трех циклично перезаписываемых резервных копий каждой виртуальной машины в хранилище Alike, а также тремя любыми запланированными задачами. Установить бекапер возможно исключительно на Windows платформе. Разработчик гарантирует качественную работу продукта на системах XP, 2K3, 2K8. Также для его работы понадобится .NET Framework не ниже 3 версии.

Третья часть. Предыдущие части: Первая, вторая.

В этой теме: управление памятью и процессорами виртуальных машин.

Память

Для того, чтобы понять, как XCP работает с памятью, нужно понять, как с ней работает Xen. В отличие от OpenVZ, Xen всегда выделяет память виртуальной машине (точнее, домену) в монопольное пользование. Память домена — это память домена и только. Никакого оверселла, никаких shared pages, никакого hypervizor swap (виртуальные машины свопиться, разумеется, могут). Если у вас есть 4Гб, то примерно 3.5Гб вы можете разделить между гостевыми машинами (512 уйдёт на dom0). Как вы будете их делить — ваша свобода. Но дать машине больше памяти, чем есть в наличии вы не сможете. Нет. Точка.

Зато в управлении реально выделенной памятью всё очень хорошо. В Xen 3.4 механизм управления памятью (xenballoon) основан на довольно сложной для восприятия мозгом, но простой с точки зрения гипервизора, основе: страницы памяти передаются (transfer) между доменом и гипервизором.

Предыдущая часть определяла терминологию. Теперь перейдём к обстоятельному объяснению «как это устроено». (тем, кому не терпится «взять и запустить» могут сделать с помощью руководств на сайте xen'а).

В этой части: подробнее про пулы и обзор устройства хостов и чуть-чуть о Xen'е.

Пулы

Весь XCP представляет собой один пул (поддержка нескольких пулов есть в очень отдалённых планах). В принципе, компания может иметь несколько пулов. Если используется разное железо для хостов, то придётся формировать пулы в пределах одинакового железа; в вырожденном случае это означает «один хост — один пул». В такой конфигурации возможность живой миграции отсутствует, а единственной опцией является экспорт/импорт виртуальной машины (медленно и неавтоматически). Соответственно, нужно иметь хотя бы пару одинаковых машин, чтобы получить возможности живой миграции (одинаковых означает «совсем одинаковых», вплоть до степпинга процессора). Чуть раньше возникли вопросы, можно ли в пул собрать разное железо. Официальный ответ: нет. Если очень захотеть, то можно, но все возможно возникшие при этом глюки будут вашими собственными именными граблями.

Каждый хост пула (его устройство обсуждается чуть ниже) имеет полную информацию о состоянии всех машин в пуле (хранит всю базу пула). Выполнять же операции может только один хост, именуемый «мастером пула». Мастер может легко меняться на ходу (без перезагрузки и остановке в работе виртуальных машин), в случае «смерти» мастера его роль может быть перенесена на другой хост силком. Если бывший мастер после этого загрузится, то произойдёт «pool split» — разделение пула на две неравные части, когда бывший мастер считает, что это он мастер, а все остальные подчиняются новому мастеру. Эта проблема легко решается силовой сменой настроек «бывшем мастере».

С мастерами следует играться осторожно, именно из-за игр с тем, кто мастер, я и получил ситуацию "Ghost in the Xen" (когда была запущена виртуальная машина, отсутствующая в списке машин облака). Впрочем, со времён XCP 0.1.1 ситуация немного поменялась, и поведение хостов в отстутствии живого мастера стало более разумным.