Виртуализация *

В данном материале описывается процесс миграции свежеустановленного гипервизора Proxmox 3.0 в программный RAID1. Разработчики Proxmox в своей wiki пишут о том, что данное решение официально не поддерживается и не рекомендуется к использованию. Взамен этого предлагается использовать решения на протестированных аппаратных raid-контроллерах. Тем не менее в сети можно найти несколько мануалов по этой теме и практики успешной эксплуатации softraid'а совместно с Proxmox'ом. К сожалению, большинство этих мануалов нельзя назвать пошаговыми руководствами к действию: все они содержат те или иные ошибки, которые мешают достигнуть требуемого результата. Взяв за основу один из таких мануалов, я попытался исправить эту ситуацию. Приведённое ниже решение несколько раз было по шагам протестировано сначала в виртуалке, а затем использовано для миграции данных на реальном железе. В результате этого получился рабочий how-to, который предлагается вашему вниманию.

В прошлой статье я рассказал про преимущества/недостатки и способы улучшения работы по резервному копированию через технологию прямого доступа к SAN – Direct SAN Access. Сегодня продолжим наш рассказ.

Приветствую Хабр!

В данном небольшом how-to хотел бы поделиться с вами своим опытом использования утилиты lvmsync.

Данная утилита позволяет решить задачу переноса виртуальной машины с одного сервера KVM на другой, с минимальным простоем виртуальной машины, без использования общего хранилища (non-shared storadge).
Передавать мы будем весь раздел LVM, на который установлена виртуальная машина. Ну а уменьшить время простоя нам поможет магия работы LVM snapshot, информацию о которой вы с легкостью можете найти в интернете.

Вот как выглядит перенос виртуальной машины в кратком виде:

1. Делаем снимок LVM раздела.
2. Передаем основной LVM раздел по сети, не останавливая нашу VM.
3. Когда закончится передача основного раздела, останавливаем VM.
4. Запускаем lvmsync для передачи снимка по сети. Передается не весь снимок, а только измененные блоки.
5. Подготавливаем и запускаем VM на новом сервере.

В результате, при использовании lvmsync время простоя виртуальной машины будет равно времени передачи измененных блоков в снимке основного раздела.

Подробнее о работе lvmsync, и дополнительных плюшках вы можете почитать на страничке проекта.

Отчет о том как мы мигрировали с Windows raid0 на Linux raid5, какие подводные камни встретили и как их преодолевали.

В новой версии Veeam Backup & Replication v7, которая будет выпущена уже через пару месяцев, будет встроен WAN акселератор, специально оптимизированный под передачу резервных копий через WAN. Когда вы делаете копирование бэкап файлов за пределы офиса, вы значительно увеличиваете надежность системы хранения данных, однако одновременно сильно увеличиваете нагрузку на свой WAN канал, что выражается, прежде всего, в значительном увеличении времени резервного копирования. WAN акселератор позволяет эффективнее передавать данные даже через медленные соединения за счет применения следующих алгоритмов работы:

1. передача только измененных данных (все данные разделяются на блоки, и через WAN передаются только измененные блоки)
2. глобальный кеш блоков данных (то есть кеш, охватывающий все имеющиеся виртуальные машины), позволяет передавать хеши ранее переданных блоков, вместо данных самих блоков
3. сжатие сетевого трафика и дедубликация данных с переменной длиной блока
4. мультипоточные параллельные TCP/IP соединения для увеличения скорости передачи данных и другие TCP/IP оптимизации под соединения с большим временем отклика, характерным для WAN сетей
5. автоматическое возобновление прерванных соединений

Вместо предисловия

Отказоустойчивость понимается — в рамках одного дата-центра – то есть защита от выхода из строя 1-2 физических серверов.
Реализация у нас будет недорогая с точки зрения «железа», а именно то, что дает в аренду один известный немецкий хостер.
С точки зрения стоимости программного обеспечения оно либо бесплатное, либо уже имеется. Партнерская программа Microsoft, так сказать, в действии.
С появлением на рынке Windows Server 2012 было много рекламы «От сервера до облака», «Ваши приложения работают всегда». Именно это мы и попробуем реализовать.

Добрый день, меня зовут Алексей, мне 33 года и я копираст, – он криво ухмыльнулся небритому отражению, чокнулся с зеркалом и махом опустошил стакан.

— Хотя какой я копираст, так самый обычный банкрот и алкоголик…

А что еще остается делать, когда на счету долг почти полтора микрокоина? Два дня назад его аккаунт был окончательно переведен из режима «Read only» в «Access denied». Жизнь кончилась и выхода нет.



Хотя вот он выход, лежит на столе антрацитовой визиткой с лаконичной надписью «Мистер Руби» и крохотным тачпадом мгновенного вызова. Приложи палец – и все проблемы буду решены…

Проблемы начались полтора года назад, когда Алексей вместо того чтобы обновить железо на своей майнинговой ферме взял в ипотеку новую капсулу виртуальной реальности…

Странная вещь язык — почему вдруг майнинг и на ферме? А на шахте тогда что? Впрочем, последний год ферма все равно почти не приносила дохода — все съедали арендные платежи и плата за электричество…

Вы, наверное, развернули уже сотни или тысячи виртуальных машин с помощью vSphere-клиента для Windows. Однако, начиная с версии vSphere 5.1, VMware рекомендует выполнять задачи по администрированию виртуальной среды с помощью веб-клиента, так как со следующей версии клиента для Windows уже не будет в комплекте поставки. Другими словами, «учитесь сейчас или потом пожалеете».

Давайте начнем с простого и научимся выполнять одну из самых распространенных задач – развертывание новой виртуальной машины с помощью веб-клиента vSphere.

Цель

У меня, как и у многих жителей хабра есть домашний «балконный» сервер, на котором крутится множество сервисов, как личных, так и публичных — начиная от архива фотографий и Gitolite, и заканчивая несколькими веб-сайтами. Однажды я озадачился вопросом отделения личного от публичного с целью наведения порядка и усиления безопасности системы. Было решено публичные сервисы вынести в отдельные виртуальные машины, которые если даже подвергнутся взлому, то остальные данные не пострадают, а VM может быть легко восстановлена из резервной копии.
При этом я не люблю избыточность в каких бы то ни было проявлениях, и завести по виртуальной машине на каждый сервис хотелось с минимальными затратами таких ресурсов, как мое время и дисковое пространство. В качестве дополнительной «хотелки» выступала возможность обновлять однотипное ПО на всех виртуальных машинах одновременно, а не по отдельности.

Предистория

Года два назад я решил перейти полностью на линукс, но необходимость в венде не упала, поэтому всегда держал у себя 2 операционные системы. Около месяца назад попробовал поставить VirtualBox и на нее установить Windows, в общем то работать с 2мя операционными системами мне понравилось, но была одна проблема, я программирую исключительно компьютерную графику и мне нужна была поддержка OpenGL 3.3 и выше, к сожалению VirtualBox не предоставлял мне такой возможности. Погуглив наткнулся на такую штуку как Xen, долго пытался что-то сделать на ней, в итоге ничего не вышло, скорее всего из-за основной видеокарты — nVidia GeForce 580 GTX, гипервизор попросту не хотел запускать даже убунту, не говоря уже об виндовсе. Начал искать другие гипервизоры, и наткнулся на KVM, с ним пришлось повозиться, но в конце концов все заработало.

Конфигурация

Итак, нам понадобится:

• Процессор с поддержкой виртуализации (в Intel — это VT-d, в AMD — AMD-Vi). Важно: чипсет тоже дожен поддерживать эту технологию
• Материнская плата с блоком управления памятью ввода/вывода(IOMMU)
• Две видеокарты, для гостевой ОС желательно использовать AMD видеокарту, т.к. с ней проблем не должно быть. Видеокарты NVidia не работают.

Моя конфигурация:

• Процессор AMD Phenom II x4
• Материнская плата ASUS M5A99X EVO R2.0
• Видеокарта для Ubuntu: NVidia GeForce 580 GTX
• Видеокарта для гостевой ОС: AMD Radeon HD 5800

В процессе обеспечения защиты данных от сбоев важно проводить регулярный контроль резервных копий на предмет возможности полноценного восстановления системы из них. При этом не достаточно просто проверить контрольную сумму резервной копии (так как, например, корректная контрольная сумма не гарантирует наличие всех данных, логически необходимых для работы приложений),- необходимо выполнить полномасштабное тестовое восстановление (иногда с зависимыми компьютерами, например, контроллер домена + Exchange сервер), чтобы убедиться, что система действительно восстанавливается полностью корректно.

При этом, восстанавливать машины в сеть компании нужно продуманно и осторожно — скорее всего возникнут конфликты между оригинальной и восстановленной (тестовой) машинами, если они будут функционировать в рамках одного сетевого пространства (могут быть конфликты на уровне IP, DNS, домена и приложений).

Какие же технологии могут помочь администратору в этом вопросе, применительно к резервному копированию и восстановлению виртуальных машин?

17 мая в Москве прошел очередной VMware Users Community Group. Компания Veeam, как обычно, не прошла это мероприятие стороной. Я собирался рассказать презентацию о том, как учесть все аспекты для правильного построения системы резервного копирования на базе ПО Veeam Backup & Replication – по мотивам прошлогодней презентации на VMworld.

Но уже после подготовки всех слайдов, я понял, что тема достаточно обширна, чтобы вместиться в рамки короткой презентации. Да и сам формат презентационных слайдов не очень подходит для нее. Плюс не хотелось загружать людей текстом. В-общем, в самый последний момент перед началом выступления, получив несколько вопросов по новшествам версии 7, я поменял тему презентации на «История Veeam Backup & Replication», где рассказал о том что было, что у нас есть сейчас, и что планируем сделать в ближайшей версии.

Тема, как настроить Veeam Backup осталась актуальна. К тому же во время выступления, и намного больше – после него, я получал технические вопросы, которые и собираюсь осветить в серии статей. А самое главное – задавайте вопросы здесь, в комментариях, и мы на них обязательно ответим.

Прежде чем перейти к сегодняшней теме, отмечу один вопрос, заданный мне на форуме VMUG. Когда Veeam Backup будет бэкапить данные не через снапшоты VMware, а «железные» снапшоты СХД? На тот момент я не мог озвучить, но сейчас в полной мере отвечаю: c версии 7 Veeam Backup будет уметь копировать данные из SAN снапшотов. На начальном этапе будет осуществляться поддержка оборудования HP: LeftHand (включая VSA) и 3PAR.
Принцип прост: уже сейчас есть Veeam Explorer for SAN Snapshots, позволяющий вытаскивать данные из снапшотов. С помощью этой технологии и VMware Changed Block Tracking (CBT), Veeam Backup будет инкрементально доставать данные уже для резервных копий.

А теперь перейдем к первой части советов:

Proxmox одна из лучших оболочек в виде веб интерфейса для openvz и kvm(как бы я хотел увидеть хороший аналог для centos, говорят это будет opennode).
Удобно что умеет разные штуки для авторизации к примеру ldap, настройку для пользователей всевозможных ролей. Также proxmox умеет работать в кластере HighAvailability, кстати кто юзает проксмокс есть ли возможность распределять нагрузку по нодам проксмокса автоматом? На proxmox я перешел после того как redhat перестало суппортить xen.
Новый релиз базирует на Debian 7, и поддерживает говорят uefi(слава богу я его не встречал на серверах).
Вроде бы появился механизм клонирования виртуалок, вроде удобная и тривиальная вещь, но до сих пор не было.

Имея кластер из двух серверов стоящих на Proxmox с объединенным по DRBD хранилищем, бывает нужно обновить узел в этом кластере, без остановки работы машин в нем. Задача не сложная, но некоторые моменты не всегда вспоминаешь в процессе.
Поэтому, для себя, действия были записаны для будущего копипаста в консоль. Ну а раз уже написаны, почему бы не поделиться с людьми?
P.S. В конце небольшой бонус про расширение блочного устройства по имени DRBD, тюнинг и полезные ссылки.

Citrix Xen Server при том что основан на дистрибутиве Linux в процессе установки не позволяет управлять размерами разделов и конфигурацией жестких дисков под устанавливаемую систему. По умолчанию при установке он спрашивает только диск на который требуется установка с автоматической разметкой дискового пространства под свои нужды. В процессе установки на выбранном диске создается 3 primary раздела. Два по 4Гб и один на все оставшееся место. (Кстати, может кто подскажет, для чего нужен второй раздел на 4Гб? Предполагаю, что на случай обновлений, восстановлений системы там лежит копия первого раздела с установленной системой, но точной информации не нашел.)

Столкнувшись с необходимостью поднять Xen Server на трех дисках задумался об обеспечении хоть какой то сохранности данных. Итак схема итогового массива примет следующий вид:

Далее как это реализуется.

Как изменить Citrix Web интерфейс настройка

В последнее время все большую популярность набирают решения виртуализации от компании Citrix (я имею ввиду естественно виртуализацию приложений XenApp и естественно VDI решение — XenDesktop). Во всех компаниях есть свой корпоративный стиль, начиная от подписи в письме и заканчивая дизайном Web сайта и логотипами. Уверен, многие пользователи продуктов XenApp/XD часто сталкивались с вопросом как привести страницу Web доступа Citrix к корпоративному стилю.

В этой статье я детально опишу как это сделать.

Возникла у нас следующая задача:

• Есть подготовленный и настроенный в VMware образ виртуальной машины, в нашем конкретном случае FreeBSD 8.1
• Есть виртуальная платформа XCP 1.6 в которой уже крутятся наши виртуальные машинки

Необходимо поселить новую VM на наш сервер, при этом с минимальным количеством телодвижений. Статья представляет собой собранною воедино информацию из нескольких источников. Кроме того я постарался причесать команды, чтобы вам, да и мне самому, просто применять их копи-пастом в будущем.

Сегодня нам бы хотелось рассказать про основы работы с vCloud Director (vCD), продуктом, который позволяет создавать общедоступные, частные и гибридные облака. Не секрет, что многие ИТ-администраторы не до конца понимают, в чем принципиальное отличие их инфраструктуры vSphere от облака, и хотели бы знать, стоит ли вообще принимать vCD во внимание.

В VMware vCloud Director, есть два типа внешних сетей — routed network и direct network.

При создании второго типа сети на VDS создается порт, к которому пробрасывается напрямую машина.
При создании второго типа сети для каждой организации создается виртуальный роутер — vShield Edge, который позволяет строить site-to-site VPN, делать публикации, пробрасывать порты на внутренние виртуальные машины, быть DHCP, NAT, балансировщиком нагрузки (при том что в 5.1 он может еще ставиться в HA режиме) и прочие полезные функции функции роутера.

Подробнее про него можно почитать тут.

Из интерфейса vCloud Director нельзя настроить VPN для подключения к нему с обычных ПК, но иногда это необходимо и чтобы не ставить внутри организации какой-нибудь сервер (будь то OpenVPN или MS TMG) можно настроить vShield так, что он будет служить сервером доступа.
Настроить может только администратор vSphere — прав у администратора организации в vCloud Director недостаточно. И я покажу, как можно это сделать.

Сегодня я хочу затронуть вопрос о некоторых важных принципах процедуры резервного копирования и восстановления после сбоев. В частности будут рассмотрены такие вопросы как:

1. Взаимосвязь процедур обновлений продуктивной системы и процесса ее резервного копирования
2. Тестирование восстановления из резервных копий
3. Взаимодействие бэкап-процесса с элементами сетевой инфраструктуры продуктивной сети
4. Документирование процедуры восстановления после сбоев