Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 74
Взгляните на virtkick.io, сырой продукт, но очень сочное вступление у них.
Айпишники по MAC — это здорово, но их мало. В статье не хватает возможных вариантов конфигурации подсети адресов на отдельном бридже. Таких вариантов есть несколько. Лично у себя я использовал самый простой (подсеть на бридж и статическая адресация) и кратко описал его у себя, но так и не дошёл до публикации. Такой вариант годится только если все машины доверенные. Иначе можно спокойно прицепиться к чужому IP. Вот другие варианты не помешало бы описать, так как они уже не такие простые.
Ну и ещё хорошо бы было описать вариант виртуалок за NAT. Ну и кластер, да. Он интересен.
Ну и ещё хорошо бы было описать вариант виртуалок за NAT. Ну и кластер, да. Он интересен.
Какая версия proxmox и kvm у вас в итоге получилась?
С чем я столкнулся в Hetzner несколько лет назад: SATA диски очень медленные. Реально на ноде запускается только несколько виртуалок, потом начинаются тормоза во время бэкапа. Всё это привело к тому, что я перешёл на аренду их же виртуалок.
Кластеризация очень интересно, особенно из >2 машин с общим хранилищем.
Кластеризация очень интересно, особенно из >2 машин с общим хранилищем.
SSD-диски попробуйте :)
Мы в cyberplat отказались от идеи бекапа на уровне виртуалок, уж очень он медленный, хотя хранилища на NAS'ах infotrend. Используем bacula, так оно надежнее.
Это уже другой уровень администрирования. Proxmox хорош тем, что его поставить и админить может любой школьник. Но я с Вами согласен, бэкап виртуалки это неправильно. И ведь есть проекты инкрементального бэкапа для KVM — но что-то никак не доходят до продакшна.
Как вариант — снапшоты lvm, но уж очень долго их потом удалять.
Есть более интересный проект wiki.qemu.org/Features/Livebackup — создаётся список изменённых секторов на диске, так как делается в VmWare. Года два-три назад я спрашивал на форуме proxmox про него — тогда был не готов.
SSD RAID10 бекап скорость красота :).
У нас nfs сата писать не успевает…
У нас nfs сата писать не успевает…
Я тоже экспериментировал с Proxmox, только не в Hetzner, а у Kimsufi, сервер с 8ГБ за 15 евро (я как-то делал обзор этих серверов и их сравнение с Hetzner).
Я делал виртуальный кластер — создал шесть виртуалок (я использовал OpenVZ), и назначил каждой из них свои роли:
1) frontend — установлен только nginx
2 и 3) web1 и web2 — app-серверы, установлен только php-fpm
4) storage — установлен только nfs-server
5) db — установлена MariaDb
6) cache — установлен memcache. Также сделал отдельную виртуалку с Redis.
Итого я пытался повторить структуру кластеров, с вынесенными сервисами на отдельные машины. Все данные у меня лежали на машине 4, и через nfs подключались к 1-3, которые их использовали. В Nginx был настроен upstream, и запросы направлялись на оба веб-воркера с php.
Такая структура позволяет очень легко вынести один из сервисов, который начинал тормозить (обычно это app-серверы, а дальше БД), на отдельную реальную железку.
Всё получилось, всё работало шустро, до тех пор, когда в сервере не полетел диск, а скиллов не хватило его восстановить, и я переехал на DigitalOcean. Я вообще не админ, на настройку всего этого у меня ушло где-то дней пять. И потом где-то с год всё работало, крутило пару моих личных сайтов.
Я делал виртуальный кластер — создал шесть виртуалок (я использовал OpenVZ), и назначил каждой из них свои роли:
1) frontend — установлен только nginx
2 и 3) web1 и web2 — app-серверы, установлен только php-fpm
4) storage — установлен только nfs-server
5) db — установлена MariaDb
6) cache — установлен memcache. Также сделал отдельную виртуалку с Redis.
Итого я пытался повторить структуру кластеров, с вынесенными сервисами на отдельные машины. Все данные у меня лежали на машине 4, и через nfs подключались к 1-3, которые их использовали. В Nginx был настроен upstream, и запросы направлялись на оба веб-воркера с php.
Такая структура позволяет очень легко вынести один из сервисов, который начинал тормозить (обычно это app-серверы, а дальше БД), на отдельную реальную железку.
Всё получилось, всё работало шустро, до тех пор, когда в сервере не полетел диск, а скиллов не хватило его восстановить, и я переехал на DigitalOcean. Я вообще не админ, на настройку всего этого у меня ушло где-то дней пять. И потом где-то с год всё работало, крутило пару моих личных сайтов.
У хецнера тоже есть «барахолка» старых серверов, кстати:
robot.your-server.de/order/market/sortcol/price/sorttype/down
robot.your-server.de/order/market/sortcol/price/sorttype/down
У меня был proxmox на Hetzner'е, полетел жесткий диск потом на этом Hetzner'е. Ну и как-то оболочка не доставляет. Поставил условно бесплатную винду, VMWare туда — решение неплохое. Гемора меньше в разы.
Ну полетел. Дисков на их серверах как минимум 2, собираете их в RAID1, потом пишите в саппорт и вам меняют один из дисков. Пересобираете RAID, и летим дальше.
А собственно, в чем заключается, как вы выразились, «гемор»?
Гемора меньше в разы.
А собственно, в чем заключается, как вы выразились, «гемор»?
Это если поменяют тот диск, который сломался. Прецеденты известны :( А вообще VmWare лучше, конечно. Вот только судя по описанию, использовалась десктопная версия, это совсем не то же что KVM.
Это если поменяют тот диск, который сломался.
Не очень понял ваш выпад. Перед заменой диска суппорт хетцнера всегда сообщает SN диска, и просит подтвердить, его ли меняем или нет.
За 5 лет моей практики мне неизвестно о случаях, когда меняли не тот диск.
На сёрче время от времени мелькают леденящие душу истории такой замены.
Да и далеко не все помнят SN дисков, наверно.
Да и далеко не все помнят SN дисков, наверно.
Позвольте, а зачем мне их помнить?
Я вот знаю как минимум два варианта их узнать:
Я вот знаю как минимум два варианта их узнать:
/sbin/udevadm info --query=property --name=sda | grep ID_SERIAL
sudo hdparm -i /dev/sda | grep SerialNo
А это сработает на нерабочем диске?
Зависит от степени его неисправности. Если контроллер живой и диск виден в системе — определённо, да.
при запросе смены диска в админке хетцнера есть вариант указать СН исправного диска. Тогда заменят второй.
Там либо defective (испорченый) диск указывается, либо intact (живой). Поэтому если он не определяется возможность есть.
Вам крупно повезло, либо нам не очень, т.к. пару месяцев назад вместо того, чтобы заменить один диск в RAID-е они вынули оба и вставили один новый :) Хотя в их форме запроса на замену диска по-моему невозможносно промахнуться.
вам крупно не повезло, либо вы что то не так написали в запросе.
Я уже раз 6 менял диски за последний год (если не больше). Ни разу не перепутали. Делаю всё по статье которую написал для себя в корпоративной вике. На хабре вроде тоже подробно это обсуждали. Я не могу 100% утверждать, что хетцнер не мог проколоться, но у меня пока такого не случалось.
Я уже раз 6 менял диски за последний год (если не больше). Ни разу не перепутали. Делаю всё по статье которую написал для себя в корпоративной вике. На хабре вроде тоже подробно это обсуждали. Я не могу 100% утверждать, что хетцнер не мог проколоться, но у меня пока такого не случалось.
Для того что бы поставить ESX у немцев надо брать KVM за 25евро на час, а проксмокс ставится из рекавери.
Вы не правы, LARA console выдается бесплатно.
Сорри, сейчас цена и правда 0. раньше было так yadi.sk/i/u2OL1ZGEcQX6a
Может имеется в виду гарантированный KVM на более чем 2 часа? Он действительно платный и сейчас.
Пробовали Xenserver? Если да, то: Чем не устроил? В чём плюсы ProxMox по сравнению с Xenserver?
Не для холивара, просто интересно.
Сам столкнулся с KVM в начале этого года. Был использован голый libvirt (не мной). Пробовал всё это перенести на OpenNebula, потом на Proxmox, но имеющиеся машинки импортировать так и не удалось (каких то скиллов мне видимо не хватило). Плюнул и поставил Xenserver. Да, пришлось пересетапливать все машинки, но админить одно удовольствие. Сейчас в Хетцнере 10 хостов, в офисе 4 хоста. Работает стабильно.
Не для холивара, просто интересно.
Сам столкнулся с KVM в начале этого года. Был использован голый libvirt (не мной). Пробовал всё это перенести на OpenNebula, потом на Proxmox, но имеющиеся машинки импортировать так и не удалось (каких то скиллов мне видимо не хватило). Плюнул и поставил Xenserver. Да, пришлось пересетапливать все машинки, но админить одно удовольствие. Сейчас в Хетцнере 10 хостов, в офисе 4 хоста. Работает стабильно.
Пробовал xenserver, лично меня — все устроило, но клиентам нужны красивые кнопочки в веб-интерфейсах… Ну, вы поняли)
Преимущество ProxMox отчасти в том, что параллельно имеется возможность создавать как витруальные машинки KVM, так и контейнеры OpenVZ. На практике бывает полезно.
XenServer вроде бы и платный был раньше. Теперь бесплатен?
XenServer вроде бы и платный был раньше. Теперь бесплатен?
Да вот уж лет пять, если не больше, как была бесплатная версия с неполным функционалом, но вполне рабочая и с год как в разряд свободных перешла полноценная версия.
С тех пор как он стал бесплатным он похоже перестал развиваться. как в декабре 13 вышел 6.2 sp1 так на этом прогресс и закончился.
У xenserver ужасная консоль управления под WIndows, и другой нету. Либо монстр xencenter либо ssh.
Есть api от citrix… и он ужасен. Ужасен тем, что команды могут не выполняться без каких либо внятных записей в логах.
Логи… эта самое ужасное, что есть в citrix xen. Если вам не повезет поймать баг или ошибку, то о ее причинах можно узнать только из гороскопа. А проблемы будут рано или поздно… И приходят они как правило не по одиночки.
Пользовался Citrix 2 года. Пока все хорошо, из претензий только монстроватый xencenter. Но в любой момент он мог начать вытворять совершенно ужасные вещи. Безмерно рад, что избавился от него. Теперь сплю гораздо спокойнее. Citrix Xenserer — никогда больше!
У xenserver ужасная консоль управления под WIndows, и другой нету. Либо монстр xencenter либо ssh.
Есть api от citrix… и он ужасен. Ужасен тем, что команды могут не выполняться без каких либо внятных записей в логах.
Логи… эта самое ужасное, что есть в citrix xen. Если вам не повезет поймать баг или ошибку, то о ее причинах можно узнать только из гороскопа. А проблемы будут рано или поздно… И приходят они как правило не по одиночки.
Пользовался Citrix 2 года. Пока все хорошо, из претензий только монстроватый xencenter. Но в любой момент он мог начать вытворять совершенно ужасные вещи. Безмерно рад, что избавился от него. Теперь сплю гораздо спокойнее. Citrix Xenserer — никогда больше!
Чем стали пользоваться и вообщем для каких задач пользовались Xen-ом?
Ts и vdi на windows. Sip, почта на linux. Поностью вынесенная на удаленку инфраструктура. Очень хотелось vmware, но из соображений простоты вхождения для коллег остановились на hyper-v, да и лицензии уже были. Есть свои нюансы, но в целом доволен. Система стала гораздо более предсказуемая. И есть возможность делать что-нибудь на самом сервере, например сделать бэкап виртуалки, сжать его и в ночное время по расписанию отправить на сервер бэкапов, и это все парой скриптов на ps. Решение конечно не энтерпрайз, но работает неплохо. На vmware такого не сделать.
Про «с тех пор как он стал бесплатным», ну он бесплатен был уже лет 5, как я выше писал. Вы хотели сказать с момента отдачи всех версий в OpenSource? Ну я за ним не следил с той поры.
Про логи, ну что про логи, все системные логи, как в любом линукс-дистрибе, а вот логи xapi это да, грусть и печаль.
Про управление согласен, XenCenter выглядит страшноватым, а его свободный аналог давно не развивается. Никаких страшных вещей он у меня за эти 5 лет не вытворял, но для удобной морды приходилось держать винду в виртуалке, что тоже было тем еще сюром, сидеть под линухой, админить линуховые сервера и для удобной морды к одному из серверов с виртуалками держать винду под виртуалкой.
Я его использовал лет 5, сейчас остался один и когда он уйдет никаких Xenserver больше не будет.
Предвосхищая вопрос ТС: Proxmox и чистый KVM без сторонних морд.
Про логи, ну что про логи, все системные логи, как в любом линукс-дистрибе, а вот логи xapi это да, грусть и печаль.
Про управление согласен, XenCenter выглядит страшноватым, а его свободный аналог давно не развивается. Никаких страшных вещей он у меня за эти 5 лет не вытворял, но для удобной морды приходилось держать винду в виртуалке, что тоже было тем еще сюром, сидеть под линухой, админить линуховые сервера и для удобной морды к одному из серверов с виртуалками держать винду под виртуалкой.
Я его использовал лет 5, сейчас остался один и когда он уйдет никаких Xenserver больше не будет.
Предвосхищая вопрос ТС: Proxmox и чистый KVM без сторонних морд.
Очень интересно было бы прочитать про кластеризацию, когда делал — сам был неприятно удивлен тем (наверное конечно своими кривыми руками), что ноды нормально работали только находясь в одной подсети, а при ВПН подключении совсем не хотели работать, как я тогда смог понять из-за того, что ВПН поднимался позже чем инициализация ноды.
если вы уделите в статье этому вопросу пару строк — буду Вам очень благодарен за ликбез.
если вы уделите в статье этому вопросу пару строк — буду Вам очень благодарен за ликбез.
Вообще-то приоритет выполнения скриптов можно задавать, и VPN вполне несложно поднять самым первым.
да, это понятно… впн то уже было потом и не было желания с ним возиться… а вот почему в разных сетях ноды не видели друг друга… или это у меня локально были проблемы с руками?
Сложно ответить без предустановленной libtelepathy. Нужно больше информации)
В разных сетях — что имеется ввиду? Ноды должны видеться везде, они по SSH и IP адресам связываются, если не ошибаюсь. Могла быть проблема с видимостью между VM на разных нодах из разных сетей — эта проблема описана, с присвоением отдельных MAC адресов она вроде уже снята с повестки.
В вики написано черным по белому, что по умолчанию кластерные ноды обмениваются информацией по мультикасту. Если хотите в разных ДЦ, то нужно иначе настраивать, и там свои ограничения.
спасибо за ответ, значит не дочитал. А ведь знал, что просто неправильно делал)) Если опишут в статье, буду рад, ну и теперь знаю что можно и самому разобраться.
Привычка читать мануалы с самого начала повышает зарплату ;)
ЕМНИП, статью можно найти по ключевому слову multicast. Можно переключить на unicast, но не более нескольких нод, вроде бы трех-четырех. Связано с тем, что используемый протокол очень флудит сеть(по их словам)
upd: через впн дорожно работать. Ну или через IPSec, vlan. У хецнера можно попросить свою подсеть.
ЕМНИП, статью можно найти по ключевому слову multicast. Можно переключить на unicast, но не более нескольких нод, вроде бы трех-четырех. Связано с тем, что используемый протокол очень флудит сеть(по их словам)
upd: через впн дорожно работать. Ну или через IPSec, vlan. У хецнера можно попросить свою подсеть.
Привет и спасибо автору.
У меня всё вертится на том же hetzner, но на Oracle VirtualBox (полный зоопарк: Windows XP, Ubuntu 12 LTS, etc.)
Был ли опыт у автора и можете ли вы сравить VBox и Proxmox? Какие основные различия? Плюсы и минусы продуктов?
У меня всё вертится на том же hetzner, но на Oracle VirtualBox (полный зоопарк: Windows XP, Ubuntu 12 LTS, etc.)
Был ли опыт у автора и можете ли вы сравить VBox и Proxmox? Какие основные различия? Плюсы и минусы продуктов?
А чего там сравнивать. Производительность должна сильно отличаться.
По-моему сравнивать VirtualBox и Proxmox некорректно, так как Proxmox — это в первую очередь панель управления, а не система виртуализации. Или имеется в виду сравнение производительности VirtualBox-а и KVM на ядре поставляемое с proxmox-ом?
Зашел прочитать о создании кластера, а увидел упоминание в нем только в голосовалке :(
Проксмокс хорош, но только OpenVZ не любит Debian.
Сейчас у нас как раз кластер на Proxmox'е, рассматриваю вариант миграции на CoreOS со всеми плюшками(автонастройка сервисов через etcd, распределенная файловая система, автозапуск упавших/требущих обновления сервисов, перекидываение контейнеров в зависимости от нагрузки)
Проксмокс хорош, но только OpenVZ не любит Debian.
Сейчас у нас как раз кластер на Proxmox'е, рассматриваю вариант миграции на CoreOS со всеми плюшками(автонастройка сервисов через etcd, распределенная файловая система, автозапуск упавших/требущих обновления сервисов, перекидываение контейнеров в зависимости от нагрузки)
Наберитесь терпения, мой друг, очень постараюсь написать про кластер после выходных.
Миграция на CoreOS достаточно сьерзеное решение. Вам же придется пересмотреть всю инфраструктуру.
Тоже подумывал об этом и развлекался с coreos в vagrant, но честно говоря очень сложно сообразить каким образом переразбить текущие VPS по котнейнерам.
В Proxmox есть возможность использовать ceph, так что это эта плюшка CoreOS, которая у вас и так уже есть :)
Тоже подумывал об этом и развлекался с coreos в vagrant, но честно говоря очень сложно сообразить каким образом переразбить текущие VPS по котнейнерам.
В Proxmox есть возможность использовать ceph, так что это эта плюшка CoreOS, которая у вас и так уже есть :)
С CoreOS гораздо больше проблем, чем хотелось бы. Однако я верю, что за LXC будущее. Сеанс даже смартфоны во всю используют «песочницу».
Основная проблема в том, что на хост машину поставить ничего нельзя. Хотел хранить все контейнеры, пришлось сильно мудрить.
Кстати, никто не сравнивал производительность glusterfs(реплика) с блочным устройством ceph?
Основная проблема в том, что на хост машину поставить ничего нельзя. Хотел хранить все контейнеры, пришлось сильно мудрить.
Кстати, никто не сравнивал производительность glusterfs(реплика) с блочным устройством ceph?
OpenVZ не любит Debian.
В чем проявляется нелюбовь?
Наверное имеется в виду, что openvz официально перестали поддерживать в штатном ядре Debian.
До сих пор нет поддержки openvz в ядре дебиана выше 2.6.
Поподробнее можете прочитать в release notes ProxmoxVE.
Ну и очень странные и неповторимые проблемы со стартом сети. Жил контейнер, его никто не трогал, хост тоже не трогали, а сеть после загрузки не поднимается автоматом. Даже lo.
Поподробнее можете прочитать в release notes ProxmoxVE.
Ну и очень странные и неповторимые проблемы со стартом сети. Жил контейнер, его никто не трогал, хост тоже не трогали, а сеть после загрузки не поднимается автоматом. Даже lo.
Никак не добьюсь работы snapshots в ProxMox. Сделал 2 VG: vg0, vg1. все данные на vg0: local и новый storage. Предполагал, что ProxMox увидит vg1 чтобы делать snapshots на отдельный диск. Но, опция всё равно не появилось.
Есть советы по поводу организации внутренней локальной сети? Так сказать «best practice»?
Спасибо заранее!
Есть советы по поводу организации внутренней локальной сети? Так сказать «best practice»?
Спасибо заранее!
Дабы snapshotы работали, вам нужно повнимательнее ознакомиться с документацией.
pve.proxmox.com/wiki/Live_Snapshots#Difference_between_LVM_snapshots_and_Live_snapshots (информация отсюда)
Requirements
In order to use Proxmox VE live snapshots all your virtual machine disk images must be stored as qcow2 image or be in a storage that supports live snapshots and is managed by Proxmox (like Ceph’s RADOS Block Device (RBD)). Future version will support also Sheepdog or Nexenta.
pve.proxmox.com/wiki/Live_Snapshots#Difference_between_LVM_snapshots_and_Live_snapshots (информация отсюда)
Касаемо LAN, что именно вас интересует?
Best practice.
Например, на одной ВМ рекомендуется поставить OpenVPN, чтобы подключаться в сети всех ВМ и хоста.
ВМ-ки в одной ли локальной сети или лучше четко разграничивать, в то же время, чтобы трафик не ходил через белые адреса, полученные от Hetzner. На что еще следует обратить внимание? Если есть советы. Может примеры схем запомнились, которыми можете поделиться. Может свою рисовали, и т.д.
Спасибо!
Например, на одной ВМ рекомендуется поставить OpenVPN, чтобы подключаться в сети всех ВМ и хоста.
ВМ-ки в одной ли локальной сети или лучше четко разграничивать, в то же время, чтобы трафик не ходил через белые адреса, полученные от Hetzner. На что еще следует обратить внимание? Если есть советы. Может примеры схем запомнились, которыми можете поделиться. Может свою рисовали, и т.д.
Спасибо!
Ну в конкретно моем случае я настраиваю на «белые» адреса hetzner, просто куплен flexi pack и подсеть.
В целом, особых проблем при организации LAN на Proxmox нету. Буду, наверное, банален, но по сетям рекомендую изучить этот раздел справочной документации:
pve.proxmox.com/wiki/Network_Model
Если есть какая-то конкретика, обращайтесь, разберем.
В целом, особых проблем при организации LAN на Proxmox нету. Буду, наверное, банален, но по сетям рекомендую изучить этот раздел справочной документации:
pve.proxmox.com/wiki/Network_Model
Если есть какая-то конкретика, обращайтесь, разберем.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Организация своего хоста виртуализации на Hetzner