Какая система виртуализации лучше?

    День добрый.

    Люди, имеющие опыт поднятия виртуалок, на различных системах, подскажите:
    Какую систему виртуализации (из opensource) поставить на сервер, с учетом, что гостевые системы преимущественно будут заниматься роутингом?


    У нас на фирме сейчас зоопарк серверов (обычные PC-шки), которые занимаются всем — от роутинга пакетов, до FTP-серверов. Всё это жрет электричество, требует охлаждения, и замены деталей по мере старения.
    Ввод в строй нового сервера например на замену старому требует покупки железа, установки и настройки.
    Потом нужно держать оба сервера включенными какое-то время, чтобы в случае если на новом какие-то проблемы (не донастроили, столкнулись с неожиданным глюком) быстренько переключить всё на старый.

    Решение видится в затаскиванию всех этих железных монстров внутрь одной машины.

    Т.к. большинство наших «серверов» по мощности остались далеко позади одного современного компа на базе Core 2 Duo или Core 2 Quad — то в расчетах мы исходили из того, что на компьютер на базе Core 2 Duo E6400 @ 3GHz / 4096 RAM удасться затащить хотя бы 4 реальных машины.

    В качестве кандидатов к переносу выбраны были самые важные серверы: VPN (около 500 одновременных сессий), пару софтовых Linux-роутеров, radius-сервер, и пару серверов, отоброжающих админский web-интерфейс.

    Дальше начался подбор систем виртуализации. Из кандидатов были:
    -OpenVZ
    -KVM
    -Xen
    -VMWare ESXi

    В результате отбора получилось следущее:
    -OpenVZ. Опыт работы с ним уже был. Он вообще фактически не разграничивает системы между собой, и работает чисто на уровне эмуляции вызовов ядра. Кроме того, он не позволяет поднимать новые сетевые интерфейсы внутри системы, а значит VPN сервер на нем уже не получится. Для web-хостинга еще пойдет. Для роутеров — нет

    -VMWare ESXi не смогли запустить ни на одном из доступных нам компов. Установщик либо просто не запускался, либо система после установки банально не грузилась.

    -Xen — отпал потому, что в каждой гостевой машине должно быть то же ядро, что и на хост-машине. Кроме того. Собственно заставить его работать мне вообще не удалось. Может быть виной мои кривые ручки. Поэтому мы перешли к последнему кандидату…

    -KVM — ему без разницы, какая гостевая машина запускается внутри хост-машины. Хоть с Виндой, хоть c OS/2. По сути полная изоляция машин друг от друга. Подкупило и то, что RedHat делает ставку именно на эту систему, и советует ее для Enterprise применений. Соответственно всем нашим требованиям оно соответствовало.

    Поставили KVM. Быстро разобрались как ставить внутри системы, наладили сетку и маршрутизацию между виртуалками.
    Схема была такая. У хост-машины 2 сетевых карты, внутри они связаны в следующую систему:
    eth0-хост-машины — виртуальный br0 — [eth0-гостевой-машины-1 — eth1-гостевой-машины-1] — виртуальный br1 — [eth0-гостевой-машины-2 — eth1-гостевой-машины-2] — виртуальный br2 — eth1-хост-машины

    Стали тестить. В тестах такая схема вела себя замечательно. Нагрузки почти никакой. Работает стабильно.
    Поставили в продакшн. И тут БАЦ! Нагрузка возросла в разы.

    Выяснилось, что при потоке трафика через виртуалку около 15Мбит, она жрёт 40% процессора (согласно top) на хост машине. Соответственно уже 2 машины сжирают почти всю процессорную мощность на хост-машине. При этом внутри виртуалок загрузка 1-2%.

    Прочитали, что нормальные люди без virtio не живут. Это такие специальные драйвера, которые напрямую пробрасывают физическое железо в виртуалку, без эмуляции его. Собственно это уменьшает нагрузку на хост-машину.

    Попробовали. И столкнулись с двумя непонятными вещами:
    1) При включении virtio гостевая машина может просто упасть без объяснения причин через 3-8 часов работы
    2) Нагрузка на хост-машине не уменьшилась, а осталась на прежнем уровне.

    На хост-машине система Gentoo, с ядром 2.6.30, собранным вручную. Всё, что нужно для виртуализации в нее уже вкомпилено.
    На гостевых машинах пробовали Ubuntu и ArchLinux. Разницы нет. Падают все.

    Пробовали обновлять ядро на хост-машине, обновлять KVM, обновлять гостевую машину… пока это ничего не дало. Все работает без virtio и порой оказывается перегружено
    Сейчас продолжаю эксперименты с KVM на другой машине, но уже закралась мысль опробовать Xen… и вообще, может быть я что-то делаю неправильно?
    Например чтобы работало virtio, нельзя объединять интерфейс виртуалки с реальной сетевушкой в софтовый бридж… А может все правильно делаю, и так и должно быть? Такая нагрузка, такие проблемы…

    В общем нужна помощь компетентных людей.

    P/S: Огромная просьба, не давать советы вроде «замени всё на Cisco», «линукс фигня, ставьте фряху». Если вы немного подумаете, то поймете почему эти советы довольно далеки от реальности.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 107

      –2
      Для Вас критично, чтобы хост был под линукс?
      Если нет — попробуйте hyper-v
      У меня под Hyper-V крутился сервак с ISA + файловый сервер + еще несколько серверов, и производительность устраивала. Но все гостевые ос у меня были от Microsoft

      P.S. Hyper-V бесплатен.
        0
        Критично. Если уж платить за серверную ОС, то лучше VMWare.
        Но вообще платить не хочется.
          +2
          Внимательнее.
          P.S. Hyper-V бесплатен.
            +4
            а винда тоже бесплатна? или вы хиперв уже научились на голом железе ставить? Поинт ж аписал, платить за серверную ОС не хочет.
              +2
                +1
                сори, буду знать ;)
                  0
                  однако, список поддерживаемых гостей не радует. 99% — винда
                    0
                    На список можно особо не смотреть, пробовал многое из того, чего в нём нету. Список гарантирует работу, а теоретически подняться там может что угодно.

                    Хотя ГВ тоже не фонтан — есть какая-то странная проблема с виртуальным IPCop, дико тормозит при работе антиспам-прокси, причём тормоза начинаются через пару дней работы. По идее, на гораздо более слабой машине всё это работало «на ура».
                  0
                  Если меня глаза не обманывают, поинт просил opensource, а не «чтобы не платить».

                  point212, уточни ибо ни одно из множеств бесплатного и opensource софта не является подмножеством другого.
                    0
                    Хм. Ок. Уточнение :) Еще и бесплатного.
                    Платить за платформу 50-80к не улыбается… на эти деньги можно проапгрейдить половину серверного парка :)
                  0
                  Он бесплатен, но работающий в core режиме из которого им управлять ОЧЕНЬ неудобно, кушает прилично ресурсов на свои нужды. Достаточно удобно им управлять с машины с операционкой >Vista или server 2008, но всё равно не айс. До VMware server работать я пытался именно на hyper-v и xen не понравилось.
                    0
                    Поставьте управляющую машину виртуальной.
                      0
                      Да я так и сделал… просто консоль не понравилась, через… опу всё на мой взгляд, а кому то может и понравится
                –1
                Виртуализационные дрова для линуха где? Держать Hyper-V чисто под виртуализацию Linux без Windows чистой воды идиотизм.
                  0
                  Дрова.

                  When installed in a supported Linux virtual machine running on Hyper-V, the Linux Integration Components provide.

                  Driver support for synthetic devices: The Linux integration components include support for both the synthetic network controller and synthetic storage controller that have been developed specifically for Hyper-V. These components take advantage of the new high-speed bus, VMBus, which was developed for Hyper-V.

                  Hypercall adapter: The Hypercall adapter is a thin layer of software that translates the Xen-specific virtualization function calls from a Xen-enabled Linux kernel to Microsoft Hyper-V hypercalls. This results in improved performance for the Linux virtual machine.

                  Fastpath Boot Support: Boot devices now take advantage of the storage VSC to provide enhanced performance.

                  www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=ab7f4983-93c5-4a70-8c79-0642f0d59ec2
                    0
                    Дрова под linux в самораспаковывающемся exe файле это такой новый прикол? К тому же я что-то сильно сомневаюсь, что там исходники.
                      0
                      К сожалению, помочь с исходниками не могу
                      Но исходники точно где-то выложены, не зря же анонс писали

                      Я интереса ради скачал exe со страницы, указанной мной ранее.
                      Запустил.
                      Это оказался zip sfx
                      Внутри него iso и файл Readme

                      Цитата из ReadMe

                      Поддерживаемые операционные системы
                      Компоненты интеграции Linux поддерживают на виртуальной машине следующие операционные системы:
                      • SUSE Linux Enterprise Server 10 SP2 x86
                      • SUSE Linux Enterprise Server 10 SP2 x64
                        +2
                        Ладно вам, мужики. Все равно не будет дела с Hyper-V. Это еще одну технологию учить, и совершенно другой мир МС-продуктов.

                        На это все равно нет времени. С Линуксом у нас хоть все более-менее работать умеют. А вот с Виндой никто. Да и зачем ее внедрять, если у нас все серваки на Линухе.

                          0
                          Под KVM Redhat кстати для Windows драйвера выпустил.
                          0
                          Писали одно, а есть в исходниках и работают другое. А пока там работает только SUSE Linux.
                  +2
                  Поправка:
                  OpenVZ: позволяет создавать бриджи и интерфейсы для каждого ve по многу штук, а еще я много раз ставил OpenVPN на OpenVZ :)

                  Xen: Во-первых для линуксо любое ядро через pygub, во-вторых для любой системы любо ядро через HVM, а ты как думал под ним windows пускают, на стандартном ядре сервера? :)
                    0
                    Ну да, можно. Но почему-то кого я ни спрашивал, говорят что самовольно виртуалки там не могут интерфейсы поднимать. А нам как раз нужно ppp-устройства. создавать.
                      0
                      Ну тогда — XEN
                        +1
                        У нас PPTP-сервер вертится под виртуалкой OpenVZ без каких-либо проблем.
                          0
                          расскажите как готовили? ставили то экспериментальное ядро про которое говорится здесь? wiki.openvz.org/Ppp_in_VE
                      0
                      я пользуюсь VMWare Server 2.0.1 под линукс, он бесплатный, не самый шустрый, но вполне нормально работает, так вот было несколько проблем с ним — одна из которых — загрузка процессора на виртуалках при интенсивной работе сети, решение оказалось простым — отключил TCP segmentation offload, и checksum offloading на интерфейсах в гостевых системах, скорость выросла в разы!!!

                      Так что может быть надо этот вариант попробовать на остальных виртуальных серверах, если VMWare не нравиться, но я считаю что VMWare в этой области бессменный лидер.

                      P.S. а вообще по логике лучьше всего ситуация с производительностью сети должна быть у Xen
                        0
                        VMWare Server 2.0.1
                        Дичайший отстой по производительности. Лучше использовать VmWare ESXi. Но он у товарищей как раз таки не взлетел.

                          0
                          1. ESXi я с железом подружить не смог
                          2. я написал что VMWare server не самый шустрый, но для многих задач более чем достаточный
                            0
                            Он работает медленнее чем Xen и VirtualBox. Со временем производительность сервера деградирует приходится перезагружать виртуалки.
                        +1
                        VMWare ESXi ставится только на «сертифицированное» железо — так написано у них на сайте. Но, он также нормально поставился на компьютер следующей конфигурации: мать Intel на Q45 чипе, проц E8400 (нужна поддержка Intel VT), винт баракудный ES.2. На остальных машинах отказывалась запускаться. Плюс ко всему, чтобы добавить туда вторую сетевуху (1-ая встроенная Intel), нужно было купить Intel PCI-E сетевуху, ибо ни RTL813x, ни 3COM905 не определялись в VMWare ESXi.

                        Если вы такое железо достать не сможете, то почему вы не попробуете установить VMWare Server 2.0? Он тоже бесплатен.
                          0
                          Ну вот по соседству тут говорят, что очень низкая производительность.
                          Просто не хотелось бы потратить еще месяц на изучения и поднятие VMWare Server, настройку в нем всех нужных нам виртуалок, чтобы потом обнаружить что под нагрузкой он тоже не тянет.

                          К сожалению для ESXi сейчас нет подходящей машине.
                          Попробую дома поставить. У меня как раз примерно такая конфигурация.

                          А вот с сетевушкой что делать неизвестно… у меня что-то встроенное… Марвелл чтоли…
                          В нашем городке Intel не купить…
                            0
                            К сожаление на счёт производительности могу сказать только следующее:

                            На машине с процом E2600 и 2Gb стоит debian 5.0 (2.6.26-2) и на ней vmware 2.0.x (точный номер не помню). Из виртуалок установлены:
                            — Win2k8 в качестве доп.контроллёра домена и DNS-сервера (45 машин обслуживает)
                            — Mikrotik 3.21 в качестве маршрутизатора, dhcp-сервера (45 машин натит в Инет)
                            — Debian 5.0 в качестве почтового сервера (zimbra), и в качестве netflow-коллектора
                            — Trixbox 2.6 в качество мини-АТСки для soft- и удалённых клиентов (штук 10 клиентов), также имеет H.323 канал к внешней Мини-атс

                            Всё это «хозяйство» работает 24/7 вполне успешно.
                              0
                              У Вас RAID стоит? Это всё нагружает диски?
                              0
                              VMware server в отличие от всех выше-упомянутых очень быстро и просто поднимается.
                              У VMWare есть конвертор реальных машин в виртуальные.

                              Она плохо по процессору производительность показывает, файловая система быстро работает (даже очень), сеть (после обработки напильником) тоже быстро
                            0
                              0
                              Читал. Всё сделано как там написано.
                              С поправкой на то, что ядро на Ubuntu пересобирать не пришлось. Поддержка virtio заработала «искаропки».

                              Производительность сети тоже тестировал. С виртуалки на хост-машину при включенном virtio намерял 403Мбита.
                              На хост-машине при этом загрузка процессора 100% на обоих ядрах (второе сейчас занято как раз другой виртуалочкой).
                              То есть в теории все нормально.

                              Но осталась проблема того, что при включенном virtio виртуалка может упасть в любой момент. Это неприемлемо. И, к сожалению, я не нашел причины, по которой это происходит. В логах никаких записей нет. Анализировать coredump никто из нас не умеет.

                              На другой машине, где хост KVM это Ubuntu server, а гостевые машины ArchLinux, Gentoo, и опять же Ubuntu Server тоже все падает при включенном virtio при большой нагрузке на сеть.
                              Причем это разные компьютеры совершенно.
                                0
                                Пишите разработчикам. Ядро кстати можно попробовать обновить если у вас не последнее.
                                  0
                                  Да. Ядро пробовал обновлять. Я уже писал об этом здесь.
                                  Разработчикам я бы с удовольствием написал, но мешает пресловутый языковой барьер. У меня очень плохо с разговорным английским. :) Прочитать и понять инструкци я могу. А вот когда пишу англичанам получается что-то вроде «я хотеть вас спрашивать про настройка той программый этой инструмент»
                                    +2
                                    не надо стесняться знаний языка, ваш пример это нормально.
                                    азиаты в большинстве своем так и пишут.
                                    для начального общения хватит даже гугло-переводчика.
                                  0
                                  > Анализировать coredump никто из нас не умеет.

                                  Устанавливаете gdb, если его еще нет. В генту это sys-devel/gdb.

                                  $ gdb <полный путь к бинарнику> <полный путь к core-файлу>
                                  затем внутри дебаггера:
                                  (gdb) info threads apply all

                                  эта команда покажет стек-трейсы по всем тредам. Будем надеяться, что бинарник и либы были скомпилированы с опцией -g — тогда вы увидите названия всех исходных файлов и номера строк, а не просто адреса в памяти. Во всяком случае, если будете связываться с саппортом, то эти стек-трейсы вам пригодятся.
                                +2
                                -OpenVZ.
                                Делал VPN на openvz, все получается. А еще на openvz можно уйти от стандартного venet к veth-интерфейсу, возможностей дает побольше.

                                -Xen — отпал потому, что в каждой гостевой машине должно быть то же ядро, что и на хост-машине.
                                Это ограничение Virtuozzo и openvz, в xen спокойно даже винда ставится.

                                Попробуйте еще citrix xen server. Сейчас его не использую, но пробовал и мне понравилось. Бесплатный если что :)
                                  0
                                  Спасибо, citrix xen server гляну.

                                  Проблема с Xen на самом деле в том, что я его даже не щупал. Не смог установить. Но это, я думаю, мои кривые ручки. Ставил на Генте, наверное не так ядро собрал. Не грузилась машина.

                                  А еще в инете очень мало инфы и по производительности. Весь шум вокруг KVM. А по Xen относительное затишье.
                                    0
                                    Вот, кстати, XenServer хорошем тем, что это готовая ISO-шка с Linux + Xen + интерфейс управления от Citrix (но к нему есть очень удобный desktop-клиент, правда, только под Windows)
                                      0
                                      с XEN работаем с зимы, после первого тестового периода особых проблем нет, есть достаточно много приятных моментов. описанной проблемы с загрузкой проца хост-машины на трафике не вижу.
                                    0
                                    Ставил Citrix XenServer (based on Xen), удобная установка, работает быстро. Бесплатный. Под ним пробовал два сервера — SLES11 + Win2008, все прекрасно. SLES, кстати, он еще и в режим паравиртуализации переводит сам.
                                      0
                                      А что Вы в блог «Виртуализация» не перенесете? Как раз по теме :)
                                        0
                                        Извините, я на него не был подписан. Сейчас подпишусь, и попробую перенести.
                                        0
                                        Всё это конечно очень хорошо, но у кого-нибудь конкретно есть опыт использования виртуализации для размещения в виртуалках роутеров, и пускания через них больших потоков трафика.
                                        Может быть это вообще глупая затея…

                                        На лицо существенный недостаток проверенной информации об опыте использования виртуалок на KVM.

                                        Например сколько виртуалок можно повесить на один компьютер? По виртуалке на ядро?
                                        А какой мощности должна быть хост-машина, чтобы пропустить через себя скажем 50Мбит трафика, и при этом не деградировать в производительности.

                                        Потому что сейчас, например, временами нагрузка на VPN-сервере подскакивает и хост машина загружена 100%… а в виртуалке тормоза конкретные. Интернет у абонентов через VPN-соединение начинает тормозить, даже если шейпера никакого не стоит.

                                        Я бы спросил на каком-нибудь профильном форуме, если б знал где такой есть. Да и к тому же у меня с английским плохо. :( Наврядли я смогу сформулировать свой вопрос доступно для других.
                                        Но если знаете где спрашивать про KVM — подскажите.

                                        Почему могут падать виртуалки, при использовании virtio? Тоже непонятно.

                                        Нет, я б переполз на Xen, если бы был уверен, что там точно не будет проблемы производительности сети.
                                          0
                                          > OpenVZ <...> не позволяет поднимать новые сетевые интерфейсы внутри системы, а значит VPN сервер на нем уже не получится.
                                          ваши данные устарели
                                          ppp: bugzilla.openvz.org/268
                                          tun/tap давно уже есть
                                            0
                                            >Кроме того, он не позволяет поднимать новые сетевые интерфейсы внутри системы, а значит VPN сервер на нем уже не получится.

                                            в 2006 году мы хостили впсы, на которых некоторые клиенты крутили vpn-сервисы. максимум было по 50 айпишников на впс, tun/tap изкоробки (ЕМНИП modprobe tun на хост-системе и рестарт виртуалки)
                                              +2
                                              >А еще в инете очень мало инфы и по производительности. Весь шум вокруг KVM. А по Xen относительное затишье.

                                              Гм. Недавно читал обратное. Мол kvm до сих пор сливает xen-у. Шум из-за kvn обусловлен тем, что она маленькая и ее проще пилить. Ну… и все соответственно пилят. В коде xen кроме самих ксеновцев никто не разбирается. Вот и шума нет.

                                              Присоединюсь, пожалуй, к совету попробовать Citrix XenServer. Про одинаковое ядро в гипервизоре и госте Вас дезинформировали.
                                                +1
                                                Использую XEN, ядра на хосте и гостях — разные. как раз используется для чистого роутинга — вполне себе работает. канал до 20мбит — не нагружает ни хоста, ни гостя. ОС — OpenSuSE 11.1. параметры желесза хоста:
                                                Intel® Core(TM)2 Duo CPU E4600 @ 2.40GHz
                                                1 гиг памяти всего, по 192 на виртуалку. параллельно пишутся в базу mysql данные ulog и squid с этих гостевых систем.
                                                  0
                                                  Огромное спасибо всем ответившим.

                                                  А особенно большое спасибо хабраюзеру Shelya, который посоветовал посмотреть Citrix XenServer.
                                                  Посмотрел их рекламное видео — ажно захотелось все бросить и сесть попробовать :)

                                                  Про KVM конечно ничего так и не выяснил… похоже его совсем никто не использует :)))
                                                  Зато возможно нашел альтернативу.

                                                  Надеюсь на этом тема не закроется, и все мы узнаем еще чтонибудь интересное и полезное.
                                                    0
                                                    kvm-у место там, где надо просто, быстро (в смысле результат получить) и слабое (никакое) управление. Но возможностей немало, к примеру есть миграция машины между хостами как у xen. Считайте kvm просто инструментарий, к которому надо допиливать инфраструктуру (она как я понимаю RedHat-ом и пилится).

                                                    По моим субъективным тестам у kvm большие тормоза у сети (больше 100мбит эмулировать не получается, хотя бы и внутреннюю, между двумя гостями и при этом высокая нагрузка на cpu), но зато без паравиртуализации высокая производительность диковой подсистемы, т.е. драйвера для win не нужны (а вот про глюки virtio я слышу уже не в первый раз и пользы никакой).

                                                    Автор статьи забыл про VirtualBox, если сравнивать с kvm, то это удобное (GUI-рюшечки) управление, неплохая скорость сетевого интерфейса (её виртуальная гигабит-сетевой интерфейс выдавал 30-40мбайт/сек в smb host-guest), но заметно похуже виртуальный cpu (даже с использованием аппаратной виртуализации), хотя пока не пробовал с 64-битным хостом, теоретически максимальная производительность. А так же отсутствие модных опций вида миграции и эмуляции многопроцессорных систем.
                                                      0
                                                      В VirtualBox 3 есть эмуляция многопроцессорных систем (требует использования аппаратной виртуализации). Не знаю, что имеется ввиду под миграцией, но VirtualBox 3, если что, умеет делать из реального диска виртуальный.
                                                        0
                                                        Миграция у xen и kvm это если в пределах одной локальной сети:
                                                        * запускаем на хосте A виртуальную машину V (для kvm со включенной опцией миграция).
                                                        * запускаем на хосте B виртуальную машину (нужен доступ к тем же самым образам дисков, например iSCSI, AOE, NBD, или банальный NFS/SMB для *nix).
                                                        * запускаем миграцию работающей V с хоста A на хост B.
                                                        * перенос машины происходит совершенно прозрачно, как для V, так и для клиентов, подключенных к сервисам на V (соединения не закрываются) без пауз в работе гостевой системы (на самом деле есть, но считанные миллисекунды).

                                                        При этом физические хост-машины могут быть совершенно разной платформы (Intel/AMD) и как я понимаю наличие аппаратной виртуализации не обязательно (т.е. на одной платформе она есть, на другой нет).

                                                        А для xen по уму пилится технология по круче — Kemari. Это автоматический перенос хоста с одной машины на другую при аппаратных сбоях на первой (точнее любых, повисла хост-машина, виртуальная машина продолжит работу), конечно за счет существенного понижения производительности (в зависимости от интенсивности ввода вывода).
                                                          0
                                                          сорри, опция миграции на виртуальной машине на хосте B (с теми же параметрами как на хосте A), т.е. будет ждать когда какая либо машина подключится по сети и передаст виртуалку.
                                                            0
                                                            Спасибо, очень познавательно.
                                                  +1
                                                  Вы зря Xen сразу отбросили, это достаточно сабильная и быстрая система. У нас на одной машине (Intel Xeon E5335, 8 Gb RAM) постоянно крутится с десяток разных debian'ов (etch, lenny; как amd64 так и i386) и пару windows-server'ов.
                                                  По поводу разных ядер и всего такого гуглите PyGrub.
                                                    +1
                                                    Для разный ядер (естественно предназначенных для domU с паравиртуализацией) даже pygrub не нужен. В конфиги вирт. машин есть таки параметры: kernel и ramdisk. Но при этом ядро должно быть доступно из dom0, если надо, что бы ядро можно было выбирать из domU (что в общем то удобно), то ту да pygrub пригодится.
                                                    А еще в xen можно перекинуть реальные железки, например сетевые карточки, что может быть достаточно удобно в некоторых случаях. И возможность переноса работающий системы с одной физической машины на другую без остановки тоже может пригодится.
                                                      0
                                                      Ранше так и работали. Перешли на PyGrub, кода понадобилось посадить вместе i386 и amd64 domU, ну и мигрировать на разные Dom0, на мой взгляд, удобнее. Так что его и советую.
                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                      0
                                                      Однозначно, если есть денги, VMWare Infrastructure, нужно конечно перестроить немного окружение, но оно того стоит. Прикинуть TCO и ROI можно тут
                                                        0
                                                        Спасибо, но наша фирмочка еще не доросла до терминов TCO и ROI :) К сожалению. К большому сожалению…
                                                        0
                                                        посмотрите на linux-vserver.org, достаточно конкурентноспособная система виртуализации
                                                          0
                                                          В vserver'е не может быть разных ядер. Эта виртуалка больше похожа на jail.
                                                          Плюс пару раз были проблемы — на хостовой машинке поднимается сервис на адрес 0.0.0.0, в итоге сервис биндится на все адреса, в т.ч. и адреса вирт машин.
                                                            0
                                                            Конкурентна она только OpenVZ и фряшным jail'ам, если мне не изменяет память. Я просматривал ее архитектуру.
                                                            –1
                                                            Уберите Gentoo и поставьте федору (или можт CentOS), ибо под них пилят. Думаю глюки должны пройти.
                                                              0
                                                              В качестве тестового варианта попробую с CentOS пожалуй. Или с RHEL, если там есть пробная вверсия. Но к сожалению, это уже будет все на правах экспериментов, т.к. наврядли мне дадут время потестить ее под нормальной нагрузкой.

                                                              Сегодня ночером сначала потестирую Citrix XenServer.
                                                              +1
                                                              Краткое содержание поста:

                                                              1. не подходит
                                                              2. не запустился
                                                              3. не встал
                                                              4. ИТАК, KVM…
                                                                0
                                                                Согласен, так что топик нужно срочно переименовывать в «Как я выбирал систему виртуализации или история успеха' :)
                                                                  0
                                                                  Топик про другое. А это предыстория. Её пришлось выложить, чтобы понятна была ситуация.
                                                                  0
                                                                  Да. Именно так.
                                                                  пришли к KVM, а теперь думаем что делать.

                                                                  Правильно это или неправильно было, но оно есть. И теперь я прошу совета.

                                                                  Более того, советы я получил… првда о KVM собственно не много, зато про Xen много :)))

                                                                    0
                                                                    Я был в такой же ситуации и советы получал те же, наверное стоит прислушаться :)
                                                                      0
                                                                      Ну собственно KVM добило то, что сегодня я попытался поставить виртуалку на свежем ядре 2.6.31.1, с поддержкой Paravirtualized Guest, и это ничего не изменило.

                                                                      Нагрузка осталась на том же уровне. А упала виртуалка даже быстрее. За каких-то 15 минут, при трафике через нее в 20Мбит.
                                                                  –1
                                                                  у меня-таки есть что сказать:
                                                                  1) У меня сложилось мнение, что xen в генте не рабочий
                                                                  2) Вы хотите роутить пакеты, но не хотите патчить ядро, что бы оно было паравиртуализованным. Поэтому путь пакета будет следующим: драйвер хоста-ядро хоста-пользовательское пространство хоста-драйвер виртуалки-ядро виртуалки-принятие решение о роутинге-… и в обратную сторону.
                                                                  Паравиртуализация избавит по крайней мере от одного звена: пользовательское пространство хоста, а может еще и от драйвера виртуалки (здесь не уверен). Паравиртуализация — это как раз способ приблизить виртуалку к голому железу
                                                                  3) Редхад пока (в текущем релизе) рекомендует использовать как раз xen. Но с ней тоже есть проблемы, например при использовании вланов. Что будет в 6ке пока не понятно. Но похоже что это будет квм
                                                                  4) Используйте вмварь. :)
                                                                  Кстати последняя версия вмвари — это web-sphere.
                                                                    0
                                                                    en.gentoo-wiki.com/wiki/Xen

                                                                    по-моему все отлично расписано, в генте howto правятся быстрее всего, если что-то не работает
                                                                      0
                                                                      я манов перечитал в свое время море )
                                                                      Щас уже не помню в чем косяк был — помню что билась файловая система, причем на этапе загрузки ядра, то есть корень был еще в ридионли (!).
                                                                      Это не зависело от железа и от версии ядра (помню что пробовал 2.6.18, какие-то беты). Порядка 2х недель бился безрезультатно, на центосе это взлетело за час с настройкой виртуалки.
                                                                      0
                                                                      > Но с ней тоже есть проблемы, например при использовании вланов
                                                                      Стоял какое-то время xen на Debian'е. Единственная проблема с вланами была в том, что настраивать их приходится ручками, а не через родные скрипты xen'а.
                                                                        0
                                                                        то что ручками — это фигня
                                                                        не фигня в том, что один влан можно использовать или в domU-системах или dom0 то есть если приходит 1,2,3 вланы, то, скажем, 2 и 3 отдаем только под виртуалки а 1 используем только хостом, то есть бриджи типа 802.1d настроить нельзя (по крайней мере у меня не получилось и все с кем общался — тоже). Можно отдавать интерфейсы в общее пользование, а вланы — нет: или в хосте или в виртуалках
                                                                          0
                                                                          Возможно, я что-то упускаю, но я делал так:
                                                                          — поднимаем ручками vlan-интерфейсы
                                                                          — ручками поднимаем брижди на vlan-интерфейсы
                                                                          — используем новые бриджи в конфигах domU.
                                                                            0
                                                                            я щас не вспомню, но кажется что у меня модуль 802.1d не взлетал к хen-ядром.
                                                                      –2
                                                                      А почему собственно «линукс фигня, ставьте фряху» не прёт? Попробовали джайлы и что-то не срастается? По-моему правильное решение для подобных сервисов (всякие там впн серваки, фтп, сайтики, роутинг, днс и прочий провайдер-траблфиксер)
                                                                        +1
                                                                        Потому что это «детские» советы. Чтобы сменить систему, нужно переучить всех специалистов, перевести все свои сервисы на новую платформу, набираться там опыта заного.

                                                                        Оно конечно легче, чем на Винду переехать, но я не вижу смысла, кроме, разве что, унификации дистрибутива…

                                                                        У меня опыт с фряхой сугубо положительный, но всей компании переезжать на нее — это неоправданно. Грубо говоря самому себе раскладывать грабли, только немного другой конструкции, чем те, об которые набивать шишки уже привычно.

                                                                        А джайлы… джайлы не то… такое я и на Линуксе могу сделать через chroot/vserver/openvz
                                                                        0
                                                                        ESX — аптайм несколько месяцев, ~10 линукс и винды

                                                                        А на Xen только ленивый еще облако свое не сделал.
                                                                          0
                                                                          Облако?
                                                                          0
                                                                          Используем ESXi 4.0 (если оно видит железо), а где не видит — то Xen Server 5.5
                                                                            0
                                                                            А не подскажите, по опыту использования, как там с производительностью и с отказоустойчивостью?

                                                                            Почему именно ESXi преимущественно, а Xen лишь там, где ESXi не идет? Т.е. ESXi лучше?
                                                                              0
                                                                              На ESXi больше софта, хотя бы по бекапу(даже бесплатного). У ESXI динамическое использование памяти, жесткие диски можно сделать «тонкими», сам он ставится на флешку. В пользу XEN SERVER можно сказать лишь то, что он легко объединяется в кластеры, у него особенная система шаблонов машин, сам установка практически на любое железо. Ну и где то по тестам я видел что линукс и фряха на XEN самые быстрые.

                                                                              Все это с учетом того, что задача стояла не использовать платный софт.
                                                                                0
                                                                                Скажу просто — XEN Server отстает на шаг в развитии, немного, но отстает.
                                                                            0
                                                                            Спасибо всем за участие в обсуждении.

                                                                            Остался один интересный вопрос.

                                                                            Где хранить данные? Т.е. непосредственно образ системы можно и на локальном винте, там сравнительно редко идет интенсивный обмен данными.

                                                                            Но вот не спроста же придумали NAS и SAN? Стоит ли заморачиваться с выделением отдельного сервера под c организацией RAID-массивов, и размещением там рабочих данных?
                                                                              0
                                                                              Тут суть в том, что при умирании сервера, запустить ее (переключить) на другой машине с использованием NAS(SAN) намного быстрее, потому что копировать не потребуется. Это самый простой способ перебрасывать машины с сервера на сервер.
                                                                                0
                                                                                Хм. Учиться мне, учиться, и учиться еще. Даже да такой простой вещи не додумался.

                                                                                Надо бы сразу два сервера поднять… для отказоустойчивости, и чтобы при падении одного виртуалки продолжали на втором работать :))

                                                                                Как у серьезных людей.
                                                                                  0
                                                                                  Итого надо 2 сервера и SAN(NAS)
                                                                                  где-то так
                                                                                  =)
                                                                              0
                                                                              Первая же проблема с Citrix XenServer 5.5: не видит поддержки виртуализации в моем процессоре E5200.
                                                                              Хотя она там точно есть.
                                                                              Полазил по консоли — ядрышко у этого XenServer довольно старое 2.6.18… эх… опять все не слава богу :)
                                                                                0
                                                                                попробуй установить debian и на нем поднять xen. у меня не было с ним никаких проблем. :)
                                                                                  0
                                                                                  Да я уже разобрался. Лоханулся я… E5200 не содержит Intel VT. Зато E5300 в некоторых своих ревизиях уже поддерживает
                                                                                +2
                                                                                Запуск OpenVPN внутри OpenVZ описан в wiki.openvz.org/VPN_via_the_TUN/TAP_device
                                                                                  0
                                                                                  Не мое — товарищ попросил написать. Все вопросы и комментарии сюда lithium(at)mail.ru
                                                                                  +1
                                                                                  Когда у нас на фирме встала такая задача. Остановили свой выбор на Proxmox VE. Плюсы:
                                                                                  — Установка из коробки (сразу на голое железо, используют свой дистрибутив на основе дебиана)
                                                                                  — Понятный веб интерфейс, не надо разбиратся в разных тулзах
                                                                                  — Готовые образы виртуальных машин
                                                                                  — Два типа виртуальных машин Xen и KVM.
                                                                                  Минусы:
                                                                                  Для наших задач, минусов не было. Наверное не все настройки виртуализации есть в наличии, но нам хватило.
                                                                                    0
                                                                                    Шикарно. Тоже попробую. Спасибо огромное!
                                                                                    0
                                                                                    Специально для вас написал статью сразу на харб, за что получил инвайт, а потом на оупеннет — дабы не пропала
                                                                                    www.opennet.ru/base/net/xen_cluster_howto.txt.html
                                                                                      0
                                                                                      Спасибо, прочту.
                                                                                        0
                                                                                        Прочёл. Спасибо огромное. Отличная статья. Не сказать что много полезного узнал… но в качестве HOW-TO вполне сойдет.
                                                                                        Про архитектуру Xen у меня сейчас примерно так стопицот вкладочек в браузере открыто. Вникаю.

                                                                                        Пока, вообще, поставил Citrix XenServer… но возможно что буду обходиться и без него. Если окажется что там слишком много ограничений.
                                                                                        0
                                                                                        Рекомендую Citrix XenServer — у самого 2 ноды и сетевое хранилище для обеспечения миграции — 8 виртуальных серверов, косяков не замечено пока что… Единственное пришлось пересесть с любимой БСД на Debian GNU Linux. Общая загрузка процессоров на хост серверах от 5 до 10 процентов, в пики до 35-40… Крутится 2 маршрутизатора Vyatta (VPN, NAT), 2 Windows 2003 Server (AD, Terminal), 3 Debian Gnu Linix (DNS, Web Hosting, Torrentflux-b4rt ) + пару тренировочных серваков…
                                                                                        Скриншот
                                                                                          0
                                                                                          Дальше начался подбор систем виртуализации. Из кандидатов были:
                                                                                          -OpenVZ
                                                                                          -KVM
                                                                                          -Xen
                                                                                          -VMWare ESXi


                                                                                          А почему в эту подборку не попали такие разработки как:

                                                                                          VirtualBox
                                                                                          QEMU

                                                                                          !??
                                                                                            0
                                                                                            point212, есть вопрос, который почему-то в комментариях так и не поднялся: используется ли в вашем случае в KVM hardware-виртуализация?
                                                                                            Я имею ввиду это:
                                                                                            $ egrep -q "(vmx|svm)" /proc/cpuinfo && echo Yeah, I have it!
                                                                                            $ test -e /dev/kvm && echo Damn! It works!

                                                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                            Самое читаемое