Pull to refresh

Comments 34

А поделитесь пожалуйста опытом, насколько Proxmox сейчас способен заменить VMware vSphere? Насколько я вижу, продукт активно развивается, насколько он хорош или плох сейчас?

Уже давненько как способен. По функционалу, гибкости, хотя нет смысла перечислять, в целом, во всём превосходит.

Во всем? Он научился в Fault Tolerance/Zero Downtime? hot plug есть cpu/ram?
Ну и я сомневаюсь, что есть аналог vmware tanzu.

Хотя сами скоро планируем перебраться либо на proxmox, либо на oVirt там где у нас hyper-v.

Он научился в Fault Tolerance/Zero Downtime?

Нет. Но есть Replication, HA и Live Migration, причем без общего хранилища.
(есть ли это у VMware, имею ввиду LM без общего места?)

hot plug есть cpu/ram?

Есть.

либо на proxmox, либо на oVirt

по-моему тут выбор очевиден)

 что есть аналог vmware tanzu.

Rancher, Portainer

есть ли это у VMware, имею ввиду LM без общего места?

Понятия не имею (но скорее всего есть, live migration точно, а второе это скорее обычная репликация, так и бесплатный hyper-v может), без хранилки последний раз использовал vmware более 10 лет назад. Я могу представить без схд/сеф/гластер и т.д. варианты когда вы бедны, либо 1-2 хоста "на поиграть". Просто для "резерва" проще уже сделать общую хранилку с избыточностью в 50%.

Rancher, Portainer

Не "из коробки". Так и что угодно может.

по-моему тут выбор очевиден)

ovirt?) Нене, я не куплюсь на холиварную тему. Такие выборы надо хорошо продумывать смотря на масштаб, требования, прайс, сопровождение и т.д..
Возможно у вас инфраструктура вся на ms, возможно есть требования регулятора, либо тот же FT для древних и критичных монолитов, либо приложения подразумевают использование NSX, возможно есть какие-либо фичи, критичные вам, которые есть только в определенном продукте и т.д. и т.п.
Как бы вы не любили проксмокс это панацеей быть не может в принципе. Особенно учитывая, что коробочная проприетарная дрянь очень любит ограничиваться поддержкой исключительно vmware и hyper-v.

Я могу представить без схд/сеф/гластер и т.д. варианты когда вы бедны, либо 1-2 хоста "на поиграть". Просто для "резерва" проще уже сделать общую хранилку с избыточностью в 50%.

А если нет хранилки и узлы в разных местах? И мы не хотим использовать ceph/glusterfs.

3 узла в разных местах со своими дисками.
Replication это для того, если один узел внезапно отомрёт.
А Live Migration, чтобы перенести c одного хоста на другой без даунтайма.
когда например необходима перезагрузка какого-то хоста.

Возможно у вас инфраструктура вся на ms

Не имеет значения.

возможно есть требования регулятора, либо тот же FT для древних и критичных монолитов

Делаем сам хост отказоустойчевым, две фазы, проксмокс установлен в рейд btrfs или zfs.

либо приложения подразумевают использование NSX,

В Proxmox есть поддерка SDN из коробки. Или использовать NSX-T.

А Live Migration

Live migration умеет практически любая система виртуализации без общей хранилки. Я думал вы под "без хранилки" имели ввиду в первую очередь HA, которому она обычно везде нужна.

3 узла в разных местах со своими дисками.

Ну тут я никакого особого кейса не вижу. Просто везде по хосту. Если достаточно, то ок.

Делаем сам хост отказоустойчевым, две фазы, проксмокс установлен в рейд btrfs или zfs.

Извините, но это предложении из серии купить серверное железо вместо использования рабочей станции для хоста гипервизора. Этого как-то маловато мягко говоря для критичного сервиса, например генерящего деньги (с разумных сумм).

Не имеет значения.

Вы с ума сошли? Большая контора со всей инфарструктурой на мс будет использовать проксмокс на хостах гипервизорах чтобы что???
Стоимость владения, дискаунты, системы управления конфигурациями и централизация, лицензии, саппорт, технический персонал и прочее. Это будет ЗНАЧИТЕЛЬНО дороже по приобретению, внедрению, сопровождению, саппорту и ВСЕМ прочим параметрам.

использования рабочей станции 

критичный сервис на рабочей станции?

купить серверное железо вместо использования рабочей станции для хоста гипервизора. 

я этого не говорил. чтобы обезопасить по питанию и для софтрейда, для этого не нужно серверное железо.

Конечно нет. Если есть критичный сервис, то и на серверное железо должно найтись денег), как и денег на платку для рэйда. Хотя бы б/у. Моя мысль скорее заключалась в том, что более надёжный хост это и так само собой разумеющееся вещь. Но это не является каким-либо решением в принципе, что может быть хоть какой-либо заменой FT.

А с появление Proxmox Backup Server, и выбора не оставил если в какой-то момент встаёт вопрос выбора из .. Если у вас не миллионы VM, и не нужен VDI/Horizon.

Пару лет назад даже поднимал "самописный VDI" на скриптах с помощью Proxmox, Spice и LTSP - очень годно получилось.

Правда Spice очень прожорлив к полосе пропускания сети и при стриминге 1080p съедал под 200 Мбит, но и тормозов не было. На одном сервере спокойной было протестировано 100 VM в пользовательском режиме, 1С/браузер/офис.

Да, слышал и видел вариантики с VDI, не совсем удобными способами, хотя и рабочими. Если в своей компании или там где ты всея айти, то да.
Всё, что я нашёл более-менее рабочего и похожего, это Deskpool
https://www.deskpool.com/quick-startup/proxmox/

Надо будет попробовать его на актуальной ветке.

Где-то год назад пришло озарение, что это, наверное единственная годная альтернатива RDP это и есть Proxmox+Spice+LTSP. Времени на попробовать так и не было. Какой вы использовали клиент (я не про стандартный, а например, который можно запихать в PXE + DHCP)?

Вообще, в офисе можно было бы и не запускать LTSP на гипере. Часть сотрудников, работающих в офисе могут работать на толстых клиентах (у кого железо позволяет). Локально те же кеды будут очень бодры, и полоса пропускания такая не понадобится. Но встаёт вопрос о том, как подключиться к такой машине снаружи, чтобы человек мог зайти в свою терминальную сессию с дома, например. (На данный момент двадцатку лидеров по скачке на sourceforge замыкает TurboVNC, если погуглить, то можно наютубить человека, играющего в какую-то последнюю кваку, через это протокол. Сам - не пробовал. Хотя VNC, конечно не прокинет ни смарткарту, ни принтер, но как простое решение вполне сойдет. Ну или подключиться к локально запущенной Xorg или Wayland через spice. Тоже не знаю, можно ли. Если можно, и прокидываются usb и звук то круто - это оно и есть, терминальное решение, даже круче, чем на базе RDP (за счет толстых клиентов).

Если клиент тонкий, и рабочее место крутится на proxmox, тогда проблем нет - всё централизовано, и всегда мы знаем куда подключаться - на центральный VDI. Но в этом случае не используется возможность запуска LTSP в режиме толстого клиента, в котором не гоняется по сети растровая картинка. Не говоря о том, что тонкие клиенты - это нередко просто старые машины, и некоторые из них вполне ничего и вполне потянут KDE Plasma.

Мой парк тонких клиентах крутится на WTware (Windpows server + RDP). Очень удобно, но хочется Linux на клиентах, полностью opensource решение. 95% моего парка тонких клиентов +/- годные компы и рухлядь, способная отражать картинку на мониторе, два RaspBerry Pi3 B+
На момент установки, самый дешёвый вариант тонкой станции - это Raspberry 3, тогда она стоила 5тыр, а сейчас 10. Столько же, сколько и Rasp 4. Получается самый оптимальный тонкий клиент теперь Raspberry 4(? втварь, вроде ничего, кроме малины, не поддерживает). Вроде как пахнет виндой на arm (или я уже отстал?). В общем варианты есть. Если использовать Raspberry 4, то Plasma на ней будут летать, вместе с 1С, офисом и хромом и 4-х Gb памяти для большинства пользователей - достаточно.

В каждой шутке есть доля шутки... (Я знаю, что VDI это не то пальто, просто идея пришла в голову, вдруг выстрелит).

Извините за сумбурность. Просто очень интересна эта тема, и перекапываю гугл примерно раз в пол года по ней. Очень мало информации. Поэтому спасибо, что поделились реальными данными в части количества машин и полосы пропускания.

Времени на скрипты почти нет. Да и поддержка таких нововведений может сорвать другие работы. Поэтому жду решения из коробки и в редкие часы досуга, пробую всякие spice, x2go и т.д. Пока ближе всех конечно же spice. X2Go - это прям разочарование, даже с KDrive - шляпа.
Deskpool ещё не смотрел, думаю в НГ каникулы поиграться. Предварительно понял только, что бесплатно там что-то только в отношении RDP, будет ли там хорошо работать удалённая убунта (через RDP?) есть сомнения.

Если с помощью spice можно подключиться не к виртуальной машине, а к реальной, пробросив звук и USB, то можно сказать что это будет самое интересное решение по VDI (смесь толстых и тонких клиентов, с возможностью подключаться к толстым клиентам снаружи). Есть люди у которых есть в офисе рабочая станция, а есть те, которые работают из дома. Первым нужны ресурсы proxmox, а вторым - нет. У нас в организации, например перевод на толстые клиенты почти полностью бы разгрузил терминальную машину, и убрал бы нагрузку на локальную сеть.


В смысле стандартный? LTSP на то и терминальный проект, который грузит по сети образ Linux, в моем случае был ubuntu 16.04, на нем был в автозапуске Spice Viewer, который и подключался уже к proxmox в режиме киоска.

Нашел вот даже видео теста самого Spice - очень бодро.

Скриптами я уже оборачивал автосоздание копий VM Windows для пользователей, их автоматический запуск и остановку, для отдельных делал доступ на веб-интерфейс с возможностью входа в VM через скачивание файла для подключения.

Точно, LTSP... Пардон. Я уже давно ковырял тему, только сейчас вспомнил, что меня беспокоило по части клиента. При подключении к виртуалке через spice прокс даёт файл для клиента spice для единоразового доступа (файл после использования трётся). То есть это некий ticket. Я предполагаю, что средствами самого проксмоса и можно насоздавать пользователей, дать права на просмотр своей машины и через api проксмокса получать такие тикеты через какую-нибудь вебку. Вы так и сделали? Может поделитесь основными api запросами? Тема живая и вполне можно её довести до статьи на хабре. Кто-нибудь может новогодние праздники захочет заморочиться.

То есть пользователь с дома зашёл через vpn в офисную сеть(ну или как-то иначе), попал на самодельную вебку (или блин, вообще на сам проксмокс), получил этот файл, запустил его прям из браузера, и вуаля, у пользователя перед носом полноценный рабочий стол со звуком пробросом USB (блэкджеком).

Знающие товарищи, подскажите, можно ли подключиться spice не в виртуальному рабочему столу, а реальному, то есть к тому, который на данный момент выведен на монитор рабочей станции? Можно ли перехватить реальный звук, USB?
Если нельзя... То что уж... Есть X2Go, который точно может(транслировать картинку с монитора), или TurboVNC. Не то пальто, конечно, но что делать.

В общем, если заморачиваться с толстыми клиентами (и к толстым клиентам таки можно подключиться через spice), то должно быть промежуточное звено которое будет знать, где толстый а где виртуалка запущены, и которое будет выдавать файлы для доступа через spice или в проксмокс или к толстому клиенту. Ну а если не заморачиваться, то попробовать сделать на базе api проксмокса. Совсем уж скриптить - лень. И я уже устал поддерживать свои старые рукожопые скрипты десятилетней давности. Когда -то давно было интересно скриптить, сегодня хочется, чтобы было как можно меньше модулей, как работают которые знаю только я (В нашей деревне мало админов работающих с linux).

Без толстых клиентов, наверное на данный момент LTSP+SPICE+PX это самая козырная альтернатива RDP. С толстым клиентом - RDP даже курит.

Плюсы Прокса:

1) не нужно подбирать железо под него - работает везде, где работает линукс.

2) софторейд. но тогда нужно сначала поставить дебиан, а потом накатить прокс.

А в целом - он какбы посредине между просто есхи и всферой

2) софторейд. но тогда нужно сначала поставить дебиан, а потом накатить прокс.

ни в коем случае, это делается при установке PVE

он какбы посредине между просто есхи и всферой

что может сфера, чего не может Proxmox?

ни в коем случае, это делается при установке PVE

MDRAID имею виду. В проксе все для ЗФС.

что может сфера, чего не может Proxmox?

сложный вопрос, не пробовал сравнивать. но мне интересно, кто как себя вести будет при 100% нагрузке цпу....

Работает, как часы. А они пихают ЗФС везде.

Я ставил на mdraid сначала. При первом использовании zfs я жидко обосрался, так как при простом зеркале из простых домашних SATA массив просто был никакой. При нагрузке iowait взлетал в небеса и не спускался. Тогда я поставил дебиан на зеркало mdadm стандартным текстовым инсталлером и сверху накатил проксмокс. На mdadm массив заработал, так как и должен был. (система грузилась на обоих дисках по одиночке).
С zfs на стенде что я только не делал, разве что в церковь не ходил. Потратил на него где-то месяца два и так не добился приемлемой производительности. Даже с вынесеными zil и кэшем на ssd. Потом ещё через пол года и год были такие же копания гугла и эксперементов по месяцу где то. Узнал много нового, но ключевое так и не познал, видимо.

Результат дала установка SAS контроллера и самых простых SAS (7200 6Tb) дисков с двумя m2 дисками по 128. M2 разбиты на 100 и 28, 28 в зеркале - zil, 100 кэш на чтение в страйпе.
Массив потянул примерно 25 терминальных рыл, но вешал работу при отправке почасовых снапов на бэкап сервер, от чего пришлось отказаться (оставил только суточные). Мне, кстати, попадался вот такой параметр, который я не пробовал ещё:
zfs_per_txg_dirty_frees_percent = 0

Спустя какое-то время, обнаружил, что утром, люди испытывают дискомфорт. Я опять давай копать везде и накопал zfs_txg_timeout = 15 вместо стандартных 5. В результате утренние просадки ушли. В общем, я посмотрел наверное все маны первых 5-10 страниц по разным запросам, пробовал всё подряд и по отдельности и в комплексе. Пока я не могу похвастаться тем, что я прям уверен, что у меня правильно настроенный массив (скорее всего это далеко не так). Так или иначе такая сборка сейчас почти не порождает io wait в отличие от далее описанного случая. Возможно тут играет роль серверное железо во главе с нормальным SAS контроллером и дисками.

Мне нужен был максимально быстрый массив, но чтобы он был в zfs и зашифрован. Взял два по 128 для системы, два m2(PCI-E4) по 1Tb, два sata SSD по 512.
Первая пара под систему, вторая под массив, третья под вспомогательный массив. Ещё так же был сделан одиночный sata hdd в массив под бекапы.
Железо домашнее, но бодрое (Ryzen 7 5800X). Ну и в итоге даже при копировании с зеркала 1Tb m2 на 512 SSD 1С-ной базы (где-то 50 гиг), iowait увеличивается до 25 и чувствуются лаги, если копировать базу на одиночный HDD то io подрывает до 85, на часик. Второе происходит в нерабочее время, поэтому вопрос остро не стоит. Понятно, конечно, SATA, домашнее железо. Но вот почему с зеркала SSD на зеркало SSD на такой машине io заметно увеличивается и даёт дискомфорт, а тот же mdadm на старом компе, со старыми дисками в зеркале не даёт такой io wait (пусть даже при меньшей скорости записи, но я дискомфорта не чувствую). Иными словами у меня складывается впечатление, что zfs пытается засунуть в блочное устройство данные, со скоростью с которой устройство не справляется. Я писал об этом на форуме проксмокса, и там мне посоветовали ограничить скорость записи на виртуальное устройство в самом проксмоксе, в свойствах ВМ. Ну так себе совет, в общем. Подскажите, знающие товарищи, какие ещё параметры покрутить (предлагайте всё, кроме ashift) буду проверять опять по порядку всё подряд. Проблему надо решать. Вопрос не в том, конечно, почему у zfs высокий iowait а у mdadm + ext4 низкий, а почему он НАСТОЛЬКО высокий, и как бы его сделать ниже.

Но с zfs я уже не слезу. Я не знаю с помощью чего ещё нативно можно держать географически удалённую холодную, зашифрованную, почасовую копию любого по размеру массива.
С btrfs ещё не знаком, если она позволяет тоже самое, что zfs но не подрывает io то хрен с ним пересяду на на неё.

Про mdadm кто-то писал, что не поддерживается. Знаете, когда проксмокс был ещё 5-ым, там в гуях не было и LVM. Это же не значит, что проксмокс его тогда его не поддерживал. Пользуйтесь хоть чем, proxmox в первую очередь debian, а потом уже всё остальное.

В проксе все для ЗФС.

raid еще для btrfs

Если костылинг вас устраивает, то proxmox заменяет vmware. Стабильность правда сильно ниже, отсутствуют адекватные qos и другие болячки, но с каждым релизом всё взрослеет, ещё года 2 и уже можно будет сравнивать, правда vmware уже кубер внедрила, а проксмоксу это ближайшие лет 5 не светит.

Ходят слухи, что с платным репо PVE становится постабильнее и покорпоративнее. Не пробовал, не могу сказать - как и не знаю, можно ли на одну подписку обновлять сразу много хостов PVE (на нас это была проблема - там поддержка стоит заметно, если на много хостов прикидывать, а от поддержки хочется, базово, как раз энерпрайзную репу)

Еще бы VMWare поднажать, а то ведь, кроме вполне себе бесплатного, если без покупки поддержки, PVE, на пятки наступает (по крайней мере, старается делать это, причем с куда большим упорством, чем PVE) компания "мелкий мягкий" со своим Hyper-V. И если PVE решили пойти "своим путем" (скажем, решили, что md - это зло, а вот zfs, который еще нужно уметь готовить - это хорошо; решили, что работа с shared storage по iscsi или fc - это не по опен-сорсному, а вот Ceph стоит давать в руки всем и каждому для построения production-ready инфраструктуры; что btrfs (!!!) - это вообще про хост с виртуализацией; честно, не знал бы Proxmox GMBH - решил бы, что парни продались конкурентам и ухудшают свой продукт специально), то MS четко обозначает свое место на рынке и хорошо понимает, какого конкурента собирается подсиживать.

Что же до VMWare в сумме, то, конечно, привыкнув к его костылингу и необычности решений, можно и жить, тем более, что, условно, работать оно работает, в силу дизайна защищая туповатых новичков от попыток сэкономить железо установкой на хост дополнительного софта (вроде "давайте на хост с PVE еще mysql и пару сайтов закинем, нафига для этого нарезать ВМ-ку?" - в ESXi такое не прокатыает в силу того, что это не линукс). А чтос каждым релизом ESXi нужно буквальнр молиться, чтобы работавшее раньше железо продолжило работать, так это только добавляет остроты жизни!

что работа с shared storage по iscsi или fc - это не по опен-сорсному,

А какие ограничения при работе с shared storage по iscsi?

что btrfs (!!!) - это вообще про хост с виртуализацией

работает отлично, особенно на ядре 5.15.

вот zfs, который еще нужно уметь готовить

если он только под установку самого PVE, если никаких аномалий не проявится, чего его готовить, установил и забыл.

Hyper-V - хоронят, насколько мне извевтно, 2019 последний! проброс GPU сделали костылингом вообще как класс, похоронив remotefx

VMWare не костылинг, а скорее решение не шагу влево, а вот костылингом уже обвязывают, после чего Proxmox может выглядеть весьма привлекательно), но это вопрос кому нужна стабильность а кому функциональность. Ну и опять же vmware обновлять просто незачем, в отличии от Proxmox, у которого половину болячек решается обновлением на новую версию

Пожив на Proxmox на нем держу только dev, проблемы с сетями и дисками сплошные (ну как 1 в полгода за глаза, а за месяц уже ад), а вот 24*7 строго на vmware где таких проблем нет.

Да нет там проблем. У человека видимо проблемы с железом. Мы работаем на Проксах в продакшене уже лет 5 минимум. За последний год было наверное 2 момента, когда непонятно почему iowait диска на БД был. Но опять же - это скорее всего железо, а не сам прокс.

Есть вопросы по ПРоксу:

1) онлайн расширение диска с виртуалкой Винды как в есхи - оно уже может?

2) свопить ОЗУ виртуалки может? есхи такое может и это экономит озу на хосте.

1) онлайн расширение диска с виртуалкой Винды как в есхи - оно уже может?

Может примерно с самого появления. Для Винды, с момента появления Windows VirtIO Drivers (2015). Да, для 1 и 2 пункта они дожны быть установлены в VM. Умеет и сжимать.

2) свопить ОЗУ виртуалки может? есхи такое может и это экономит озу на хосте.

Умеет практически с самого рождения (c версии 2.3). Называется Ballooning device.
Dynamic_Memory_Management

Теперь бы еще шифрование состояния TPM с загрузкой ключа из удаленного KMS (key management service).

Proxmox отличная штука, но появления фич приходится годами ждать.

Самая годная фича будет это ZFS over FC

Хорошая новость. Долгой жизни проекту. Пользуем еще с версии 3, а с недавнего времени всю их линейку — PVE, PBS, PMG.
Зы. Сборник ссылок по работе с proxmox, pfsense etc forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
Зы2. Все для самосбора на китайских мат. платах xeon-e5450.ru/socket-2011-3/aktualnye-sborki-na-2011-3-sokete Работоспособно, проверено лично — мат. плата kllisre d4 + xeon 2xxx v3. Кому мало, есть мат.платы на 2 CPU
Only those users with full accounts are able to leave comments. Log in, please.

Articles