Комментарии 34
А поделитесь пожалуйста опытом, насколько Proxmox сейчас способен заменить VMware vSphere? Насколько я вижу, продукт активно развивается, насколько он хорош или плох сейчас?
Уже давненько как способен. По функционалу, гибкости, хотя нет смысла перечислять, в целом, во всём превосходит.
Во всем? Он научился в Fault Tolerance/Zero Downtime? hot plug есть cpu/ram?
Ну и я сомневаюсь, что есть аналог vmware tanzu.
Хотя сами скоро планируем перебраться либо на proxmox, либо на oVirt там где у нас hyper-v.
Он научился в Fault Tolerance/Zero Downtime?
Нет. Но есть Replication, HA и Live Migration, причем без общего хранилища.
(есть ли это у VMware, имею ввиду LM без общего места?)
hot plug есть cpu/ram?
Есть.
либо на proxmox, либо на oVirt
по-моему тут выбор очевиден)
что есть аналог vmware tanzu.
Rancher, Portainer
есть ли это у VMware, имею ввиду LM без общего места?
Понятия не имею (но скорее всего есть, live migration точно, а второе это скорее обычная репликация, так и бесплатный hyper-v может), без хранилки последний раз использовал vmware более 10 лет назад. Я могу представить без схд/сеф/гластер и т.д. варианты когда вы бедны, либо 1-2 хоста "на поиграть". Просто для "резерва" проще уже сделать общую хранилку с избыточностью в 50%.
Rancher, Portainer
Не "из коробки". Так и что угодно может.
по-моему тут выбор очевиден)
ovirt?) Нене, я не куплюсь на холиварную тему. Такие выборы надо хорошо продумывать смотря на масштаб, требования, прайс, сопровождение и т.д..
Возможно у вас инфраструктура вся на ms, возможно есть требования регулятора, либо тот же FT для древних и критичных монолитов, либо приложения подразумевают использование NSX, возможно есть какие-либо фичи, критичные вам, которые есть только в определенном продукте и т.д. и т.п.
Как бы вы не любили проксмокс это панацеей быть не может в принципе. Особенно учитывая, что коробочная проприетарная дрянь очень любит ограничиваться поддержкой исключительно vmware и hyper-v.
Я могу представить без схд/сеф/гластер и т.д. варианты когда вы бедны, либо 1-2 хоста "на поиграть". Просто для "резерва" проще уже сделать общую хранилку с избыточностью в 50%.
А если нет хранилки и узлы в разных местах? И мы не хотим использовать ceph/glusterfs.
3 узла в разных местах со своими дисками.
Replication это для того, если один узел внезапно отомрёт.
А Live Migration, чтобы перенести c одного хоста на другой без даунтайма.
когда например необходима перезагрузка какого-то хоста.
Возможно у вас инфраструктура вся на ms
Не имеет значения.
возможно есть требования регулятора, либо тот же FT для древних и критичных монолитов
Делаем сам хост отказоустойчевым, две фазы, проксмокс установлен в рейд btrfs или zfs.
либо приложения подразумевают использование NSX,
В Proxmox есть поддерка SDN из коробки. Или использовать NSX-T.
А Live Migration
Live migration умеет практически любая система виртуализации без общей хранилки. Я думал вы под "без хранилки" имели ввиду в первую очередь HA, которому она обычно везде нужна.
3 узла в разных местах со своими дисками.
Ну тут я никакого особого кейса не вижу. Просто везде по хосту. Если достаточно, то ок.
Делаем сам хост отказоустойчевым, две фазы, проксмокс установлен в рейд btrfs или zfs.
Извините, но это предложении из серии купить серверное железо вместо использования рабочей станции для хоста гипервизора. Этого как-то маловато мягко говоря для критичного сервиса, например генерящего деньги (с разумных сумм).
Не имеет значения.
Вы с ума сошли? Большая контора со всей инфарструктурой на мс будет использовать проксмокс на хостах гипервизорах чтобы что???
Стоимость владения, дискаунты, системы управления конфигурациями и централизация, лицензии, саппорт, технический персонал и прочее. Это будет ЗНАЧИТЕЛЬНО дороже по приобретению, внедрению, сопровождению, саппорту и ВСЕМ прочим параметрам.
использования рабочей станции
критичный сервис на рабочей станции?
купить серверное железо вместо использования рабочей станции для хоста гипервизора.
я этого не говорил. чтобы обезопасить по питанию и для софтрейда, для этого не нужно серверное железо.
Конечно нет. Если есть критичный сервис, то и на серверное железо должно найтись денег), как и денег на платку для рэйда. Хотя бы б/у. Моя мысль скорее заключалась в том, что более надёжный хост это и так само собой разумеющееся вещь. Но это не является каким-либо решением в принципе, что может быть хоть какой-либо заменой FT.
А с появление Proxmox Backup Server, и выбора не оставил если в какой-то момент встаёт вопрос выбора из .. Если у вас не миллионы VM, и не нужен VDI/Horizon.
Пару лет назад даже поднимал "самописный VDI" на скриптах с помощью Proxmox, Spice и LTSP - очень годно получилось.
Правда Spice очень прожорлив к полосе пропускания сети и при стриминге 1080p съедал под 200 Мбит, но и тормозов не было. На одном сервере спокойной было протестировано 100 VM в пользовательском режиме, 1С/браузер/офис.
Да, слышал и видел вариантики с VDI, не совсем удобными способами, хотя и рабочими. Если в своей компании или там где ты всея айти, то да.
Всё, что я нашёл более-менее рабочего и похожего, это Deskpool
https://www.deskpool.com/quick-startup/proxmox/
Надо будет попробовать его на актуальной ветке.
Где-то год назад пришло озарение, что это, наверное единственная годная альтернатива RDP это и есть Proxmox+Spice+LTSP. Времени на попробовать так и не было. Какой вы использовали клиент (я не про стандартный, а например, который можно запихать в PXE + DHCP)?
Вообще, в офисе можно было бы и не запускать LTSP на гипере. Часть сотрудников, работающих в офисе могут работать на толстых клиентах (у кого железо позволяет). Локально те же кеды будут очень бодры, и полоса пропускания такая не понадобится. Но встаёт вопрос о том, как подключиться к такой машине снаружи, чтобы человек мог зайти в свою терминальную сессию с дома, например. (На данный момент двадцатку лидеров по скачке на sourceforge замыкает TurboVNC, если погуглить, то можно наютубить человека, играющего в какую-то последнюю кваку, через это протокол. Сам - не пробовал. Хотя VNC, конечно не прокинет ни смарткарту, ни принтер, но как простое решение вполне сойдет. Ну или подключиться к локально запущенной Xorg или Wayland через spice. Тоже не знаю, можно ли. Если можно, и прокидываются usb и звук то круто - это оно и есть, терминальное решение, даже круче, чем на базе RDP (за счет толстых клиентов).
Если клиент тонкий, и рабочее место крутится на proxmox, тогда проблем нет - всё централизовано, и всегда мы знаем куда подключаться - на центральный VDI. Но в этом случае не используется возможность запуска LTSP в режиме толстого клиента, в котором не гоняется по сети растровая картинка. Не говоря о том, что тонкие клиенты - это нередко просто старые машины, и некоторые из них вполне ничего и вполне потянут KDE Plasma.
Мой парк тонких клиентах крутится на WTware (Windpows server + RDP). Очень удобно, но хочется Linux на клиентах, полностью opensource решение. 95% моего парка тонких клиентов +/- годные компы и рухлядь, способная отражать картинку на мониторе, два RaspBerry Pi3 B+
На момент установки, самый дешёвый вариант тонкой станции - это Raspberry 3, тогда она стоила 5тыр, а сейчас 10. Столько же, сколько и Rasp 4. Получается самый оптимальный тонкий клиент теперь Raspberry 4(? втварь, вроде ничего, кроме малины, не поддерживает). Вроде как пахнет виндой на arm (или я уже отстал?). В общем варианты есть. Если использовать Raspberry 4, то Plasma на ней будут летать, вместе с 1С, офисом и хромом и 4-х Gb памяти для большинства пользователей - достаточно.
В каждой шутке есть доля шутки... (Я знаю, что VDI это не то пальто, просто идея пришла в голову, вдруг выстрелит).
Извините за сумбурность. Просто очень интересна эта тема, и перекапываю гугл примерно раз в пол года по ней. Очень мало информации. Поэтому спасибо, что поделились реальными данными в части количества машин и полосы пропускания.
Времени на скрипты почти нет. Да и поддержка таких нововведений может сорвать другие работы. Поэтому жду решения из коробки и в редкие часы досуга, пробую всякие spice, x2go и т.д. Пока ближе всех конечно же spice. X2Go - это прям разочарование, даже с KDrive - шляпа.
Deskpool ещё не смотрел, думаю в НГ каникулы поиграться. Предварительно понял только, что бесплатно там что-то только в отношении RDP, будет ли там хорошо работать удалённая убунта (через RDP?) есть сомнения.
Если с помощью spice можно подключиться не к виртуальной машине, а к реальной, пробросив звук и USB, то можно сказать что это будет самое интересное решение по VDI (смесь толстых и тонких клиентов, с возможностью подключаться к толстым клиентам снаружи). Есть люди у которых есть в офисе рабочая станция, а есть те, которые работают из дома. Первым нужны ресурсы proxmox, а вторым - нет. У нас в организации, например перевод на толстые клиенты почти полностью бы разгрузил терминальную машину, и убрал бы нагрузку на локальную сеть.
В смысле стандартный? LTSP на то и терминальный проект, который грузит по сети образ Linux, в моем случае был ubuntu 16.04, на нем был в автозапуске Spice Viewer, который и подключался уже к proxmox в режиме киоска.
Нашел вот даже видео теста самого Spice - очень бодро.
Скриптами я уже оборачивал автосоздание копий VM Windows для пользователей, их автоматический запуск и остановку, для отдельных делал доступ на веб-интерфейс с возможностью входа в VM через скачивание файла для подключения.
Точно, LTSP... Пардон. Я уже давно ковырял тему, только сейчас вспомнил, что меня беспокоило по части клиента. При подключении к виртуалке через spice прокс даёт файл для клиента spice для единоразового доступа (файл после использования трётся). То есть это некий ticket. Я предполагаю, что средствами самого проксмоса и можно насоздавать пользователей, дать права на просмотр своей машины и через api проксмокса получать такие тикеты через какую-нибудь вебку. Вы так и сделали? Может поделитесь основными api запросами? Тема живая и вполне можно её довести до статьи на хабре. Кто-нибудь может новогодние праздники захочет заморочиться.
То есть пользователь с дома зашёл через vpn в офисную сеть(ну или как-то иначе), попал на самодельную вебку (или блин, вообще на сам проксмокс), получил этот файл, запустил его прям из браузера, и вуаля, у пользователя перед носом полноценный рабочий стол со звуком пробросом USB (блэкджеком).
Знающие товарищи, подскажите, можно ли подключиться spice не в виртуальному рабочему столу, а реальному, то есть к тому, который на данный момент выведен на монитор рабочей станции? Можно ли перехватить реальный звук, USB?
Если нельзя... То что уж... Есть X2Go, который точно может(транслировать картинку с монитора), или TurboVNC. Не то пальто, конечно, но что делать.
В общем, если заморачиваться с толстыми клиентами (и к толстым клиентам таки можно подключиться через spice), то должно быть промежуточное звено которое будет знать, где толстый а где виртуалка запущены, и которое будет выдавать файлы для доступа через spice или в проксмокс или к толстому клиенту. Ну а если не заморачиваться, то попробовать сделать на базе api проксмокса. Совсем уж скриптить - лень. И я уже устал поддерживать свои старые рукожопые скрипты десятилетней давности. Когда -то давно было интересно скриптить, сегодня хочется, чтобы было как можно меньше модулей, как работают которые знаю только я (В нашей деревне мало админов работающих с linux).
Без толстых клиентов, наверное на данный момент LTSP+SPICE+PX это самая козырная альтернатива RDP. С толстым клиентом - RDP даже курит.
Плюсы Прокса:
1) не нужно подбирать железо под него - работает везде, где работает линукс.
2) софторейд. но тогда нужно сначала поставить дебиан, а потом накатить прокс.
А в целом - он какбы посредине между просто есхи и всферой
2) софторейд. но тогда нужно сначала поставить дебиан, а потом накатить прокс.
ни в коем случае, это делается при установке PVE
он какбы посредине между просто есхи и всферой
что может сфера, чего не может Proxmox?
ни в коем случае, это делается при установке PVE
MDRAID имею виду. В проксе все для ЗФС.
что может сфера, чего не может Proxmox?
сложный вопрос, не пробовал сравнивать. но мне интересно, кто как себя вести будет при 100% нагрузке цпу....
MDRAID имею виду.
Proxmox не рекомендует использовать mdraid, пооэтому и не поддерживает.
Работает, как часы. А они пихают ЗФС везде.
Я ставил на mdraid сначала. При первом использовании zfs я жидко обосрался, так как при простом зеркале из простых домашних SATA массив просто был никакой. При нагрузке iowait взлетал в небеса и не спускался. Тогда я поставил дебиан на зеркало mdadm стандартным текстовым инсталлером и сверху накатил проксмокс. На mdadm массив заработал, так как и должен был. (система грузилась на обоих дисках по одиночке).
С zfs на стенде что я только не делал, разве что в церковь не ходил. Потратил на него где-то месяца два и так не добился приемлемой производительности. Даже с вынесеными zil и кэшем на ssd. Потом ещё через пол года и год были такие же копания гугла и эксперементов по месяцу где то. Узнал много нового, но ключевое так и не познал, видимо.
Результат дала установка SAS контроллера и самых простых SAS (7200 6Tb) дисков с двумя m2 дисками по 128. M2 разбиты на 100 и 28, 28 в зеркале - zil, 100 кэш на чтение в страйпе.
Массив потянул примерно 25 терминальных рыл, но вешал работу при отправке почасовых снапов на бэкап сервер, от чего пришлось отказаться (оставил только суточные). Мне, кстати, попадался вот такой параметр, который я не пробовал ещё:
zfs_per_txg_dirty_frees_percent = 0
Спустя какое-то время, обнаружил, что утром, люди испытывают дискомфорт. Я опять давай копать везде и накопал zfs_txg_timeout = 15 вместо стандартных 5. В результате утренние просадки ушли. В общем, я посмотрел наверное все маны первых 5-10 страниц по разным запросам, пробовал всё подряд и по отдельности и в комплексе. Пока я не могу похвастаться тем, что я прям уверен, что у меня правильно настроенный массив (скорее всего это далеко не так). Так или иначе такая сборка сейчас почти не порождает io wait в отличие от далее описанного случая. Возможно тут играет роль серверное железо во главе с нормальным SAS контроллером и дисками.
Мне нужен был максимально быстрый массив, но чтобы он был в zfs и зашифрован. Взял два по 128 для системы, два m2(PCI-E4) по 1Tb, два sata SSD по 512.
Первая пара под систему, вторая под массив, третья под вспомогательный массив. Ещё так же был сделан одиночный sata hdd в массив под бекапы.
Железо домашнее, но бодрое (Ryzen 7 5800X). Ну и в итоге даже при копировании с зеркала 1Tb m2 на 512 SSD 1С-ной базы (где-то 50 гиг), iowait увеличивается до 25 и чувствуются лаги, если копировать базу на одиночный HDD то io подрывает до 85, на часик. Второе происходит в нерабочее время, поэтому вопрос остро не стоит. Понятно, конечно, SATA, домашнее железо. Но вот почему с зеркала SSD на зеркало SSD на такой машине io заметно увеличивается и даёт дискомфорт, а тот же mdadm на старом компе, со старыми дисками в зеркале не даёт такой io wait (пусть даже при меньшей скорости записи, но я дискомфорта не чувствую). Иными словами у меня складывается впечатление, что zfs пытается засунуть в блочное устройство данные, со скоростью с которой устройство не справляется. Я писал об этом на форуме проксмокса, и там мне посоветовали ограничить скорость записи на виртуальное устройство в самом проксмоксе, в свойствах ВМ. Ну так себе совет, в общем. Подскажите, знающие товарищи, какие ещё параметры покрутить (предлагайте всё, кроме ashift) буду проверять опять по порядку всё подряд. Проблему надо решать. Вопрос не в том, конечно, почему у zfs высокий iowait а у mdadm + ext4 низкий, а почему он НАСТОЛЬКО высокий, и как бы его сделать ниже.
Но с zfs я уже не слезу. Я не знаю с помощью чего ещё нативно можно держать географически удалённую холодную, зашифрованную, почасовую копию любого по размеру массива.
С btrfs ещё не знаком, если она позволяет тоже самое, что zfs но не подрывает io то хрен с ним пересяду на на неё.
Про mdadm кто-то писал, что не поддерживается. Знаете, когда проксмокс был ещё 5-ым, там в гуях не было и LVM. Это же не значит, что проксмокс его тогда его не поддерживал. Пользуйтесь хоть чем, proxmox в первую очередь debian, а потом уже всё остальное.
В проксе все для ЗФС.
raid еще для btrfs
Если костылинг вас устраивает, то proxmox заменяет vmware. Стабильность правда сильно ниже, отсутствуют адекватные qos и другие болячки, но с каждым релизом всё взрослеет, ещё года 2 и уже можно будет сравнивать, правда vmware уже кубер внедрила, а проксмоксу это ближайшие лет 5 не светит.
Ходят слухи, что с платным репо PVE становится постабильнее и покорпоративнее. Не пробовал, не могу сказать - как и не знаю, можно ли на одну подписку обновлять сразу много хостов PVE (на нас это была проблема - там поддержка стоит заметно, если на много хостов прикидывать, а от поддержки хочется, базово, как раз энерпрайзную репу)
Еще бы VMWare поднажать, а то ведь, кроме вполне себе бесплатного, если без покупки поддержки, PVE, на пятки наступает (по крайней мере, старается делать это, причем с куда большим упорством, чем PVE) компания "мелкий мягкий" со своим Hyper-V. И если PVE решили пойти "своим путем" (скажем, решили, что md - это зло, а вот zfs, который еще нужно уметь готовить - это хорошо; решили, что работа с shared storage по iscsi или fc - это не по опен-сорсному, а вот Ceph стоит давать в руки всем и каждому для построения production-ready инфраструктуры; что btrfs (!!!) - это вообще про хост с виртуализацией; честно, не знал бы Proxmox GMBH - решил бы, что парни продались конкурентам и ухудшают свой продукт специально), то MS четко обозначает свое место на рынке и хорошо понимает, какого конкурента собирается подсиживать.
Что же до VMWare в сумме, то, конечно, привыкнув к его костылингу и необычности решений, можно и жить, тем более, что, условно, работать оно работает, в силу дизайна защищая туповатых новичков от попыток сэкономить железо установкой на хост дополнительного софта (вроде "давайте на хост с PVE еще mysql и пару сайтов закинем, нафига для этого нарезать ВМ-ку?" - в ESXi такое не прокатыает в силу того, что это не линукс). А чтос каждым релизом ESXi нужно буквальнр молиться, чтобы работавшее раньше железо продолжило работать, так это только добавляет остроты жизни!
что работа с shared storage по iscsi или fc - это не по опен-сорсному,
А какие ограничения при работе с shared storage по iscsi?
что btrfs (!!!) - это вообще про хост с виртуализацией
работает отлично, особенно на ядре 5.15.
вот zfs, который еще нужно уметь готовить
если он только под установку самого PVE, если никаких аномалий не проявится, чего его готовить, установил и забыл.
Hyper-V - хоронят, насколько мне извевтно, 2019 последний! проброс GPU сделали костылингом вообще как класс, похоронив remotefx
VMWare не костылинг, а скорее решение не шагу влево, а вот костылингом уже обвязывают, после чего Proxmox может выглядеть весьма привлекательно), но это вопрос кому нужна стабильность а кому функциональность. Ну и опять же vmware обновлять просто незачем, в отличии от Proxmox, у которого половину болячек решается обновлением на новую версию
Пожив на Proxmox на нем держу только dev, проблемы с сетями и дисками сплошные (ну как 1 в полгода за глаза, а за месяц уже ад), а вот 24*7 строго на vmware где таких проблем нет.
Можно немного подробнее про "проблемы с сетями и дисками сплошные"?
Есть вопросы по ПРоксу:
1) онлайн расширение диска с виртуалкой Винды как в есхи - оно уже может?
2) свопить ОЗУ виртуалки может? есхи такое может и это экономит озу на хосте.
1) онлайн расширение диска с виртуалкой Винды как в есхи - оно уже может?
Может примерно с самого появления. Для Винды, с момента появления Windows VirtIO Drivers (2015). Да, для 1 и 2 пункта они дожны быть установлены в VM. Умеет и сжимать.
2) свопить ОЗУ виртуалки может? есхи такое может и это экономит озу на хосте.
Умеет практически с самого рождения (c версии 2.3). Называется Ballooning device.
Dynamic_Memory_Management
Proxmox отличная штука, но появления фич приходится годами ждать.
Самая годная фича будет это ZFS over FC
Зы. Сборник ссылок по работе с proxmox, pfsense etc forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
Зы2. Все для самосбора на китайских мат. платах xeon-e5450.ru/socket-2011-3/aktualnye-sborki-na-2011-3-sokete Работоспособно, проверено лично — мат. плата kllisre d4 + xeon 2xxx v3. Кому мало, есть мат.платы на 2 CPU
Proxmox 7.1: всё выше и выше