К сожалению, большинство установив proxmox не читает оф. доку к нему (
В оф. доке есть КАК правильно приготовить ВМ для макс. быстродействия
Особенно, это касается галки на Discard (+ галка на ssd, если диск ВМ располагается на ssd-пуле) в настройках диска ВМ. Иначе trim внутри ВМ не будет отрабатывать.
Пример настройки ВМ. Галку с SSD emulation снять, если ssd не используется.
Обязательно установить qemu agent внути ВМ - он есть и для win (virtio drivers) и для linux (устанавливается просто через менеджер пакетов ОС)
не использовать русский в интерфейсе pve - это набор недоперевода с откровенной халтурой (discard в св-вах диска ВМ - это "отклонить" и понимай как хочешь), english там более чем уместен;
Создание ВМ:
в св-вах диска ВМ ОБЯЗАТЕЛЬНА галка на discard для ОС выше Win XP и для всех относительно свежих _nix + галка на ssd emulation, если диск на ssd-разделе;
использовать virtio scsi single + scsi в кач-ве дисков;
сеть - virtio;
bios - EFI;
type - q35
cpu - host (+ NUMA ,если физ. cpu на матплате 2+);
memory - галка на balloon;
установка qemu guest agent и на linux и на win;
сеть сменить с linux bridge на openvswitch (гуглить разницу самостоятельно);
в настройках сетевой ВМ в Multiqueue указать число эквивалентное кол-ву vcpu (спорный момент - проверить);
Таким образом получаем макс. производительность ВМ.
Эта инф-ция есть в оф. доке, но кто ж ее читает (
Везде пользую zfs - надежно, удобно, нет привязки к произ-лю hw raid.
Опасения касаемо прожорливости zfs в плане ОЗУ решаются чтением оф. доки и правкой конф. файла, в к-ом указывается какой объем памяти отдать под zfs-кэш 1-го уровня (larc cache).
Поищите для чего нужен Discard в настройках диска ВМ. И для чего нужен trim заодно.
Я про СЕРВЕРНЫЕ ssd ранее и не упоминал. И да, далеко не у всех они есть - у процентов 90% максимум что-то типа Samsung 9XX, если это nvm.
Поищите альтернативные клиенты для синхронизации с NC.
Обновляю и минор и мажор через
apt update; apt dist-upgradeПроблем нет.
Поддержу.
0 Выкл ВМ c 1C и в настройках ВМ сменить cpu type = host, socket = 2, NUMA = enabled
1 Откл. memory balloning
2 Сменить аппаратный рейд (он у вас еще и 5-го уровня, к-ый давно deprecated и самый медленный) на программный рейд zfs.
3 Перейти с файлового варианта на sql от postgres pro (он free)
https://bun.uptrace.dev/postgres/tuning-zfs-aws-ebs.html
https://vadosware.io/post/everything-ive-seen-on-optimizing-postgres-on-zfs-on-linux/
К сожалению, большинство установив proxmox не читает оф. доку к нему (
В оф. доке есть КАК правильно приготовить ВМ для макс. быстродействия
Особенно, это касается галки на Discard (+ галка на ssd, если диск ВМ располагается на ssd-пуле) в настройках диска ВМ. Иначе trim внутри ВМ не будет отрабатывать.
Пример настройки ВМ. Галку с SSD emulation снять, если ssd не используется.
Обязательно установить qemu agent внути ВМ - он есть и для win (virtio drivers) и для linux (устанавливается просто через менеджер пакетов ОС)
P.s. Заметки по работе с pve, zfs etc https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
Спасибо)
Предложу варианты.
Linux без DE + cockpit для управления.
Поднять полноценный nas - openmediavault (omv) или truenas.
Поднять proxmox ve + nas как вирт. машину с пробросом дисков в этот nas или без оного.
https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
Последний вариант самый универсальный и дает просранство для творчества - напр., можно поднять в ВМ pfsense\opnsense в кач-ве программного роутера.
pv + netcat
Грузимся на принимающей стороне с linux live-cd (linux mint вполне подойдет):
Принимающая сторона (создаем предварительно на esxi ВМ с диском чуть большего размера):
nc -w 3600 -l <port> | gzip -dfc | cat > /dev/<disk-name>
Грузимся на отдающей стороне с linux live-cd и:
pv /dev/<disk-name> | gzip -fc | nc <remote-server-ip> <port>
После миграции поправить в fstab id диска (-ов), если возникнут проблемы при загрузке.
Или clonezilla live https://clonezilla.org/clonezilla-live.php по схеме описанной выше. Она это из коробки умеет.
И вообще, переходите на светлую сторону - открытое ПО для виртуализации Proxmox VE
https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
В Вашем случае не надо vm для linux - надо lxc. Proxmox умеет в lxc.
https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
photoprism?
immich https://github.com/alextran1502/immich
Коллеги, почаще заглядывайте в https://www.reddit.com/r/selfhosted
Proxmox, ceph, zfs, pfsense и все-все-все - часть 2 https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/6
Добавлю еще glusterfs, drbd\linstor (привет, @kvaps и спасибо за труд)
VDI:
https://github.com/joshpatten/PVE-VDIClient
https://www.reddit.com/r/Proxmox/comments/c8karr/deploy_deskpool_vdi_on_proxmox/
https://www.deskpool.com/quick-startup/proxmox/
https://github.com/dkmstr/openuds
https://github.com/UPC/ravada
https://www.kasmweb.com/index.html
Касаемо проброса gpu.
С недавних пор нек-ые десктопные модели gpu от nvidia позволяют на pve проброс
gpu сразу в неск-ко gpu одновременно:
VGpu/Shared GPU in multiple VM setup on proxmox 7.1 https://www.reddit.com/r/Proxmox/comments/v637fn/vgpushared_gpu_in_multiple_vm_setup_on_proxmox_71/
Proxmox 7 vGPU – v2 https://wvthoog.nl/proxmox-7-vgpu-v2/
Split GPU into Multiple VMs (vGPU?) https://www.reddit.com/r/Proxmox/comments/tmarrw/split_gpu_into_multiple_vms_vgpu/
Proxmox GPU Virtualization Tutorial with Custom Profiles thanks to vGPU_Unlock-RS https://youtu.be/jTXPMcBqoi8
Cloud Gaming Server Tutorials https://www.youtube.com/playlist?list=PLGbfidALQauKNWMqrVXGd63aa9EcevFn9
Cloud Gaming Server Build https://www.youtube.com/playlist?list=PLGbfidALQauLclCL3d4MWZ8F5krtwToZ3
+
В кач-ве арбитра может быть raspberry pi. Это точно возможно для ceph на proxmox ve.
https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
Спасибо)
А на matrix смотрели?
Zfs c включенным сжатием и дедупликацией может существенно сэкономить Вам место )
Если zfs не по душе - взгляните на lvmvdo от redhat. У этого решение накладные расходы на дедупликацию ниже.
kopia https://kopia.io/
В одной сети быстрее с netcat + pv.
На принимающей стороне:
создаем на pve ВМ с диском чуть большего размера (1ГБ +), чем диск источника;
загружем ВМ с любого свежего linux live-cd;
выполняем в консоли:
date; nc -w3600 -vvnlp <port-number> | gzip -dfc | cat > /dev/sdX; dateНа отдающей стороне:
загружаемся с любого свежего linux live-cd;
выполняем в консоли:
pv /dev/sdX | gzip -fc | nc -w30 -vvn <remote-server-ip> <remote-server-port-number>Или clonezilla-live в помощь - у нее есть аналогичная клиент-серверная функция.
P.s. Если надо виртуализировать ms windows, пользую disk2vhd (спасибо, Марк!) в safe mode или обычном режиме просто стопнув службы.
Зачем тогда вмваря? Есть же открытый proxmox )
Цикл заметок по работе с proxmox, zfs, pfsense etc - https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
Bsd была выбрана из-за своей лицензии и возможности не делиться кодом?
Иначе почему не взять коды того же proxmox-а и реализовать свое.
Спасибо )
Proxmox VE в плане гипервизора как-то интереснее.
Цикл заметок по работе с proxmox, zfs, pfsense etc - https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
>Системы виртуализации (ProxMox и другие варианты) исключил, т.к. хочется коробочное решение, а не конструктор.
Proxmox коробочен из коробки - развернул на zfs и через вебку рули. Удобно до ужаса..
В кач-ве роутера, впн etc - pfsense в вирт. машине на proxmox-е.
У меня по такой схеме 5+ лет немелкие конторы нес-ко штук живут.
У вас неск-ко железок. Почитайте по zfs replication proxmox в гугле. Удобно и не надо что-то сложное городить типа ceph.
И про proxmox backup server поищите.
Цикл заметок по работе с proxmox, pfsense etc - https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
P.s. Пиши в личку , если заинтересовал касаемо proxmox, pfsense etc
Общие замечания:
не использовать русский в интерфейсе pve - это набор недоперевода с откровенной халтурой (discard в св-вах диска ВМ - это "отклонить" и понимай как хочешь), english там более чем уместен;
Создание ВМ:
в св-вах диска ВМ ОБЯЗАТЕЛЬНА галка на discard для ОС выше Win XP и для всех относительно свежих _nix + галка на ssd emulation, если диск на ssd-разделе;
использовать virtio scsi single + scsi в кач-ве дисков;
сеть - virtio;
bios - EFI;
type - q35
cpu - host (+ NUMA ,если физ. cpu на матплате 2+);
memory - галка на balloon;
установка qemu guest agent и на linux и на win;
сеть сменить с linux bridge на openvswitch (гуглить разницу самостоятельно);
в настройках сетевой ВМ в Multiqueue указать число эквивалентное кол-ву vcpu (спорный момент - проверить);
Таким образом получаем макс. производительность ВМ.
Эта инф-ция есть в оф. доке, но кто ж ее читает (
Везде пользую zfs - надежно, удобно, нет привязки к произ-лю hw raid.
Опасения касаемо прожорливости zfs в плане ОЗУ решаются чтением оф. доки и правкой конф. файла, в к-ом указывается какой объем памяти отдать под zfs-кэш 1-го уровня (larc cache).
Если имеется 2+ pve-ноды и хочется отказоустойчивости, то можно использовать zfs-репликацию ВМ между нодами https://www.youtube.com/watch?v=08b9DDJ_yf4
Бэкапы у pve нативно из коробки прямо в веб-гуи настраиваются + отдельно можно развернуть PBS для инкрементного сохранения.
Разработчики в след. релизе обещают довести до ума sdn (аналог vswitch на vmware) https://pve.proxmox.com/wiki/Roadmap#Roadmap
P.s. Цикл заметок по работе с proxmox, zfs, pfsense etc https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/