Как говорится, "не прошло и года" (а прошло всего 202 дня), а авторы Proxmox Virtual Environment (более известного, как Proxmox VE, или просто PVE) - замечательного дистрибутива для развертывания хостов виртуализации на базе LXC и KVM, выпустили обновление своего детища до версии 7.3. PVE построен на базе Debian GNU/Linux, и представляет собой неплохую альтернативу решениям от коллег по цеху - но только бесплатную, либо по цене стоимости подписки на поддержку.
Proxmox Virtual Environment 7.3 поставляется с начальной поддержкой планирования ресурсов кластера, позволяет обновлять системы в режиме air-gapped с помощью нового инструмента Proxmox Offline Mirror, имеет улучшенный UX для различных задач управления, а также интересные технологии хранения данных, такие как ZFS dRAID.
Наверное, проще привести анонс от самих авторов:
дата выпуска: 22 ноября 2022
релиз построен на базе Debian Bullseye (11.5)
последнее ядро из ветки 5.15 поставляется в качестве стабильного по умолчанию (5.15.74), по желанию можно использовать более новое ядро 5.19
QEMU 7.1
LXC 5.0.0
ZFS 2.1.6
Ceph Quincy 17.2.5
Ceph Pacific 16.2.10
Основные моменты
Поддержка Ceph Quincy. Она также используется по умолчанию при новых установках.
Начальная поддержка планирования ресурсов кластера (CRS)
Теги для ВМ в веб-интерфейсе для лучшей категоризации/поиска/...
Поддержка Proxmox Offline Mirror для обновления и управления подписками систем с "воздушным зазором" (air-gapped).
Обзор изменений
Улучшения в веб-интерфейсе (GUI):
Отображение тегов для ВМ в дереве ресурсов, есть возможность редактирования
Улучшен UX для промежуточных устройств PCIe - теперь для них также отображается название
Улучшен просмотр сертификатов - например, для сертификатов с большим количеством SAN.
Пользовательский интерфейс диска узла: аккуратная (gracefully) обработка добавления одного и того же локального хранилища (например, zpool с одинаковым именем) на несколько узлов.
Показ конфигураций узлов, таких как
wakeonlanили задержка запуска ВМ при загрузке для каждого узла в веб-интерфейсе.Улучшены переводы, среди прочего:
арабский
голландский
немецкий
итальянский
польский
традиционный китайский
турецкий
Улучшение рендеринга сложных форматов в виджете api-viewer
Виртуальные машины (KVM/QEMU)
Новая основная версия QEMU 7.1
Поддержка закрепления ВМ за определенными ядрами процессора с помощью
tasksetВ веб-интерфейсе для новых ВМ по умолчанию включен
iothreadи в качестве SCSI-контроллера выбранVirtIO SCSI-Single(если такое поддерживается гостевой ОС)Новые ВМ используют USB-контроллер
qemu-xhci, если он поддерживается гостевой ОС (Windows >= 8, Linux >= 2.6)USB-устройства теперь можно подключать "на горячую"
Передача до 14 USB-устройств (ранее 5) на виртуальную машину
Приведение параметров
virtio-netдля размеров очередей приема (rx) и передачи (tx) в соответствие с лучшими практиками в upstreamИспользовать более эффективный упакованный формат для нескольких очередей (multi-queues)
Разрешить до 64 мультиочередей rx и tx (ранее было 16)
Улучшения Cloud-init: изменения в настройках cloud-init теперь могут быть доступны в config-drive ISO внутри ВМ напрямую
Отключение по умолчанию
io_uringдля дисков ВМ, размещенных на CIFS - для устранения проблемы с CIFS иio_uring, присутствующей с ядра 5.15Улучшена обработка ВМ с передаваемыми PCIe-устройствами:
Очистка созданных устройств mdev, даже если ВМ не удалось запустить
Увеличение таймаутов между отправкой SIGTERM и SIGKILL, чтобы обеспечить очистку при завершении работы
Предотвращение приостановки ВМ с проброшенными PCIe-устройством, поскольку состояние устройства не может быть сохранено.
Контейнеры (LXC)
Новая мажорная ветка LXC - 5.0.0
Более надежное обнаружение режима cgroup путем явной проверки типа
/sys/fs/cgroupПоддержка новых версий дистрибутивов:
Fedora 37 и подготовка к 38
Devuan 12 Daedalus
Подготовка к Ubuntu 23.04
Bind-mounts теперь также напрямую применяется к запущенному контейнеру
Исправлена ошибка при клонировании заблокированного контейнера: больше не создается пустой конфиг, а получается корректно обрабатываемая ошибка
Улучшения в определении версии systemd внутри контейнеров
Тома теперь всегда деактивируются после успешного move_volume, а не только если исходный том должен быть удален: как меря для предотвращения зависающих привязок krbd
Доступны новые готовые шаблоны для:
AlmaLinux 9
Alpine 3.16
Centos 9 Stream
Fedora 36
Fedora 37
OpenSUSE 15.4
Rocky Linux 9
Ubuntu 22.10
Обновлены существующие шаблоны:
Gentoo (2022-06-22-openrc)
ArchLinux (2022-11-11)
Общие улучшения для гостевых ВМ
Добавлена опция отключения обучения MAC на мостах (адреса ВМ добавляются статически, широковещательные пакеты не рассылаются на эти порты, таким образом, нет ложных ответов, что нарушало некоторые настройки сети хостера)
Улучшение очистки резервных заданий при очистке конфигурации удаленной ВМ
Опционально можно перезапускать ВМ после отката к снапшоту
Framework для удаленной миграции на внешние, по отношению к кластеру, хосты Proxmox VE
HA Manager
Tech-preview технологии планирования ресурсов кластера (CRS): Улучшение выбора нового узла, когда HA Manager должен найти новый хост-узел для HA-сервиса, в следующих случаях:
восстановление после "огораживания" (fencing) узла
при выключении узла, если включена shutdown-policy
migrate.при изменении конфигурации группы HA, если текущий узел больше не находится в наборе с наивысшим приоритетом.
Использование метода многокритериального анализа решений TOPSIS для поиска лучшей цели
Создав базу в виде CRS, разработчики Proxmox планируют расширить ее динамическим планировщиком нагрузки и балансировкой нагрузки в реальном времени в будущих релизах.
Кластер
Устранение проблемы с разрешениями в API для получения статуса
QDeviceВызов API для получения статуса API требует привилегированного доступа, но был запущен непосредственно в непривилегированном демоне, что приводило к ложным ошибкам с отказом в разрешенииИсправление состояния гонки между записью corosync.conf и перезагрузкой corosync при обновлении
Резервное копирование/восстановление
Улучшена поддержка пространства имен для типа хранилища Proxmox Backup Server
Улучшения в разборе переменных шаблона заметок резервного копирования
Шаблон заметок для резервного копирования, представленный в Proxmox VE 7.2, получил ряд исправлений и улучшенийДобавлена опция
repeat-missed, позволяющая отказаться от обычного поведения в смысле запуска пропущенных заданий при каждой загрузке.ВМ, используемая для пофайлового восстановления для ВМ на базе QEMU, теперь имеет поддержку увеличения памяти (например, для работы с большим количеством ZFS-данных внутри гостя)
Улучшена проверка конфигурации при шифровании Proxmox Backup Server (например, не случится возврата к plaintext, если ключ шифрования будет отсутствовать).
При удалении файлов резервных копий vzdump также удаляются соответствующие заметки и журнал.
Хранилище
Поддержка ZFS dRAID vdevs при создании zpool через API и GUI. dRAID улучшает время восстановления при сбое диска.
Установка dRAID имеет смысл при большом (15+) количестве дисков или среднем и большом количестве огромных дисков (15+ ТБ).Согласование API статуса SMART с полями Proxmox Backup Server
Поддержка Notes и параметра Protected для резервных копий, хранящихся на хранилищах типа BTRFS.
Репликация хранилищ
Не отправляются письма при ложных ошибках: например, когда репликация не может быть запущена, потому что ВМ находится в процессе миграции
При сбое репликации первые 3 повторные попытки планируются за более короткое время, а затем ожидание в течение 30 минут перед повторной попыткой - это улучшает согласованность при коротких сбоях в сети
Очистка состояния репликации ВМ, работающих на другой ноде: это может произойти после HA-fencing
Сделали взаимодействие состояния репликации и изменений конфигурации более надежным: например, в случае, когда сначала удаляются все тома с одного хранилища, а затем удаляется ВМ перед запуском следующей репликации
pve-zsync
поддерживает опцию
--compressed, в результате чего уже сжатый набор данных будет отправлен в исходном виде на место назначения (таким образом, устраняется необходимость распаковки и потенциального повторного сжатия на целевом устройстве).
Ceph
Улучшен пользовательский интерфейс при создании новых кластеров
Улучшен выбор сети и проверка дублирующихся IP.Больше невозможно столкнуться с ошибкой, выбрав для первого монитора узел, отличный от того, к которому вы подключены (предотвращает попытки создать монитор на узлах без установленных пакетов Ceph).
Добавлена эвристическая проверка, можно ли остановить или удалить службу ceph MON, MDS или OSD.
Веб-интерфейс теперь будет показывать предупреждение, если удаление/остановка службы повлияет на работу кластера.
Поддержка установки Ceph Quincy через Proxmox VE CLI и GUI.
Контроль доступа
Улучшено именование параметров WebAuthn в графическом интерфейсе.
Увеличение размера кода OpenID - совместимость с Azure AD в качестве провайдера OpenID
Для ключей восстановления требуется только доступ на запись (кворум) к конфигурации TFA
Все остальные методы TFA требуют только доступа на чтение к конфигурации. Это делает возможным вход на узел, который не входит в кворумный раздел, даже если у пользователя настроен TFAИсправлена трудная для проявления проблема обновления с ротацией закрытого ключа, используемого для подписи тикетов доступа, что приводило к ложным отклонениям вызовов API
Исправлено создание токенов для других пользователей любым пользователем, кромеroot@pam
ошибка не позволяла пользователю A создать токен для пользователя B, несмотря на наличие соответствующих прав.
Улучшено ведение журнала для токенов с истекшим сроком действия.
Брандмауэр, сети и программно определяемые сети (технический обзор)
Исправление установки MTU в установках, использующих OVS
ifupdown2 теперь корректно обрабатывает настройки точка-точка
ifupdown2 теперь может добавлять OVSBrige с vlan-тегом в качестве портов к OVSBridge (fakebridge)
Исправлено обновление MTU, если bridge-порт подключен к другому мосту.
Группы безопасности брандмауэра теперь могут быть переименованы, при этом изменения напрямую подхватываются из pve-firewall
Более строгий разбор конфигурационных файлов ВМ в pve-firewall, что позволяет фактически отключить брандмауэр для ВМ, сохранив при этом конфигурационный файл.
Улучшена обработка правил
ebtables, добавленных извне: если правило было добавлено в таблицу, отличную отfilter,pve-firewallвсе равно пытался разобрать и добавить его в таблицуfilterпри компиляции правила.
Улучшено управление кластерами Proxmox VE:
Proxmox Offline Mirror: Инструмент поддерживает подписки и зеркала репозитория для кластеров с "воздушным зазором". Новая утилита
proxmox-offline-mirrorтеперь может быть использована для поддержания узлов Proxmox VE, не имеющих доступа к публичному интернету, в актуальном состоянии и с действующей подпиской.Новый бинарник переадресации почты proxmox-mail-forward: без функциональных изменений, но унифицирует конфигурацию для отправки генерируемых системой писем на адрес электронной почты, настроенный для
root@pam.
Улучшения вpvereport- для лучшего обзора состояния узла Proxmox VE была добавлена/улучшена следующая информация:ceph-device-list
стабильный порядок вывода ВМ и сетевой информации
вывод proxmox-boot-tool
вывод arcstat
Демон HTTP и REST-API
Файловые загрузки теперь поддерживают имена файлов с пробелами.
Загрузка файлов теперь поддерживает файлы размером менее 16 КБ.
Улучшена санация ввода URL API в качестве дополнительного уровня безопасности.
Установочный ISO
Исправлены права доступа к /tmp в среде установки (например, для случаев, когда пользователи устанавливают программное обеспечение вручную из отладочной оболочки).
Сделали требование к размеру 8 ГБ предупреждением - большинство установок могут работать с меньшим объемом, но после установки может потребоваться адаптация (например, перемещение места назначения журнала на другое устройство) - установили значение 2 ГБ в качестве жесткого ограничения.
Переработали автоматическое определение размера корневого раздела, раздела данных ВМ и swap-раздела, и отказалиcь от создания пула LVM-Thin в пользу пространства корневого раздела на установках с ограниченными ресурсами дисков.
Мобильное приложение
обновление до версии flutter 3.0
поддержка и ориентация на Android 13
исправление кнопок, скрытых за мягкими навигационными кнопками Android
обеспечили обратную связь о запуске задач резервного копирования: ошибка не позволяла получить визуальную обратную связь в приложении при запуске резервного копирования (хотя резервное копирование было запущено).
Известные проблемы и изменения
Теги ВМ:
Дубликаты тегов теперь отфильтровываются при обновлении поля тегов для ВМ.
По умолчанию обнаружение и сортировка дубликатов выполняется без учета регистра, все теги обрабатываются в нижнем регистре. Это можно изменить в конфигурацииdatacenter.cfgс помощью булева свойстваcase-sensitiveопцииtag-style.
Видео
Лучше один раз увидеть, и вот ролик про новинки свежей версии:
Загрузить ISO с новой версией можно, как обычно, по ссылке https://www.proxmox.com/en/downloads.
Есть вариант установить PVE поверх Debian 11 (этот вариант, например, позволяет соорудить сервер с официально не поддерживаемым зеркалом на базе md - и вообще, любую нестандартную конфигурацию; тем не менее, PVE рекомендуется использовать как единственное ПО на сервере, а не "рядом" с другими программами и задачами сервера!)
Обновление 7.2 до 7.3 делается привычной в Debian командой
apt update && apt dist-upgrade, с ветки 6.х до 7.х чуть сложнее - делаем по мануалу.
