Comments 60
У меня сервер с 2 ssd и 2 nvme. Аппаратных контроллеров raid нет. Ставлю типовой proxmox ve 8 из iso, диски попарно объединяю в raid1 средствами zfs. Озу навалом.
Боже, какие это тормоза! Любые более-менее массовые копирования данных между zfs-рейдами дают 20-40% io delay. Что приводит к тормозам и фризам виртуалок.
Перепробовал 3 разных сервера. Разные модели и производители накопителей. Эффект тот же. Грешу на zfs. Отключил сжатие, ahead=12. Не помогает.
При этом не знаю, можно ли зеркало сделать средствами lvm - искал, не нашел. А mdadm - нетиповое использование, на форуме proxmox не рекомендуют.
Я zfs как раз не стал использовать потому, что его шибко надо уметь готовить, а я не пром инфру делаю. LVM позволяет делать RAID 5 и RAID 0 вроде, но я только мельком видел. Я бы на твоем месте спросил у ChatGPT и потом гуглил :) Правда, она вероятно подскажет. При этом в статье я привел ссылки на RedHat доки, там у них по LVM на мой взгляд лучшее, что есть, посмотри там.
Да, подумал тут. У меня проблемы были большие с SSD подрубленными в некоторые порты NUC. В других они работают стабильно. Может поможет.
От zfs на proxmox (вообще на Linux тоже) отказался, потому что тормозило, при этом ело много памяти. Непонятно почему так.
В итоге если нужен raid1, когда нет физического raid контроллера, раскатываю Debian, на котором при установке настраиваю raid1 через mdadm.
Потом на него раскатываю proxmox по инструкции с их сайта, сначала ядро, ребут, потом всё остальное. В работе запущено несколько таких серверов на бытовых материнских платах на чипсетах b550 на райзенах. Пока проблем за больше года не было.
При накате Proxmox 7.{3|4} на Debian возникали проблемы только если при установке Debian сеть проставлялась через получение по dhcp. В этом случае возникали непонятные глюки при установке пакетов proxmox - не запускались какие-то сервисы (не помню какие именно) из-за ошибок при инсталляции. Решение: при установке принудительно (при наличии dhcp сервера) настроить сеть на static ip.
Proxmox 8 на Debian на raid1 на mdadm пока не пробовал ставить.
Proxmox с ZFS прекрасен, держу таких три штуки в своей лично-мелкобизнесовой сети (один сервер у себя дома, два арендованных в датацентрах). На всех, правда, от 128 Гб RAM, но и половины этого должно хватать. На домашнем сервере RAIDZ2 (аналог RAID6), на арендованных просто зеркала из двух SSD. У ZFS разве что deduplication жрёт нереально много ресурсов, ну так оно и не надо обычно. В остальном никаких значимых тормозов не наблюдается...
Mdadm был типовым решением кажется до пятой версии. Собственно его использую больше 10 лет с проксмокс.
Здравствуйте! У меня похожая проблема, буквально вот на днях собрал себе файловый сервер на базе старого компьютера - установил один SSD под систему, и два жестких диска по 2Тб под данные, чтобы объединить их в RAID1. Создал массив с помощью mdadm, ещё при установке Debian. На сам сервер поставил Seafile.
Проблема в том, что mdadm довольно часто начинает полную синхронизацию от начала и до конца, что загружает диски часа так на 3, и в это время крайне проблематично скачать/загрузить что-либо.
В этой ситуации меня волнует не сколько "зависание" системы, а износ жёстких дисков. Не подскажите, стоит ли смотреть в сторону аппаратной поддержки RAID, или все-таки искать какие-то программные решения?
У меня аппаратный RAID с некоторой периодичностью делает Patrol Read, о чём сообщает в консоль. Делает группами по 8 дисков, я так понял сначала один логический контроллер, затем другой. При этом на занятом патрулировании массиве скорость несколько падает. Т.е. патрулирование не прекращается а просто снижается его приоритет.
Если это происходит "довольно часто" - то стоит смотреть, что у вас с питанием системы, корректным выключением, аптаймом и т.д. Потому что в нормальной ситуации повторная синхронизация не происходит.
Если на ZFS оперативки не хватает, можно ещё BTRFS попробовать. У неё плохая репутация по прошлым годам, когда были проблемы со стабильностью (сам один раз попал...), но сейчас, вроде, вполне production ready. Некоторые штуки умеет, которых и в ZFS нет.
Это Вы еще не столкнулись с проблемой диких потерь пакетов на виртуалках с большим количеством ядер(более 8 вроде)...
А что надо сделать чтобы столкнуться? У меня 16 ядер и с десяток виртуалок.
У вас виртуалки под виндой или линуксовые? виртуалки, или контейнеры? У физического сервера 1 или 2 цпу? У меня 2 сервера проксмокс, один обновлялся с 6 до 8, второй ставился сразу 8 и на обоих вылез этот баг, проблема проявляется у меня только на виртуалках с виндой. И да, я такой не один, проблема обсуждается в сети и есть фикс, но довольно сомнительный(отключение балансировки numa).
Поставьте debian, на него пакеты PVE
Виртуалки - в qcow2 на md-raid1 через storage=dir, параметры - aio=threads,iothread=1
Ничего "нетипового" в этом нет. На практике самая стабильная конфигурация (хотя может и не самая быстрая, но на nvme/sata ssd это не так ролять будет).
У меня 4 ssd (1 nvme + 3 sata), все на zfs, два объединены в массив. Никаких тормозов нет, все быстро и четко.
10+ лет с pve.
8+ лет с zfs на проксе - проблем нет. Надо просто офиц. доку читать.
У Вас trim на ssd-пуле вкл?
За статью спасибо. Вот только зря вы их стандартный дистрибутив охаяли. Я честно пару раз пробовал накатывать поверх Debian, и каждый раз натыкался на разнообразные странные грабли. Там неглупые люди работают и их доработки Debian вполне имеют право на существование.
Сейчас их дистрибутив хорошо справляется с большинством задач, легко ставится и конфигурируется. Причём, это одинаково хорошо работает, как с серверным, так и с десктопным железом.
Кстати, mdadm у меня на сервере с Proxmox прекрасно жил годами (RAID1), никаких проблем с ним не было.
Если покуролесить - это да. Если сделать облако (хотя - это не облако, если что, будет) в смысле надежного хостинга нескольких виртуалок - надо искать другой подход.
Как сами проксмоксоавторы говорят - мы вам только что позволили крутить в 10 раз больше машин на том же железе, так и вы напрягитесь и выберите надежное железо!
А смысл бекапить на тот же сервер? В случае чего всё вместе с бекапами и накроется одновременно. Я тоже best practices по выделению отдельного сервера для бекапов не могу себе позволить соблюсти, но у меня три сервера PVE, на каждом из которых установлен также PBS, перекрёстно бекапятся друг на друга. Заодно можно очень быстро переносить виртуалки между серверами, поднимая из уже лежащего на нужном сервере бекапа.
Диски то другие
У вас, видимо, ещё не выгорало по два диска разом из-за криворукого электрика. У меня выгорало. И тогда повезло, что было два RAID1 массива и выгоревшие диски оказались в разных массивах.
Ну это малая часть рисков :)
я поставил Debian Bookworm и уже в него накатил Proxmox. Отключаем NetworkManager так как PVE рулит сетью с помощью ifupdown2
Какой NetworkManager? Вы ставите proxmox-ve на десктоп?
Нужен чистенький и минимальный debian-12.5.0-amd64-netinst.iso c openssh-server
Есть официальная инструкция:
https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Buster
https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_11_Bullseye
Для Debian 12 Bookworm:
echo "deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription" | sudo tee /etc/apt/sources.list.d/pve-install-repo.list
sudo wget http://download.proxmox.com/debian/proxmox-release-bookworm.gpg -O /etc/apt/trusted.gpg.d/proxmox.gpg
apt update && apt full-upgrade && apt remove os-prober # установятся обновления grub от Proxmox
systemctl reboot
Редактируем /etc/hosts, /etc/hostname и /etc/network/interfaces(inet static)
apt install ifupdown2 # снесет ifupdown, сеть надо проверить обязательно!
apt install proxmox-ve postfix open-iscsi
При установке proxmox-ve добавляется репа pve-enterprise.list
cat /etc/apt/sources.list.d/pve-enterprise.list
Выключаем репу
sudo sed -i 's:^deb:#deb:' /etc/apt/sources.list.d/pve-enterprise.list
При установке Debian я не активировал root. Был добавлен пользователь user
Добавление текущего пользователя user
pveum useradd user@pam
pveum aclmod / -user user@pam -role Administrator
Заходим под user
https://IP:8006/Последняя версия proxmox-kernel устанавливается автоматом.
Родное ядро Dedian пока не удалял.
Да, на десктоп, мне так удобнее, и что вы мне сделаете? :)
Делайте так, как Вам удобно.
После установки ifupdown2 и автосноса ifupdown у меня был баг с сетью.
Очистить оставшиеся конфиги от удалённых пакетов
sudo aptitude purge ~c
systemctl status networking
systemctl enable --now networking
ifreload -a
ifreload -adf
А зачем вы это рекомендуете в статье-то?
Затем, что у меня именно с десктопом не было никаких проблем?
Он же написал: вместо чтения офф документации использует чатжпт.
Примета времени..
В статье смешных моментов хватает.
О, вот и форумные выпендрежники подъехали :)
Вы знаете, вы очень интересные вещи пишите. И неплохо описываете - для новичков полезно.
Ошибок правда хватает. Да и просто улучшить кое-что можно, обменяться опытом. Но вот после такого:
Я говорил попробуй собрать ядро для опанджей 5. Потом приходи :) Просто ведро собрать дело плевое.
и
О, вот и форумные выпендрежники подъехали :)
никакого желания продолжать дискуссию нет.
Удачи вам. И всего хорошего.
Это всё игрушки :)
Вот описал бы кто-нибудь, как собрать кластер из 50-ти нод Проксмокса :)
Ядро новое выпустят для оранджей, опишу как из 4-х собрать :) Если мне они зачем то нужны будут конечно. Пока что кажется, что NUC с 12 ядрами и 16 потоками и так все потянет. Но, кто знает :)
4 не интересно. Даже 20 не интересно. Вот от 30 и больше.
Чё-то подумал, а чего вы ждёте ядро? Почему самостоятельно не собрать?
А я бы, кстати, не рекомендовал делать LVM массивы с внешними USB дисками. Был опыт. Если оно вдруг случайно отвалится, то есть высокая вероятность все потерять.
Автор, спасибо.
Но для начинающего пользуйте родной iso и не мудрите с mdadm без ОСОБНОЙ надобности.
P.s. Всем интересующимся pve и не только https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
P.p.s.
>aptitude install ifupdown2 proxmox-ve open-iscasi
open-iscsi
И лучше не swap-раздел ,а swap-файл. Удобнее на порядок.
Забавно.
Про свой сервер Dell T430 рассказывать не буду.
Но с давних лет использую Esxi 6.7 u2
Как по мне самая крутая версия.
Работает годами без нареканий.
Достаточно SD карту воткнуть в NUC и на нее поставить.
Единственный затык это с RAID
Но я бы собрал на простеньком ПК
OpenMediaVault 5 версия собрал бы в нем какие нужно рейды и по iSCSI подключил к ESXI.
ISCSI пока единственная стабильная технология которая мне нравится и работает как часы.
Собрал OMV 5 на старом ПК. Воткнул 4 hdd по 4 тб, Raid 5 (У меня линейная запись бэкапов) в 16x воткнул 10G сетевую за 1000р на алике. В серваке то же.
Бекапы делаются на скорости 500-700 МБайт/сек. Восстановление также.
Так как эта конструкция собрана для моего развлечения, то мне отдельно нравится и то, что она крайне эстетична :) Все такое игрушечное и тихо работая ест 100-200вт, не мерил точно, попозже. Цели сделать экономно не было, а вот красиво и мобильно, была. В остальном конечно кто на что горазд, я тоже поначалу думал все на старом ноуте собрать, но потом не стал, не красиво, а для развлечений это важно.
Личное облако на Proxmox