Comments 17
Новый брандмауэр на основе nftables
Аллилуйя :) Последняя причина, по которой я не решался закопать стюардессу iptables и наконец перейти на nftables на всех своих серверах (ну, прежде всего, в Ansible плейбуках, которыми оные настраиваются), - это был Proxmox. Теперь ничего не стоит между мной и лучшими современными практиками :)
А как там организуется storage? Есть что-то похожее на VSAN?
То, о чем Вы говорите, в Proxmox VE построено на Ceph. А вообще со стораджами там довольно разнообразно, разве что полного аналога совместного использования единого стораджа, как VMware VMFS, увы, нет.
Что значит нет? Разворачивал Proxmox и подавал на него обычные луны по FC, поверх которых использовал OCFS2.
Спасибо, не знал, не пробовал.
По ссылке в моём ответе выше список официально поддерживаемых стораджей. Скажем, там нет md, хотя никто не мешает его собрать и использовать самостоятельно - просто в интерфейсе прокса об этом не будет особой информации, ну и не будет официального варианта собрать такой сторадж штатными средствами прокса. OCFS2, как я понимаю, Вы монтировали в локальный каталог, т.е. для прокса это локальная ФС, а что она при этом кластерная, сетевая, и работает совсем не как локальный SSD - это его формально не касается. Начал искать - да, так люди делают.
Мониторинг её работы при этом, конечно, на осознающем все прелести технологии владельце/администраторе кластера.
Другое дело, что на хост виртуализации (точнее, в кластер таких хостов) обычно переезжают нужные машины, т.е. хочется надежной работы всего комплекса. Строить хранение на том, о чём авторы официально никак не высказались, и поддержку чего не встроили никто не запрещает, но есть ли смысл в плане надежности дальнейшей работы - это вопрос. Для прямо боевого использования кластера я бы подумал много раз, прежде чем рискнуть, мало ли на какой нагрузке и через сколько лет вылезет какой момент в работе?
Начал искать - да, так люди делают.
Есть продолжение.
Problem with PVE 8.1 and OCFS2 shared storage with io_uring
https://forum.proxmox.com/threads/problem-with-pve-8-1-and-ocfs2-shared-storage-with-io_uring.140273/
Bug 5430 - OCFS2 io_uring read/write issues in 6.8.4-2-pve
https://bugzilla.proxmox.com/show_bug.cgi?id=5430
Увы, когда собираешь вместе сложные технологии, получаешь сложные, порой плавающие проблемы. И, если собирать кластер виртуализации для серьезного дела, то несерьезным отношением можно только себе в ногу выстрелить.
Как писали сами проксмоксы на своём форуме: мол, вы делаете хост виртуализации, чтобы сэкономить, в силу лучшей утилизации железа, на покупке десятка машин, пусть и послабее - так купите этот один (более мощный) сервер получше, с приличным железом, всё равно же экономите.
А сколько таких багов на форуме и в багзилле - ну, много там всякого, и частью они именно в стиле "я ужа и ежа скрестил, хотя никто этого раньше не тестировал, помогите мне".
Похоже нужен патч ядра Linux.
https://www.altlinux.org/OCFS2
"...OCFS2 не поддерживает новый (на 2022 год) интерфейс ядра Linux для асинхронного ввода/вывода io_uring, поэтому могут быть проблемы с программами, использующими io_uring (например, PVE, нужно использовать другие типы асинхронного ввода/вывода - native и threads)..."
Все так, выглядит для проксмокса это как локальная ФС и никакой проблемы тут не вижу. Конечно вы берете на себя ответственность за использование OCFS2, при такой схеме. Я просто написал, что можно и мною тестировалось.
Ну вот в том и вопрос, что и плюшки ФС прокс не увидит (если что-то особенное есть), и, самое главное, проблемы в работе ФС нужно будет мониторить своими руками (тоже не смертельно, но не забывать).
А вот, как выше ссылку давали, когда вылезает нестыковки используемых в проксе технологий, и самой ФС (вопрос по работе io_uring), то - сам себе отладчик.
На самом деле, для лабораторных целей даже и отлично получается, но вот в прод, да еще в такой, где простой стоит нервов и/или денег... ну, так себе идея.
Заметки по работе с proxmox, zfs, ceph, pfsense etc- https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-%D0%B8-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2/Не в обиду, но Вы довольно часто пиарите этот сайт - это ваш сайт, и ему прямо не хватает трафика?
На 8.3.2 при обновлении пакетов стали ошибки такие отображаться, может кто знает как поправить?
E: Repository 'http://ftp.ru.debian.org/debian bookworm InRelease' changed its 'Label' value from 'Debian-Security' to 'Debian'
N: Repository 'http://ftp.ru.debian.org/debian bookworm InRelease' changed its 'Version' value from '12' to '12.9'
N: Repository 'http://ftp.ru.debian.org/debian bookworm InRelease' changed its 'Suite' value from 'stable-security' to 'stable'
E: Repository 'http://ftp.ru.debian.org/debian bookworm InRelease' changed its 'Codename' value from 'bookworm-security' to 'bookworm'
N: This must be accepted explicitly before updates for this repository can be applied. See apt-secure(8) manpage for details.
Осеннее обновление: релиз Proxmox VE 8.3