Оно-то и коромысла хватит для «воды попить». Но хочется водопровода )
ИМХО, Openwrt — удел «железных» роутеров. Pfsense\Opnsense — гораздо удобнее и бочаге функционалом. Рекомендую все же ознакомиться с возможностями оных.
+ за PVE.
Для проекта ТС Proxmox-а хватило бы за глаза. PVE и с Openvswitch из-коробки дружит.
Если же PVE «мелковат» для ТС, то смотреть в сторону Opennebula (в телеге есть чат с одним из лучших спецов по ней). oVirt, ИМХО, монстр (
Зы. И почему VyOS? Есть же гораздо более удобные pfsense\opnsense — CARP умеют, AES-GCM пользуют (при наличие подходящих CPU), с BGP + OSPF — тоже ОК, snort + suricata в пакетах присутствуют — установка 3 нажатиями.
Если Вы хотите толку от Xen-а в нынешнем его «виде», то прийдется Xen Orchestra нужно собирать руками — xen-orchestra.com/docs/from_the_sources.htm
KVM же (в различном исполнении от PVE, Openstack, oVirt, Opennebula etc) гораздо более удобен.
Добрый )
У меня полтора десятка филиалов на pfsense\opnsense связаны с Центром по OpenVPN + OSPF. pfsense\opnsense живет на Proxmox VE (PVE). «Ни единого разрыва» (с). Скорость переключения с основного канала на резервный и обратно ~5-7 сек. На pfsense пользую пакет FRR (умеет и OSPF и BGP).
Спасибо за статью.
Немного от себя. В Вашем случае я бы пользовал Software ZFS Raid 10 — надежно, не зависит от железа, есть компрессия (и дедупликация — можно и Redhat VDO прикрутить). Тем более, что PVE умеет ZFS из коробки.
Зы. Моя небольшая вики по PVE (и не только) forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-и-все-все-все
Был найден неиспользуемый стационарный компьютер с двух-ядерным Intel-ом, 1 Гб ОЗУ и жестким на 80 Gb.
Мой Вам совет — pfsense\opnsense. Есть всё — и squid и vpn неск-ких типов и IDPS и много-много всего.
Вот, напр., настройка OpenVPN + OSPF — forum.netgate.com/topic/147028/два-провайдера-и-openvpn-клиент/92
Пользуйте forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-и-все-все-все
Upd1.
5. Почитайте про VDO от RH. Крайне «приятно» для дедупликации\deduplication
forum.proxmox.com/threads/virtual-data-optimizer-vdo.42838/ www.marksei.com/vdo-linux-deduplication
blog.delouw.ch/2018/12/17/using-data-deduplication-and-compression-with-vdo-on-rhel-7-and-8/ www.linuxsysadmins.com/installing-and-configuring-virtual-data-optimizer-vdo-on-centos7
hobo.house/2018/09/13/using-vdo-on-centos-rhel7-for-storage-efficiency/
rhelblog.redhat.com/2018/04/12/how-to-set-up-a-new-virtual-data-optimizer-device-using-cockpit-web-admin-console/
— любителям бесплатных обновлений без подписки (pve-no-subscription) не забываем, версия для тестирования, не для продакшена: может прилететь ядро без драйверов на сетевые карты (было уже один раз такое) или например с кривыми дровами не поддерживающими MTU более 1500 (тоже было) в обоих случаях сервер просто не видел сеть. Без KVM решать такие проблемы ещё то удовольствие.
Для этого нужно иметь МИНИМУМ ДВЕ копии ядра в /boot. Скрипт к-ый, оставляет в /boot указанное кол-во PVE kernel — github.com/algodelinux/purge-old-kernels При наличие кого-то, кто имеет доступ к монитору и клав-е на том конце, можно попросить при перезагрузке PVE выбрать предыдущую версию PVE kernel. Работает. Лично сталкивался.
Upd3.
Кому нужен хороший корпус для «самосбора» — посмотрите на Cooler Master N400. Количество внутренних отсеков 3.5" из коробки — ВОСЕМЬ. Все провода заводятся ЗА крепежную панель мат. платы.
На БП, ес-но, не стоит экономить. Берите из приличных и обязательно (!) с отстегивающимися кабелями (cabel management). Реaльно экономит место в корпусе.
1. Proxmox VE умеет ZFS «из-коробки» уж пару лет как. Сразу. Без танцев. Прямо в установщике.
2. Только OVS. Попробуйте на linux bridge VLAN «на лету» без перезагрузки ВМ на интерфейсе поменять\добавить.
3. ZFS любит ОЗУ. Она же copy-on-write и ARC cache в ней хранит (l2arch cache нужно хранить на SSD\NVM).
Настраивать ZLOG, к-ый хранит лог транзакций, как я понял, настраивать рекомендуют только(?) для NAS. В случае с PVE я его не пользую (ups везде имеются).
ZFS единственная из ФС (BTRFS?), к-ая проверяет CRC записываемых данных. Но преувеличивать ее аппетиты по ОЗУ не стоит. У меня есть десяток PVE в филиалах c 8ГБ ОЗУ (бюджет-с) с 2-4 ВМ на каждом. Вполне приемлемо.
Мало кто еще и zswap пользует с lz4\zstd-сжатием. Оч хорошая штука. Настройте и будет немного счастья.
4. Везде, где пользуют ZFS КРАЙНЕ НЕ РЕКОМЕНДУЮТ HW RAID — только raid средствами самой ZFS. Напомню, что для спокойного сна требуется иметь ЗИП в виде такого же HW RAID или мат. платы с HW RAID. Иначе можно сильно погореть при выходе из строя ЕДИНСТВЕННОГО HW RAID (отдельного или распаянного на
мат. плате). Особенно, если вы живете вдали от столиц.
Все это и многое другое описано в моей небольшой вики по Proxmox, ZFS, pfsense etc — forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense/
Периодически обновляю. Пользуйте )
Кто хочет снепшоты + дедупликацию на софт рейде + LVM — смотрите в сторону VDO от RH blog.it-kb.ru/2019/04/22/ovirt-virtual-machine-backup-storage-deduplication-using-the-virtual-data-optimizer-vdo-on-centos-linux-7-5/ Собрать VDO можно под любой дистрибутив никсов.
P.s. Может у кого получится «подружить» ZFS (с откл компрессией и откл дедупом, оставив только CRC) поверх VDO (вкл компрессия и вкл дедуп). И поделиться опытом (любым) при этом, ес-но. Человечество будет точно благодарно такому человеку )
Т.е. ТС вместо НАТИВНОЙ для Vmware VMXNET3, к-ая РЕКОМЕНДУЕТСЯ самой Vmware пользовал все это время E1000?
Сказать, что это печально — это не сказать ничего (
Ув ТС.
Крайне рекомендую пользовать для NAS открытые и ГОТОВЫЕ решения.
Это FreeNAS, XigmaNAS (ex-NAS4Free — в гугле по фразе «2гуся нас4фри» ), OpenMediaVault.
Умеют жить на флешках.
Первые два умеют ZFS «из-коробки», для 3-го поддержка ZFS реализована с пом. плагина.
О том, ПОЧЕМУ ZFS вы можете поискать в Сети.
Зы. VmWare — одна из самых титулованных компаний в сфере вирт-ции. Но ее подход к железу «не для нищебродов» (HCL Vmware ESXI в гугле) оттолкнул многих.
И по этому — KVM.
ИМХО. Для небольших инсталляций — Proxmox VE (https://forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense/), для остального — таже Opennebula (в телеге есть хороший рус. яз. чат-канал)
З.ы. ZFS обновилась на днях до вер. 0.8 Оч. и оч. много «вкусного» )
ИМХО, Openwrt — удел «железных» роутеров. Pfsense\Opnsense — гораздо удобнее и бочаге функционалом. Рекомендую все же ознакомиться с возможностями оных.
Есть и /24 и /28
Для проекта ТС Proxmox-а хватило бы за глаза. PVE и с Openvswitch из-коробки дружит.
Если же PVE «мелковат» для ТС, то смотреть в сторону Opennebula (в телеге есть чат с одним из лучших спецов по ней). oVirt, ИМХО, монстр (
Зы. И почему VyOS? Есть же гораздо более удобные pfsense\opnsense — CARP умеют, AES-GCM пользуют (при наличие подходящих CPU), с BGP + OSPF — тоже ОК, snort + suricata в пакетах присутствуют — установка 3 нажатиями.
KVM же (в различном исполнении от PVE, Openstack, oVirt, Opennebula etc) гораздо более удобен.
У меня полтора десятка филиалов на pfsense\opnsense связаны с Центром по OpenVPN + OSPF. pfsense\opnsense живет на Proxmox VE (PVE). «Ни единого разрыва» (с). Скорость переключения с основного канала на резервный и обратно ~5-7 сек. На pfsense пользую пакет FRR (умеет и OSPF и BGP).
Зы. Кому нужна голая БСД — BSD Router Project (BSDRP) в помощь. Возможности bsdrp.net/features, пример настройки bsdrp.net/documentation/examples/simple_bgp-rip-ospf_lab
Перед этим
прошел все круги адаперепробовал: Xen (еще от Citrix) -> Vmware ESXi -> MS Hyper-V.В хоз-ве полтора десятка PVE. Обновлялся последовательно c 4.х -> 6.х. Рекомендую. И только на ZFS, к-ую PVE умеет «из коробки».
Зы. Моя небольшая э-э-э «вики» — forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-и-все-все-все. Периодически обновляю.
Всем добра )
Немного от себя. В Вашем случае я бы пользовал Software ZFS Raid 10 — надежно, не зависит от железа, есть компрессия (и дедупликация — можно и Redhat VDO прикрутить). Тем более, что PVE умеет ZFS из коробки.
Зы. Моя небольшая вики по PVE (и не только) forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-и-все-все-все
Мой Вам совет — pfsense\opnsense. Есть всё — и squid и vpn неск-ких типов и IDPS и много-много всего.
Вот, напр., настройка OpenVPN + OSPF — forum.netgate.com/topic/147028/два-провайдера-и-openvpn-клиент/92
Пользуйте forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-и-все-все-все
5. Почитайте про VDO от RH. Крайне «приятно» для дедупликации\deduplication
forum.proxmox.com/threads/virtual-data-optimizer-vdo.42838/
www.marksei.com/vdo-linux-deduplication
blog.delouw.ch/2018/12/17/using-data-deduplication-and-compression-with-vdo-on-rhel-7-and-8/
www.linuxsysadmins.com/installing-and-configuring-virtual-data-optimizer-vdo-on-centos7
hobo.house/2018/09/13/using-vdo-on-centos-rhel7-for-storage-efficiency/
rhelblog.redhat.com/2018/04/12/how-to-set-up-a-new-virtual-data-optimizer-device-using-cockpit-web-admin-console/
ceph.com/geen-categorie/shrinking-your-storage-requirements-with-vdo/
www.slideshare.net/GlusterCommunity/data-reduction-for-gluster-with-vdo
Upd2.
Для этого нужно иметь МИНИМУМ ДВЕ копии ядра в /boot. Скрипт к-ый, оставляет в /boot указанное кол-во PVE kernel — github.com/algodelinux/purge-old-kernels При наличие кого-то, кто имеет доступ к монитору и клав-е на том конце, можно попросить при перезагрузке PVE выбрать предыдущую версию PVE kernel. Работает. Лично сталкивался.
Upd3.
Кому нужен хороший корпус для «самосбора» — посмотрите на Cooler Master N400. Количество внутренних отсеков 3.5" из коробки — ВОСЕМЬ. Все провода заводятся ЗА крепежную панель мат. платы.
На БП, ес-но, не стоит экономить. Берите из приличных и обязательно (!) с отстегивающимися кабелями (cabel management). Реaльно экономит место в корпусе.
1. Proxmox VE умеет ZFS «из-коробки» уж пару лет как. Сразу. Без танцев. Прямо в установщике.
2. Только OVS. Попробуйте на linux bridge VLAN «на лету» без перезагрузки ВМ на интерфейсе поменять\добавить.
3. ZFS любит ОЗУ. Она же copy-on-write и ARC cache в ней хранит (l2arch cache нужно хранить на SSD\NVM).
Настраивать ZLOG, к-ый хранит лог транзакций, как я понял, настраивать рекомендуют только(?) для NAS. В случае с PVE я его не пользую (ups везде имеются).
ZFS единственная из ФС (BTRFS?), к-ая проверяет CRC записываемых данных. Но преувеличивать ее аппетиты по ОЗУ не стоит. У меня есть десяток PVE в филиалах c 8ГБ ОЗУ (бюджет-с) с 2-4 ВМ на каждом. Вполне приемлемо.
Мало кто еще и zswap пользует с lz4\zstd-сжатием. Оч хорошая штука. Настройте и будет немного счастья.
4. Везде, где пользуют ZFS КРАЙНЕ НЕ РЕКОМЕНДУЮТ HW RAID — только raid средствами самой ZFS. Напомню, что для спокойного сна требуется иметь ЗИП в виде такого же HW RAID или мат. платы с HW RAID. Иначе можно сильно погореть при выходе из строя ЕДИНСТВЕННОГО HW RAID (отдельного или распаянного на
мат. плате). Особенно, если вы живете вдали от столиц.
Все это и многое другое описано в моей небольшой вики по Proxmox, ZFS, pfsense etc — forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense/
Периодически обновляю. Пользуйте )
Кто хочет снепшоты + дедупликацию на софт рейде + LVM — смотрите в сторону VDO от RH blog.it-kb.ru/2019/04/22/ovirt-virtual-machine-backup-storage-deduplication-using-the-virtual-data-optimizer-vdo-on-centos-linux-7-5/ Собрать VDO можно под любой дистрибутив никсов.
P.s. Может у кого получится «подружить» ZFS (с откл компрессией и откл дедупом, оставив только CRC) поверх VDO (вкл компрессия и вкл дедуп). И поделиться опытом (любым) при этом, ес-но. Человечество будет точно благодарно такому человеку )
И загрузка образов и централизованное резервное копирование. Пользую. Рекомендую.
Смысл в том, чтобы сжатие и дедупликацию переложить на VDO, а ZFS оставить только вычисление CRC.
Вот бы еще ZFS поверх VDO запустить…
Т.е. ТС вместо НАТИВНОЙ для Vmware VMXNET3, к-ая РЕКОМЕНДУЕТСЯ самой Vmware пользовал все это время E1000?
Сказать, что это печально — это не сказать ничего (
Ув ТС.
Крайне рекомендую пользовать для NAS открытые и ГОТОВЫЕ решения.
Это FreeNAS, XigmaNAS (ex-NAS4Free — в гугле по фразе «2гуся нас4фри» ), OpenMediaVault.
Умеют жить на флешках.
Первые два умеют ZFS «из-коробки», для 3-го поддержка ZFS реализована с пом. плагина.
О том, ПОЧЕМУ ZFS вы можете поискать в Сети.
Зы. VmWare — одна из самых титулованных компаний в сфере вирт-ции. Но ее подход к железу «не для нищебродов» (HCL Vmware ESXI в гугле) оттолкнул многих.
И по этому — KVM.
ИМХО. Для небольших инсталляций — Proxmox VE (https://forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense/), для остального — таже Opennebula (в телеге есть хороший рус. яз. чат-канал)
З.ы. ZFS обновилась на днях до вер. 0.8 Оч. и оч. много «вкусного» )
Товарищ rub_ak выше писал про ESXI.
Оставлю тут forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense
Может кого-то заинтересует.