Полезные ссылки, спасибо - про LVM я читал уже, и из БРЕСТ-а разрабы тоже что-то такое пилят для LVM. Но пока не было возможности оценить полный функционал и ограничения.
Вот это вам точно никто в этой части вселенной гарантировать не сможет. Даже вмваря.
Конечно, идеального нет. Но 14 лет эксплуатации ESXi дает уверенность в нем ) по крайней мере крашей VMFS я не наблюдал. Гипервизор может повиснуть раз в год, это норм ) Ребут, и еще годик без проблем работаем )
ProxMox отличная штука до 10-15 серверов. Но если у нас сотни серверов - мигрировать с vSphere это довольно больно должно быть...
VMware ESXi я как то обновлял с версии 4.1 до 6.7 поверх - с подскоком до промежуточных (5.0 -> 5.5 -> 6.1 -> 6.7).
Давно уже так можно, аж с 2010 года. И все за счет того, что при установке ESXi делает 2 одинаковые партиции под систему - обновляешь одну - по сути трогаешь только одну партицию, вторая остается резервной.
Причем тут PVE и FC/iSCSI. Я говорил о том, что нет прямого аналога VMFS - отформатировал LUN, и все Linux могут без проблем с него по FC/iSCSI читать и писать (запускать виртуальные машины). И чтобы без Ethernet надстройки, без багов и т.д.
Для всего, что я изучал и тестировал, нужно Ethernet, дополнительные демоны и т.д. И часто это работает не надежно (пример, OCFS).
Поэтому примем как факт - прямого 100% аналога VMFS просто нету в данный момент у Linux.
Большинство ролей для сервера которые здесь перечислены это скорее сервис и как правило он развернут на виртуальной машине.
Да, тоже сильно удивился такому смешению в кучу )
А по факту аппаратный сервер сейчас это либо гипервизор c кучей ВМ, либо сервер с бекапами (куча дисков по 10+ Тб в RAID5/6 / RAIDZ1/2/3), либо высоконагруженный СУБД SQL сервер. И в очень редких случаях что то другое.
Есть обходное решение - обновляться мажорными релизами (которые легко утянуть из сети, торрентов и т.п. ESXi легко ставиться поверх другого, с сохранением и конфигов, и виртуальных машин.
Плюс стоит максимально отгородить сеть управления ESXi/vCenter от пользователей (отдельный VLAN, Firewall). При чем не обязательно использовать Firewall аппаратный сторонний какой то - в ESXi и в vCenter есть встроенный межсетевой экран нормальный - там можно просто жестко указать IP-адреса, которым можно взаимодействовать с Management портами - всех остальных просто отсылаем нафиг.
Вообще если заниматься ИБ - это считай обязательная опция, как и обновления. Одно не заменяет другого, нужно во всех векторах повышать уровень ИБ.
Я не совсем корректно раскрыл свою мысль - "Железо старое" - тут я имел ввиду, что архитектура кластера виртуализации у очень очень многих Заказчиков с 2010 года подразумевала наличие СХД и связь с серверами была либо FC либо iSCSI.
Большинство кластерных файловых систем в Linux рассчитаны на Ethernet и сборку файловой системы из локальных дисков поверх Ethernet сети.
Если мы попытаемся эти Linux технологии наложить на имеющееся у Заказчиков "старое железо", рассчитанное на использование VMware + VMFS, то получаем двойной OverHead - у нас для обслуживания файловой системы данные будут гоняться сначала по сети Ethernet, потом по FC/iSCSI и обратно. Т.е. и производительность и надежность существенно снижаются.
В этом проблема перехода. По сути дорогую СХД либо выкидывать, либо нарезать на LUN и каждый LUN монопольно отдавать конкретному гипервизору (Linux-серверу) для использования с локальной файловой системой. А это уже сложно назвать кластером )
При замене VMware vSphere на что-то *KVM/Linux подобное, у нас есть проблема - железо старое, софт другой. И в ситуации, когда у нас есть сервера и есть СХД, доступное по FC - Fibre Channel, нам нужна кластерная файловая система, в которую можно LUN-ы СХД отформатировать и с которой могут все Linux гипервизоры читать-писать.
VMFS это как раз то, что нужно. в Linux есть всякие там OCFS (с багами), есть NFS (который вообще ни разу не VMFS, так как по сети работает и нет MPIO, NFS не заюзаешь по FC). Есть куча локальных EXT2/3/4/ZFS/BTRFS/XFS - не кластерных. Есть GlusterFS/MooseFS - которые тоже не применимы просто так по FC. Есть CephFS - тоже по FC я не видел, чтобы кто-то ее использовал.
В тесте участвовали: 1) Пара серверов на базе китайских материнок X79 чипсет + Xeon E5 2665 (память DDR3) 2) Карта Intel 520-DA1 и какой то BroadCom 10G SFP+ (друг дал погонять) 4) 4 SFP+ трансивера HPE 10g MM 850 nm 5) пара патчкордов
С одной стороны был FreeBSD 13.3 с другой Linux Debian 12 (ProxMox).
MTU 1500
MTU 9000
Даже при длительной нагрузке двух SFP+ портов (с помощью iperf3) сам коммутатор практически не греется.
Да в общем нормальная ситуация, что то снижает популярность, что то повышает. Компании голосуют рублем, поэтому дорогие лицензии VMware были обречены, EMC вовремя компанию продал )
PS: Кейгены как работали так и работают на все версии.
Veeam Agent без лицензии будет работать в режиме Community Edition (один JOB). Бесплатно, без ограничений по времени. Да, он не OpenSource.
Чисто OpenSource решение мне не попадалось - но в такой задаче (один файл - база данных, нужны инкременты) - сделать это можно только с помощью технологии Change Block Tracking (CBT). Так что искать нужно решение, которое умеет отслеживать CBT таблицу и делать блочный бекап тома (не файловый - а блочный).
В принципе с левой учетки и с не российского IP должны по идее зарегать и давать скачивать любые версии. Надо будет проверить, ранее это работало.
Полезные ссылки, спасибо - про LVM я читал уже, и из БРЕСТ-а разрабы тоже что-то такое пилят для LVM. Но пока не было возможности оценить полный функционал и ограничения.
Конечно, идеального нет. Но 14 лет эксплуатации ESXi дает уверенность в нем ) по крайней мере крашей VMFS я не наблюдал. Гипервизор может повиснуть раз в год, это норм ) Ребут, и еще годик без проблем работаем )
ProxMox отличная штука до 10-15 серверов. Но если у нас сотни серверов - мигрировать с vSphere это довольно больно должно быть...
За 14 лет качания и обновления именно с торрентов не было проблем. RuTacker.net...
Можно и минорными версиями обновлять - выходят каждые 2-3 месяца:
https://www.virten.net/vmware/esxi-release-build-number-history/
Не понял это сакразм или нет? ;)
VMware ESXi я как то обновлял с версии 4.1 до 6.7 поверх - с подскоком до промежуточных (5.0 -> 5.5 -> 6.1 -> 6.7).
Давно уже так можно, аж с 2010 года. И все за счет того, что при установке ESXi делает 2 одинаковые партиции под систему - обновляешь одну - по сути трогаешь только одну партицию, вторая остается резервной.
Причем тут PVE и FC/iSCSI. Я говорил о том, что нет прямого аналога VMFS - отформатировал LUN, и все Linux могут без проблем с него по FC/iSCSI читать и писать (запускать виртуальные машины). И чтобы без Ethernet надстройки, без багов и т.д.
Для всего, что я изучал и тестировал, нужно Ethernet, дополнительные демоны и т.д. И часто это работает не надежно (пример, OCFS).
Поэтому примем как факт - прямого 100% аналога VMFS просто нету в данный момент у Linux.
Да, тоже сильно удивился такому смешению в кучу )
А по факту аппаратный сервер сейчас это либо гипервизор c кучей ВМ, либо сервер с бекапами (куча дисков по 10+ Тб в RAID5/6 / RAIDZ1/2/3), либо высоконагруженный СУБД SQL сервер. И в очень редких случаях что то другое.
Да, я в курсе проблемы с обновлениями, CVE и т.д.
Есть обходное решение - обновляться мажорными релизами (которые легко утянуть из сети, торрентов и т.п. ESXi легко ставиться поверх другого, с сохранением и конфигов, и виртуальных машин.
Плюс стоит максимально отгородить сеть управления ESXi/vCenter от пользователей (отдельный VLAN, Firewall). При чем не обязательно использовать Firewall аппаратный сторонний какой то - в ESXi и в vCenter есть встроенный межсетевой экран нормальный - там можно просто жестко указать IP-адреса, которым можно взаимодействовать с Management портами - всех остальных просто отсылаем нафиг.
Вообще если заниматься ИБ - это считай обязательная опция, как и обновления. Одно не заменяет другого, нужно во всех векторах повышать уровень ИБ.
Я не совсем корректно раскрыл свою мысль - "Железо старое" - тут я имел ввиду, что архитектура кластера виртуализации у очень очень многих Заказчиков с 2010 года подразумевала наличие СХД и связь с серверами была либо FC либо iSCSI.
Большинство кластерных файловых систем в Linux рассчитаны на Ethernet и сборку файловой системы из локальных дисков поверх Ethernet сети.
Если мы попытаемся эти Linux технологии наложить на имеющееся у Заказчиков "старое железо", рассчитанное на использование VMware + VMFS, то получаем двойной OverHead - у нас для обслуживания файловой системы данные будут гоняться сначала по сети Ethernet, потом по FC/iSCSI и обратно. Т.е. и производительность и надежность существенно снижаются.
В этом проблема перехода. По сути дорогую СХД либо выкидывать, либо нарезать на LUN и каждый LUN монопольно отдавать конкретному гипервизору (Linux-серверу) для использования с локальной файловой системой. А это уже сложно назвать кластером )
При замене VMware vSphere на что-то *KVM/Linux подобное, у нас есть проблема - железо старое, софт другой.
И в ситуации, когда у нас есть сервера и есть СХД, доступное по FC - Fibre Channel, нам нужна кластерная файловая система, в которую можно LUN-ы СХД отформатировать и с которой могут все Linux гипервизоры читать-писать.
VMFS это как раз то, что нужно. в Linux есть всякие там OCFS (с багами), есть NFS (который вообще ни разу не VMFS, так как по сети работает и нет MPIO, NFS не заюзаешь по FC). Есть куча локальных EXT2/3/4/ZFS/BTRFS/XFS - не кластерных. Есть GlusterFS/MooseFS - которые тоже не применимы просто так по FC. Есть CephFS - тоже по FC я не видел, чтобы кто-то ее использовал.
у меня почему то в одну сторону 7G, в другую 9G )
Взаимно!
Приехал, протестил.
В тесте участвовали:
1) Пара серверов на базе китайских материнок X79 чипсет + Xeon E5 2665 (память DDR3)
2) Карта Intel 520-DA1 и какой то BroadCom 10G SFP+ (друг дал погонять)
4) 4 SFP+ трансивера HPE 10g MM 850 nm
5) пара патчкордов
С одной стороны был FreeBSD 13.3 с другой Linux Debian 12 (ProxMox).
Даже при длительной нагрузке двух SFP+ портов (с помощью iperf3) сам коммутатор практически не греется.
В общем доволен результатом )
Главная проблема Linux систем - отсутствие полноценного 100% аналога VMFS...
В принципе вижу, что тож самое ) так что вопрос закрыт )
Да в общем нормальная ситуация, что то снижает популярность, что то повышает. Компании голосуют рублем, поэтому дорогие лицензии VMware были обречены, EMC вовремя компанию продал )
PS: Кейгены как работали так и работают на все версии.
А Xen-NG поддерживает столько типов хранилищ, сколько поддерживает ProxMox 8.2 ? А прямую миграцию с ESXi ?
Все может быть, нужно тестировать )
Veeam Agent без лицензии будет работать в режиме Community Edition (один JOB). Бесплатно, без ограничений по времени. Да, он не OpenSource.
Чисто OpenSource решение мне не попадалось - но в такой задаче (один файл - база данных, нужны инкременты) - сделать это можно только с помощью технологии Change Block Tracking (CBT). Так что искать нужно решение, которое умеет отслеживать CBT таблицу и делать блочный бекап тома (не файловый - а блочный).