В данной статье публикуются результаты замеров скорости доступа к файловой системе внутри гипервизора в различных вариантах установки ZFS. Всем кому интересно прошу под кат, предупреждаю о наличии большого количества изображений под спойлерами (оптимизированы).
![](https://habrastorage.org/r/w1560/webt/io/93/xw/io93xwfrzfhg0kodp0mku-p7s6u.png)
Всем привет! В сети довольно много материалов, посвященных файловой системе (далее ФС) ZFS, ее развитию в Linux'е и практическому применению. Меня данная ФС очень заинтересовала в контексте совершенствования моего домашнего сервера виртуализации ( а также благодаря посту пользователя kvaps), однако я не смог найти в интернете (может быть плохо искал?) сравнительных тестов производительности виртуализированных машин. Поэтому решил собрать тестовую платформу для проведения своего сравнительного исследования.
Моя статья не претендует на какие-либо научные открытия, вряд ли поможет профессионалам, которые давно работают с ZFS, и знают все ее возможности, однако поможет новичкам приблизительно оценить «цену» каждого гигабайта поделенного на производительность.
![image](https://habrastorage.org/r/w1560/webt/cw/tp/m2/cwtpm2ph_j0je3l7xd-vgbcr9gc.png)
Суть эксперимента заключалась в следующем: на машину устанавливалась (каждый раз с загрузочного диска) ОС Proxmox VE 5.2. Во время установки выбирался Один из вариантов XFS/ZFS. После этого создавалась виртуальная машина, на которую производилась установка Windows Server 2008 R2, после чего запускалась популярная утилита CrystalDiskMark 5.2.2 и проводились тесты на объемах 1, 4,32 GiB (в связи с потерей изображений с результатами 32 GiB тестов нельзя воспользоваться при выборе решения, имеющиеся данные приводятся для массовки).
Тест на ФС XFS использовался для измерения эталонной скорости работы одного ЖД (возможно это и неправильно, но других вариантов ее оценить я не придумал).
Тесты ZFS RAID 0, RAID 1 проводились на двух случайно выбранных дисках, ZFS RaidZ1 на 3 дисках, ZFS RAID 10, RaidZ2 на 4 дисках. Тесты с ZFS RaidZ3 не проводились по причине отсутствия желания купить еще один крайне экономически нецелесообразный HDD на 500GB.
Под спойлером кратко приведу описания каждого из видов ZFS RAID с моим примером получаемого объема «коммерческих» гигабайтов:
Хочется отметить, что помимо различной скорости доступа файловой системы, еще нужно учитывать общий объем получаемого массива, и надежность сохранности данных, в случаях выхода из строя жестких дисков.
Технические характеристики платформы, (возможно) влияющие на результаты тестирования:
Виртуальной машине (KVM) для тестов выделялось 4GB оперативной памяти, 1 ядро процессора, жесткий диск VirtIO Block 100GB.
![](https://habrastorage.org/r/w1560/webt/q9/mx/86/q9mx86d_t8ffn4bvbsynchogabg.png)
Для систем, установленных на ZFS выполнялось 2 теста, во втором в качестве кэш-диска подключался SSD.
Все результаты представлены в виде скриншотов ниже. Если у кого-нибудь возникнет желание оцифровать данные результаты — буду благодарен и включу результаты работы в статью.
Спасибо всем кто уделил внимание, надеюсь для кого-то данная выборка окажется, как и для меня, полезной.
P.S. по непонятным мне причинам часть изображений куда-то пропали, замеры проводились в конце весны, тестовую платформу уже не собрать в том виде, к счастью все они приходятся на тесты с 32 GiB.
P.P.S. Не пытался рекламировать какие-либо организации и/или программные продукты, не имел цели нарушить лицензионных соглашений, если где-то был неправ, прошу писать в личные сообщения.
P.P.P.S. Изображение с логотипом ZFS является репродукцией.
![](https://habrastorage.org/webt/io/93/xw/io93xwfrzfhg0kodp0mku-p7s6u.png)
Всем привет! В сети довольно много материалов, посвященных файловой системе (далее ФС) ZFS, ее развитию в Linux'е и практическому применению. Меня данная ФС очень заинтересовала в контексте совершенствования моего домашнего сервера виртуализации ( а также благодаря посту пользователя kvaps), однако я не смог найти в интернете (может быть плохо искал?) сравнительных тестов производительности виртуализированных машин. Поэтому решил собрать тестовую платформу для проведения своего сравнительного исследования.
Моя статья не претендует на какие-либо научные открытия, вряд ли поможет профессионалам, которые давно работают с ZFS, и знают все ее возможности, однако поможет новичкам приблизительно оценить «цену» каждого гигабайта поделенного на производительность.
![image](https://habrastorage.org/webt/cw/tp/m2/cwtpm2ph_j0je3l7xd-vgbcr9gc.png)
Суть эксперимента заключалась в следующем: на машину устанавливалась (каждый раз с загрузочного диска) ОС Proxmox VE 5.2. Во время установки выбирался Один из вариантов XFS/ZFS. После этого создавалась виртуальная машина, на которую производилась установка Windows Server 2008 R2, после чего запускалась популярная утилита CrystalDiskMark 5.2.2 и проводились тесты на объемах 1, 4,
Тест на ФС XFS использовался для измерения эталонной скорости работы одного ЖД (возможно это и неправильно, но других вариантов ее оценить я не придумал).
Тесты ZFS RAID 0, RAID 1 проводились на двух случайно выбранных дисках, ZFS RaidZ1 на 3 дисках, ZFS RAID 10, RaidZ2 на 4 дисках. Тесты с ZFS RaidZ3 не проводились по причине отсутствия желания купить еще один крайне экономически нецелесообразный HDD на 500GB.
Под спойлером кратко приведу описания каждого из видов ZFS RAID с моим примером получаемого объема «коммерческих» гигабайтов:
ZFS RAID
2 диска:
3 диска:
4 диска:
Очень понятно расписана суть вот тут (англ). А также сколько дисков допустимо потерять, сохранив информацию.
- ZFS RAID 0 — чередование (Striped), объем 2 * DiskSize = 1000ГБ.
- ZFS RAID 1 — зеркалирование (Mirror), объем 1 * DiskSize = 500ГБ.
3 диска:
- ZFS RaidZ1 — он же ZFS RaidZ, аналог RAID5, объем (N — 1) * DiskSize = 1000ГБ.
4 диска:
- ZFS RAID 10 — зеркалирование с чередованием (Striped Mirrored), объем 2 * DiskSize = 1000ГБ.
- ZFS RaidZ2 — аналог RAID6, объем (N — 2) * DiskSize = 1000ГБ.
- при этом, я такой тест не проводил, но ZFS RaidZ1 при 4 дисках = 1500ГБ.
Очень понятно расписана суть вот тут (англ). А также сколько дисков допустимо потерять, сохранив информацию.
Хочется отметить, что помимо различной скорости доступа файловой системы, еще нужно учитывать общий объем получаемого массива, и надежность сохранности данных, в случаях выхода из строя жестких дисков.
Технические характеристики платформы, (возможно) влияющие на результаты тестирования:
- Материнская плата: Intel Desktop Board DS67SQ-B3;
- Процессор: Intel Pentium G630 2.7GHz;
- Оперативная память: 2 x 4096Mb Hynix PC3-10700;
- Жесткие диски: 3 x WD 5000AZRX 500GB SATA 64MB Cache, 1 x WD 5000AZRZ 500GB SATA 64MB Cache, SSD SATA Goldenfir T650-8GB;
- Блок питания: DeepCool DA500N 500W.
Виртуальной машине (KVM) для тестов выделялось 4GB оперативной памяти, 1 ядро процессора, жесткий диск VirtIO Block 100GB.
![](https://habrastorage.org/webt/q9/mx/86/q9mx86d_t8ffn4bvbsynchogabg.png)
Для систем, установленных на ZFS выполнялось 2 теста, во втором в качестве кэш-диска подключался SSD.
Все результаты представлены в виде скриншотов ниже. Если у кого-нибудь возникнет желание оцифровать данные результаты — буду благодарен и включу результаты работы в статью.
XFS![](https://habrastorage.org/r/w1560/webt/ay/la/a2/aylaa21icnmonx0t6tyq0k9hjlg.png)
![](https://habrastorage.org/r/w1560/webt/xt/zp/y0/xtzpy0w4q7yh3897pgsl71lhcso.png)
![](https://habrastorage.org/r/w1560/webt/_m/xk/ey/_mxkeylxdlnybd05j3qcdfbcbv0.png)
![](https://habrastorage.org/webt/ay/la/a2/aylaa21icnmonx0t6tyq0k9hjlg.png)
![](https://habrastorage.org/webt/xt/zp/y0/xtzpy0w4q7yh3897pgsl71lhcso.png)
![](https://habrastorage.org/webt/_m/xk/ey/_mxkeylxdlnybd05j3qcdfbcbv0.png)
ZFS RAID 0![](https://habrastorage.org/r/w1560/webt/1e/tl/dy/1etldytbqlnhmh_7-tz-3ic81oa.png)
![](https://habrastorage.org/r/w1560/webt/5f/i_/ru/5fi_ruurkwiffmdx61uybbpdd-w.png)
![](https://habrastorage.org/webt/1e/tl/dy/1etldytbqlnhmh_7-tz-3ic81oa.png)
![](https://habrastorage.org/webt/5f/i_/ru/5fi_ruurkwiffmdx61uybbpdd-w.png)
ZFS RAID 0 + cache![](https://habrastorage.org/r/w1560/webt/sb/nd/tj/sbndtjiv-hnc2kew7asvixqpobu.png)
![](https://habrastorage.org/r/w1560/webt/oh/b7/yr/ohb7yrzfcedod5z_myjon8ocrtk.png)
![](https://habrastorage.org/r/w1560/webt/xf/ji/ze/xfjizerc9-w2gqal-hmm5qkdzgu.png)
![](https://habrastorage.org/webt/sb/nd/tj/sbndtjiv-hnc2kew7asvixqpobu.png)
![](https://habrastorage.org/webt/oh/b7/yr/ohb7yrzfcedod5z_myjon8ocrtk.png)
![](https://habrastorage.org/webt/xf/ji/ze/xfjizerc9-w2gqal-hmm5qkdzgu.png)
ZFS RAID 1![](https://habrastorage.org/r/w1560/webt/yf/fe/64/yffe64pup3scltlsasvrhmyf08g.png)
![](https://habrastorage.org/r/w1560/webt/9c/rf/pc/9crfpcyxgsuzffb_jvpv8ofbzv8.png)
![](https://habrastorage.org/webt/yf/fe/64/yffe64pup3scltlsasvrhmyf08g.png)
![](https://habrastorage.org/webt/9c/rf/pc/9crfpcyxgsuzffb_jvpv8ofbzv8.png)
ZFS RAID 1 + cache![](https://habrastorage.org/r/w1560/webt/wn/ib/u2/wnibu2g9lixtd7yibfd5upbvm0o.png)
![](https://habrastorage.org/r/w1560/webt/s9/-v/tz/s9-vtzupnmzne6befyliubnpb4o.png)
![](https://habrastorage.org/r/w1560/webt/ii/m3/-4/iim3-49apwe6iipwprs8uuas7tk.png)
![](https://habrastorage.org/webt/wn/ib/u2/wnibu2g9lixtd7yibfd5upbvm0o.png)
![](https://habrastorage.org/webt/s9/-v/tz/s9-vtzupnmzne6befyliubnpb4o.png)
![](https://habrastorage.org/webt/ii/m3/-4/iim3-49apwe6iipwprs8uuas7tk.png)
ZFS RAID 10![](https://habrastorage.org/r/w1560/webt/p-/gz/mm/p-gzmmaza6gppylaqroli4v3pau.png)
![](https://habrastorage.org/r/w1560/webt/-e/d5/jq/-ed5jqimnwzi0dpclqwsaaoarry.png)
![](https://habrastorage.org/r/w1560/webt/q_/hn/k5/q_hnk5guiajjytdlr1zckwpbpkm.png)
![](https://habrastorage.org/webt/p-/gz/mm/p-gzmmaza6gppylaqroli4v3pau.png)
![](https://habrastorage.org/webt/-e/d5/jq/-ed5jqimnwzi0dpclqwsaaoarry.png)
![](https://habrastorage.org/webt/q_/hn/k5/q_hnk5guiajjytdlr1zckwpbpkm.png)
ZFS RAID 10 + cache![](https://habrastorage.org/r/w1560/webt/hh/dl/g6/hhdlg6ccn0ftw61d3wo-1ko1gjy.png)
![](https://habrastorage.org/r/w1560/webt/as/7e/ff/as7eff7569ocbpumlqanobdpd-g.png)
![](https://habrastorage.org/webt/hh/dl/g6/hhdlg6ccn0ftw61d3wo-1ko1gjy.png)
![](https://habrastorage.org/webt/as/7e/ff/as7eff7569ocbpumlqanobdpd-g.png)
ZFS RaidZ1![](https://habrastorage.org/r/w1560/webt/yr/bh/fd/yrbhfdinmncnp24l6vmqmnkuwio.png)
![](https://habrastorage.org/r/w1560/webt/pu/uu/i7/puuui7qrfwpvrxlfadpomg9wqbk.png)
![](https://habrastorage.org/webt/yr/bh/fd/yrbhfdinmncnp24l6vmqmnkuwio.png)
![](https://habrastorage.org/webt/pu/uu/i7/puuui7qrfwpvrxlfadpomg9wqbk.png)
ZFS RaidZ1 + cache![](https://habrastorage.org/r/w1560/webt/5q/_d/ri/5q_dril_hulqtmgjosmu4cw7s1a.png)
![](https://habrastorage.org/r/w1560/webt/jy/vr/0b/jyvr0bcpkegqsnsszxh4lr_df3s.png)
![](https://habrastorage.org/r/w1560/webt/wl/hr/q-/wlhrq-aabvduwqy05zxj8a79m-u.png)
![](https://habrastorage.org/webt/5q/_d/ri/5q_dril_hulqtmgjosmu4cw7s1a.png)
![](https://habrastorage.org/webt/jy/vr/0b/jyvr0bcpkegqsnsszxh4lr_df3s.png)
![](https://habrastorage.org/webt/wl/hr/q-/wlhrq-aabvduwqy05zxj8a79m-u.png)
ZFS RaidZ2![](https://habrastorage.org/r/w1560/webt/5e/dv/f3/5edvf3wgrt7oqril5plkbjmqkqq.png)
![](https://habrastorage.org/r/w1560/webt/p1/ar/lr/p1arlrbte_bh9qan_budkbncv5w.png)
![](https://habrastorage.org/webt/5e/dv/f3/5edvf3wgrt7oqril5plkbjmqkqq.png)
![](https://habrastorage.org/webt/p1/ar/lr/p1arlrbte_bh9qan_budkbncv5w.png)
ZFS RaidZ2 + cache![](https://habrastorage.org/r/w1560/webt/dq/ih/pf/dqihpf02po3twpdlnkiqcpvpbem.png)
![](https://habrastorage.org/r/w1560/webt/63/es/gl/63esglusobuwce65bj0n8buvmro.png)
![](https://habrastorage.org/webt/dq/ih/pf/dqihpf02po3twpdlnkiqcpvpbem.png)
![](https://habrastorage.org/webt/63/es/gl/63esglusobuwce65bj0n8buvmro.png)
Спасибо всем кто уделил внимание, надеюсь для кого-то данная выборка окажется, как и для меня, полезной.
P.S. по непонятным мне причинам часть изображений куда-то пропали, замеры проводились в конце весны, тестовую платформу уже не собрать в том виде, к счастью все они приходятся на тесты с 32 GiB.
P.P.S. Не пытался рекламировать какие-либо организации и/или программные продукты, не имел цели нарушить лицензионных соглашений, если где-то был неправ, прошу писать в личные сообщения.
P.P.P.S. Изображение с логотипом ZFS является репродукцией.
Only registered users can participate in poll. Log in, please.
Какой тип ZFS выбрал бы ты для виртуальных машин в ProxMox VE?
4.92% ZFS RAID 012
16.8% ZFS RAID 141
22.13% ZFS RAID 1054
18.44% ZFS RaidZ145
18.03% ZFS RaidZ244
6.56% ZFS RaidZ316
13.11% Не советую использовать ZFS32
244 users voted. 170 users abstained.