n0body Nov 1 2013 at 12:11

iSCSI хранилище для небогатых

8 min

108K

Open source*

From sandbox

+15

Comments 30

EminH Nov 1 2013 at 13:04

А рассматривался вариант Win Storage server/ ISCSI Target?

n0body Nov 1 2013 at 14:35

Нет не рассматривался, по трем причинам:
— стоит денег;
— не уверен в скорости шифрования;
— часть сервера отдается как NFS с файловой системой XFS.

UFO just landed and posted this here

Kitsok Nov 1 2013 at 13:27

Спасибо за статью!

Скажите пожалуйста, а почему не стали использовать файлсервер с поддержкой iSCSI и шифрованием на клиентской стороне?

Под файлсервером я имею в виду NAS типа Synology или чего-то подобного.

UFO just landed and posted this here

combo_str Nov 2 2013 at 12:01

Насколько я знаю, NAS все идут с linux-прошивкой и для предоставления iscsi-таргетов точно также используют что-то из протестированного автором списка. Скорее всего это STGT.
Да и процы на NAS решениях слабоваты мне кажется, чтоб нормально тянуть кучу таргетов, это не говоря о шифровании. В NAS обычно iscsi есть по принципу «чтобы было», ну вдруг кому понадобится 1 или 2 таргета, ну или поиграться-потестить.

n0body Nov 1 2013 at 14:51

Дело как раз на клиентской стороне. Мы(на всякий случай) шифруем maildir dovecot, стоит он на сервере с CentOS. А как я писал в статье скорость шифрования в текущем ядре CentOS удручает.
Вторую причину уже написал в своем комментарии SyavaSyava.

balun92 Nov 1 2013 at 19:10

Подскажите пожалуйста, какое шифрование использовали? Если это LUKS/dm-crypt, то наши тесты показывали достаточно неплохие результаты — где-то + 5-10 % оверхед.

n0body Nov 2 2013 at 14:28

Используется LUKS/dm-crypt с алгоритмом aes-xts и ключом 256b. Шифрование — 886,0 MiB/s, дешифрация — 894,0 MiB/s. На CentOS скорость не поднималась выше 300 MiB/s.
У вас на CentOS были результаты выше?

Kitsok Nov 1 2013 at 14:43

Нет, 2х10 я не видел, у меня используется 2х1, получается около 200-300Мб/с.
Я не увидел в вашей статье количества клиентов, поэтому предположил что 20Гб — это просто страховка.

n0body Nov 1 2013 at 15:08

Клиенты — 3 гипервизора ESXi и 1 Windows Server. Конечно ни один из клиентов не загружает сутки на пролет 10ГБ канал, но оптика минимизирует задержки, а цена карт показалась приемлемой.

gotch Nov 1 2013 at 22:01

О, вот это показалось мне очень интересным. Действительно правда что в оптике кадры ethernet летят со скоростью света, а в меди — еле ползут?

n0body Nov 2 2013 at 16:08

Есть ESXi хост подключенный по 1ГБ меди. На нем расположено 6 виртуальных машин, которые редко обращаются к диску. В среднем задержки чтения/записи на хосте 2-2,5 ms. На хостах подключенных по оптике машин больше, обращаются они к диску чаще, а задержки меньше.

gotch Nov 2 2013 at 17:23

Ну вот, чуда не случилось :(
Думал оптические 10 победили медные 10. :)

knutov Nov 1 2013 at 14:54

А из-за NFS проблем в продакшене и под нагрузкой не было?

n0body Nov 1 2013 at 15:19

С NFS проблемы были, карточки надо объединять в BRIDGE(иначе ESXi считает их разными шарами со всеми вытекающими), а как оказалось BRIDGE с включенным LRO на этих картах приводит к Kernel panic. Были и другие проблемы, но в последствие были решены.
Под нагрузкой NFS с XFS работали нормально — тестировал разнообразными конфигурациями fio.
Но в продакшене пока не используется. SCST дает значительно большую производительность, виртуальные машины работают на разделах выдающихся через него. NFS оставлен на тот случай если ESXi с новым обновлением сломает у себя iSCSI(такое уже случалось).

gotch Nov 2 2013 at 17:24

Еще хотел полюбопытствовать, почему не Nexenta, например?

n0body Nov 2 2013 at 18:45

Попробовать Nexenta хотел, но не удалось — железо не подошло. Плюс оттолкнула покупка лицензии на 20ТБ, так как использование Community Edition в продакшене запрещено.
И если уже брать Nexenta, то надо использовать ZFS со всеми ее плюсами и минусами.

anthony2005 Nov 1 2013 at 15:36

А как у вас с поддержкой VAAI?

n0body Nov 1 2013 at 16:02

В SCST поддержки VAAI, к сожалению, нет. Возможно она появится в будущих версиях.
Поддержка VAAI есть в других таргетах, но сейчас от этой технологии пользы получить мы не можем — купленная лицензия VMware vSphere идет без Storage vMotion.

anthony2005 Nov 1 2013 at 16:07

Угу… Видимо, Essentials.

podwhitehawk Nov 1 2013 at 16:07

VAAI не только на vMotion влияет. из полезных штук VAAI стоит выделить хотя бы ATS и XCOPY
blog.fosketts.net/2011/11/10/complete-list-vmware-vaai-primitives/

AlexanderCam Nov 2 2013 at 12:48

"… встала задача обеспечить кластер из гипервизоров VMware ESXi 5.1 хранилищем большого обьема" Никогда не понимал, ЗАЧЕМ все по привычке из кожи вон лезут, чтобы подцепить к VMWare блочный доступ… тем более если делают всё на nix и за бесплатно — используйте NFS.

ULP Nov 2 2013 at 23:30

кстати проверяйте одну вещь, набейте на том штук 20-30 виртуалок рабочих, что бы они диском шевелили. И начните импортировать или экспортировать виртуалки, что бы были операции за запись по 20-50Гб за раз. и делайте так параллельно в 2-3 потока. Если таргет выдержит, значит годный. Но часто просто iSCSI просто отвалится от хостов на этом месте и таргет окажется непригодным к коммерции
.

Archangel Nov 3 2013 at 17:15

Кстати сталкивался с подомной проблемой, только это оказалась беда VMWare, т.к. Hyper-V кластер смотрящий в ту же СХД не испытывал никаких подобных проблем.

n0body Nov 5 2013 at 12:23

Было что-то подобное с таргетом IET. Но с SCST такого не наблюдал, работает уже 2 месяца без каких-либо проблем.

santal Nov 4 2013 at 13:07

я бы еще перед сборкой запустил бы

make debug2perf

меньше мусора в dmesg и, по идее, быстрее работает.

А почему решили не использовать аутентификацию таргетов и хостов?

n0body Nov 5 2013 at 12:14

инициаторы и таргет расположены в физически выделенной сети, поэтому аутентификацию решили не использовать.

NickyX3 Nov 5 2013 at 08:22

А Jumbo Frame не пробовали?
У меня в старом проекте когда-то были Promise vTrac на iSCSI с гигабитными линками получалось выжимать около 850 мегабит чистыми c фреймом 9к

n0body Nov 5 2013 at 12:17

Jumbo Frame включен на 10ГБ картах, на 1ГБ включать не понадобилось — ~100 MiB/s показалось достаточно.

Show the best of all time