Настройка SCST Target на CentOS 7 с использованием FC QLogic адаптера

[@blind_oracle]

Практически 1:1 переведённый официальный how-to: scst.sourceforge.net/qla2x00t-howto.html

Также в случае с ESXi после настройки таргета, а также в случае его перезагрузки, нужно перезагружать все хосты-инициаторы, иначе диск не подцепится.

Ого! Это ещё зачем, можно узнать? Всё работает и без таких суровых мер.

[@Mcicool]

Целью статьи было сделать how-to, по которому любой сможет сделать себе хранилище от нуля до конца, не отвлекаясь постоянно на гуглёж ньюансов. Тот how-to мной безусловно использовался, до до 1:1 ему аки до луны. Насчет суровых мер: я не из головы придумал, у меня было именно так, не исключаю возможность того, что я где-то что-то недокрутил — буду рад подсказке, дополню статью.

[@blind_oracle]

Целью статьи было сделать how-to, по которому любой сможет сделать себе хранилище от нуля до конца, не отвлекаясь постоянно на гуглёж ньюансов.

Гуглёж полезен для усвоения :)

Насчет суровых мер: я не из головы придумал, у меня было именно так, не исключаю возможность того, что я где-то что-то недокрутил — буду рад подсказке, дополню статью.

Ничего специально не надо делать — просто активируешь SCST и пересканируешь FC адаптер на стороне ESXi. Обычно даже и пересканировать не нужно — лун и так появится.

[@Mcicool]

Ничего специально не надо делать — просто активируешь SCST и пересканируешь FC адаптер на стороне ESXi. Обычно даже и пересканировать не нужно — лун и так появится.

Ну вот с полкой HP MSA1000 никаких проблем, ее перезагружаю и все авто-подцепляется. А с SCST нет — перезагружаю сервак и он сразу исчезает из стораджей ESXi. Нужно перезагрузить ESXi, чтобы хранилище прицепилось.

[@blind_oracle]

Возможно есть какие-то проблемы с FC фабрикой и\или зонингом.
Либо дело в том, что собрана транк-ветка SCST, а не стабильная.
Транк, в основном, очень стабилен, но всякое бывает.

[@fleaump]

А скорости?

dd if=/dev/zero of=tst conv=fdatasync bs=384k count=1k

с ESXi

dd if=/dev/zero of=tst bs=384k count=1k

[@fleaump]

Как пример, собрал полку из старого серва, просто купил 8 винтов по 8 тб SATA и собрал в 60 рейд на контроллере lsi 9261 без SSD кеша.

dd if=/dev/zero of=tst conv=fdatasync bs=384k count=40k
40960+0 records in
40960+0 records out
16106127360 bytes (16 GB) copied, 25.2041 s, 639 MB/s

[@Mcicool]

Вы тоже с использованием SCST собирали? Мои убогие WD Green показывают сейчас 82 мб/с, но полка сейчас нагружена. Как нормальные диски куплю, замеряю со всех сторон обязательно.
Спасибо, что напомнили!

[@fleaump]

Без патчей в ядре

uname -r
3.10.0-229.11.1.el7.x86_64

Только дрова свежие собрал, да контроллер прошил.

Пока эта полка просто как эксперимент, решение под бекапы дешевое ищется с максимально возможной скоростью для быстрого восстановления обратно и как временный датастор при миграции наживую при тех работах.

К хостам esxi заплено пока по nfs, дабы сетка 10гб\с. ISCSI планировал на выходных опробовать, сравнить скорости.

Винты, кстати не самые быстрые Seagate ST8000AS0002 .

[@gbg]

В некоторых случаях, ATA over Ethernet уделывает iSCSI по двум пунктам:

1. Скорость при линейном копировании
2. Простота и быстрота развертывания, в том числе и multipath-решений.

[@blind_oracle]

Проблема только в том, что он никакими стандартными инициаторами практически не поддерживается, в ESXi уж точно… По сути его можно юзать только с Linux.

[@fleaump]

Почему не поддерживает, vmware поддерживает AOE
kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1031322

[@blind_oracle]

Я имею в виду софтовый адаптер, как iSCSI или FCoE.
Через хитрый HBA то он может всё что угодно поддерживать :)

[@fleaump]

Тут уж у каждого свой загашник, у меня, к примеру, нет ничего из FB, и не планирую в будущем его даже, а 10 гигабитный езернет как-то поудобней будет, железки доступней и нет узкости в применении.

PS. iscsi показал не слишком большую разницу в скоростях на 10 гигабитах против nfs(к машине прицепил два винта с датасторов прицеплеными по nfs и iscsi. И после dd по очереди на обоих разделах), плюс только от использования плюшек VMFS5, которые правда мне так и не удалось заметить.

[@blind_oracle]

а 10 гигабитный езернет как-то поудобней будет, железки доступней и нет узкости в применении.

О том и речь — FCoE или iSCSI можно гонять на ESXi без спецательного HBA, а этот AoE или FC — нет.

PS. iscsi показал не слишком большую разницу в скоростях на 10 гигабитах против nfs, плюс только от использования плюшек VMFS5, которые правда мне так и не удалось заметить.

Это извечный спор физиков с лириками, лично я пока держусь VMFS5 + блочный доступ.
С ним есть примитивы VAAI из коробки, для NFS же нужны какие-то storage-specific плагины для этого.
Плюс, тут нет чёрных ящиков (с точки зрения ESXi) в виде файловой системы, которая экспортируется по NFS и можно получать более консистентные резульататы.

[@varnav]

Большое спасибо за понятную статью. Официальный HOWTO гораздо труднее для понимания.

[@varnav]

Папка /scst-qla2xxx/drivers/scsi/qla2xxx отсутствует.

[@Mcicool]

Это на каком шаге?

[@varnav]

На шаге «В директории SCST делаем софт линк на драйвер QLogic SCST»

[@Mcicool]

Это не забыли?

[root@localhost /]# cd scst

Напишите, какие команды вы вводили последовательно.

[@varnav]

Ах, прошу прощения, проглядел. Эта папка из драйверов а не из архива SCST.
Правда я всё клал в /opt, подумал что не стоит создавать в корне новые папки.

[@juffinhalli]

В trank версии вроде даже прикрутили dkms. И ещё, когда таргете вроде всё нормально, но инициатор луны всё равно не видит может помочь подмена прошивок до старых из Openfiler (например, ql2500_fw.bin)

[@juffinhalli]

И модули ядра не обязательно вручную где то прописывать. В RPM-ку входит init демон scst, который загружает только те что упоминаются в scst.conf. Демон тоже чуть надо поправить до вида

    103     SCST_MODULES="qla2xxx_scst"
    104     SCST_OPT_MODULES="scst"

чтобы соблюсти верную последовательность загрузки модулей.
И настоятельно рекомендую генерить scst.conf с помощью scstadmin.
Верно для CentOS 6.8.