Comments 23
Практически 1:1 переведённый официальный how-to: scst.sourceforge.net/qla2x00t-howto.html
Ого! Это ещё зачем, можно узнать? Всё работает и без таких суровых мер.
Также в случае с ESXi после настройки таргета, а также в случае его перезагрузки, нужно перезагружать все хосты-инициаторы, иначе диск не подцепится.
Ого! Это ещё зачем, можно узнать? Всё работает и без таких суровых мер.
Целью статьи было сделать how-to, по которому любой сможет сделать себе хранилище от нуля до конца, не отвлекаясь постоянно на гуглёж ньюансов. Тот how-to мной безусловно использовался, до до 1:1 ему аки до луны. Насчет суровых мер: я не из головы придумал, у меня было именно так, не исключаю возможность того, что я где-то что-то недокрутил — буду рад подсказке, дополню статью.
Целью статьи было сделать how-to, по которому любой сможет сделать себе хранилище от нуля до конца, не отвлекаясь постоянно на гуглёж ньюансов.
Гуглёж полезен для усвоения :)
Насчет суровых мер: я не из головы придумал, у меня было именно так, не исключаю возможность того, что я где-то что-то недокрутил — буду рад подсказке, дополню статью.
Ничего специально не надо делать — просто активируешь SCST и пересканируешь FC адаптер на стороне ESXi. Обычно даже и пересканировать не нужно — лун и так появится.
Ничего специально не надо делать — просто активируешь SCST и пересканируешь FC адаптер на стороне ESXi. Обычно даже и пересканировать не нужно — лун и так появится.
Ну вот с полкой HP MSA1000 никаких проблем, ее перезагружаю и все авто-подцепляется. А с SCST нет — перезагружаю сервак и он сразу исчезает из стораджей ESXi. Нужно перезагрузить ESXi, чтобы хранилище прицепилось.
А скорости?
с ESXi
dd if=/dev/zero of=tst conv=fdatasync bs=384k count=1k
с ESXi
dd if=/dev/zero of=tst bs=384k count=1k
Как пример, собрал полку из старого серва, просто купил 8 винтов по 8 тб SATA и собрал в 60 рейд на контроллере lsi 9261 без SSD кеша.
dd if=/dev/zero of=tst conv=fdatasync bs=384k count=40k
40960+0 records in
40960+0 records out
16106127360 bytes (16 GB) copied, 25.2041 s, 639 MB/s
Вы тоже с использованием SCST собирали? Мои убогие WD Green показывают сейчас 82 мб/с, но полка сейчас нагружена. Как нормальные диски куплю, замеряю со всех сторон обязательно.
Спасибо, что напомнили!
Спасибо, что напомнили!
Без патчей в ядре
Только дрова свежие собрал, да контроллер прошил.
Пока эта полка просто как эксперимент, решение под бекапы дешевое ищется с максимально возможной скоростью для быстрого восстановления обратно и как временный датастор при миграции наживую при тех работах.
К хостам esxi заплено пока по nfs, дабы сетка 10гб\с. ISCSI планировал на выходных опробовать, сравнить скорости.
Винты, кстати не самые быстрые Seagate ST8000AS0002 .
uname -r
3.10.0-229.11.1.el7.x86_64
Только дрова свежие собрал, да контроллер прошил.
Пока эта полка просто как эксперимент, решение под бекапы дешевое ищется с максимально возможной скоростью для быстрого восстановления обратно и как временный датастор при миграции наживую при тех работах.
К хостам esxi заплено пока по nfs, дабы сетка 10гб\с. ISCSI планировал на выходных опробовать, сравнить скорости.
Винты, кстати не самые быстрые Seagate ST8000AS0002 .
В некоторых случаях, ATA over Ethernet уделывает iSCSI по двум пунктам:
- Скорость при линейном копировании
- Простота и быстрота развертывания, в том числе и multipath-решений.
Проблема только в том, что он никакими стандартными инициаторами практически не поддерживается, в ESXi уж точно… По сути его можно юзать только с Linux.
Почему не поддерживает, vmware поддерживает AOE
kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1031322
kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1031322
Я имею в виду софтовый адаптер, как iSCSI или FCoE.
Через хитрый HBA то он может всё что угодно поддерживать :)
Через хитрый HBA то он может всё что угодно поддерживать :)
Тут уж у каждого свой загашник, у меня, к примеру, нет ничего из FB, и не планирую в будущем его даже, а 10 гигабитный езернет как-то поудобней будет, железки доступней и нет узкости в применении.
PS. iscsi показал не слишком большую разницу в скоростях на 10 гигабитах против nfs(к машине прицепил два винта с датасторов прицеплеными по nfs и iscsi. И после dd по очереди на обоих разделах), плюс только от использования плюшек VMFS5, которые правда мне так и не удалось заметить.
PS. iscsi показал не слишком большую разницу в скоростях на 10 гигабитах против nfs(к машине прицепил два винта с датасторов прицеплеными по nfs и iscsi. И после dd по очереди на обоих разделах), плюс только от использования плюшек VMFS5, которые правда мне так и не удалось заметить.
а 10 гигабитный езернет как-то поудобней будет, железки доступней и нет узкости в применении.
О том и речь — FCoE или iSCSI можно гонять на ESXi без спецательного HBA, а этот AoE или FC — нет.
PS. iscsi показал не слишком большую разницу в скоростях на 10 гигабитах против nfs, плюс только от использования плюшек VMFS5, которые правда мне так и не удалось заметить.
Это извечный спор физиков с лириками, лично я пока держусь VMFS5 + блочный доступ.
С ним есть примитивы VAAI из коробки, для NFS же нужны какие-то storage-specific плагины для этого.
Плюс, тут нет чёрных ящиков (с точки зрения ESXi) в виде файловой системы, которая экспортируется по NFS и можно получать более консистентные резульататы.
Большое спасибо за понятную статью. Официальный HOWTO гораздо труднее для понимания.
Папка /scst-qla2xxx/drivers/scsi/qla2xxx отсутствует.
В trank версии вроде даже прикрутили dkms. И ещё, когда таргете вроде всё нормально, но инициатор луны всё равно не видит может помочь подмена прошивок до старых из Openfiler (например, ql2500_fw.bin)
И модули ядра не обязательно вручную где то прописывать. В RPM-ку входит init демон scst, который загружает только те что упоминаются в scst.conf. Демон тоже чуть надо поправить до вида
чтобы соблюсти верную последовательность загрузки модулей.
И настоятельно рекомендую генерить scst.conf с помощью scstadmin.
Верно для CentOS 6.8.
103 SCST_MODULES="qla2xxx_scst"
104 SCST_OPT_MODULES="scst"
чтобы соблюсти верную последовательность загрузки модулей.
И настоятельно рекомендую генерить scst.conf с помощью scstadmin.
Верно для CentOS 6.8.
Sign up to leave a comment.
Настройка SCST Target на CentOS 7 с использованием FC QLogic адаптера