Комментарии 16
Да, интересно, лично я подобную схему сейчас планирую на базе HP Blade System — два storage-лезвия HP BL460 G8 с SAS мезонинами + 2SAS коммутатора HP для Blade + коробка с дисками(скорее всего HP MSA какая-нибудь).
Что использовать на storage-лезвиях в качестве ОС пока не решил, может WIndows 2k12, а может лучше LeftHand, короче говоря — буду пробовать.
Что использовать на storage-лезвиях в качестве ОС пока не решил, может WIndows 2k12, а может лучше LeftHand, короче говоря — буду пробовать.
Люди добрые, а можете просветить что такое SAS HBA, SAS коммутатор? Как можно построить сеть хранения данных на SAS? Какое еще нужно оборудование? По данным вопросам гуглил, но не нашел исчерпывающей инфы — видимо плохо гуглил.
Вроде про SAS сети было расписано здесь же — habrahabr.ru/company/etegro/blog/215333/
В первом приближении SAS HBA и SAS коммутатор можно сопоставить стандартному Ethernet: сетевая карта и обычный коммутатор. SAS диски так же будут видны на шине как отдельные устройства. Грубо говоря, если взять два сервера с SAS HBA подключив их в SAS свичи, а к свичам полку с дисками то оба сервера увидят все эти диски. Далее средствами ОС конфигурируете необходимую схему работы: кластер например или просто делите на зоны полку и отдаете разным серверам разные диски.
В первом приближении SAS HBA и SAS коммутатор можно сопоставить стандартному Ethernet: сетевая карта и обычный коммутатор. SAS диски так же будут видны на шине как отдельные устройства. Грубо говоря, если взять два сервера с SAS HBA подключив их в SAS свичи, а к свичам полку с дисками то оба сервера увидят все эти диски. Далее средствами ОС конфигурируете необходимую схему работы: кластер например или просто делите на зоны полку и отдаете разным серверам разные диски.
Что по факту означает HBA? Что SAS контроллер способен работать в такой сетевой среде с полками и SAS коммутаторами? Чем отличается от обычного SAS контроллера? SAS HBA контроллер является только клиентом? Или же сервер с SAS HBA адаптером может сам выступать в роли дисковой полки?
en.wikipedia.org/wiki/Host_adapter
Грубо говоря — любой контроллер, который дает ОС доступ к устройствам на шине.
SAS контроллеры делятся на HBA и RAID, вторые не дают доступ к устройствам на шине, они сами по себе являются устройством с мини-ОС внутри.
Сервер с HBA дисковой полкой выступать не может, только подключаться к таковым.
Грубо говоря — любой контроллер, который дает ОС доступ к устройствам на шине.
SAS контроллеры делятся на HBA и RAID, вторые не дают доступ к устройствам на шине, они сами по себе являются устройством с мини-ОС внутри.
Сервер с HBA дисковой полкой выступать не может, только подключаться к таковым.
Сервер с HBA дисковой полкой выступать не может, только подключаться к таковым
Неправда. Есть несколько проектов, реализующих режим target на обычных HBA.
Например, SCST на marvell и какие-то LSI вроде тоже.
Это уже не полка, а полноценная хранилка.
С технической точки зрения — все СХД с интерфейсом SAS так и выполнены, контроллер = сервер с HBA в режиме target.
Разница — как между HBA и RAID контроллером.
Эти СХД не дают доступ к дискам, как устройствам на SAS шине, они выдают то, что им программно задали выдавать. Одиночный диск, массив — устройством на шине выступает не оно, а все равно сервер.
Полки, как в конфигурации демо-стенда, выдают все диски как устройства на шине без возможности настройки.
С технической точки зрения — все СХД с интерфейсом SAS так и выполнены, контроллер = сервер с HBA в режиме target.
Разница — как между HBA и RAID контроллером.
Эти СХД не дают доступ к дискам, как устройствам на SAS шине, они выдают то, что им программно задали выдавать. Одиночный диск, массив — устройством на шине выступает не оно, а все равно сервер.
Полки, как в конфигурации демо-стенда, выдают все диски как устройства на шине без возможности настройки.
Никто не мешает экспортировать все диски этого сервера отдельно в SAS-шину, будет как полка с точки зрения внешнего наблюдателя :)
А так, действительно, смысла делать из сервера именно полку никакого т.к. можно просто взять готовую корзину со встроенными экспандерами и всё.
А так, действительно, смысла делать из сервера именно полку никакого т.к. можно просто взять готовую корзину со встроенными экспандерами и всё.
Программный эмулятор полки, в котором половину стоимости можно выкинуть :)
Такой сервер имеет HBA наружу и еще один HBA внутрь, если внутри дисков больше, чем портов HBA — еще и экспандер.
Сокращаем до экспандера и получаем JBOD :)
Хотя у нас был случай, когда в FS100 наружу выдали каждый диск как самостоятельный таргет по iSCSI, а сверху натянули ZFS массив.
Такой сервер имеет HBA наружу и еще один HBA внутрь, если внутри дисков больше, чем портов HBA — еще и экспандер.
Сокращаем до экспандера и получаем JBOD :)
Хотя у нас был случай, когда в FS100 наружу выдали каждый диск как самостоятельный таргет по iSCSI, а сверху натянули ZFS массив.
Часто в SAS HBA контроллеры можно загружать разный firmware из OS, и соответственно они будут представлять и себя разный функционал (софт RAID наверное один из самых распространенных функционалов)
Разные прошивки HBA меняют режим работы HBA для ОС, но не позволяют пробрасывать диски из сервера в SAS сеть. Такое можно сделать только настройками ОС, причем такой функционал «из коробки» не представлен нигде.
Два вопроса:
>скоро опубликуем способ поднять аналогичный кластер высокой доступности на Linux.
Опубликуете?
Bторой… Есть такая система Proxmox — тестировалась ли она у Вас в отказоустойчивом варианте? Она для Вашей целевой аудитории, наверно, самая подходящая как платформа виртуализации. В варианте с iSCSI она работает, а вот с разделяемым SAS?
>скоро опубликуем способ поднять аналогичный кластер высокой доступности на Linux.
Опубликуете?
Bторой… Есть такая система Proxmox — тестировалась ли она у Вас в отказоустойчивом варианте? Она для Вашей целевой аудитории, наверно, самая подходящая как платформа виртуализации. В варианте с iSCSI она работает, а вот с разделяемым SAS?
Опубликуем :) В целом там ничего сверхъестественного. Все тот же heartbeat, multipath, MD/LVM. В Linux сильно раньше появилась возможность организации подобного рода решений.
Proxmox основан на Debian, значит можно. Сам по себе Debian работает. Другое дело, что Proxmox дает красивую обертку к виртуализации и если в ней нет возможности настройки таких решений, то вся красота админки немного потускнеет.
Proxmox основан на Debian, значит можно. Сам по себе Debian работает. Другое дело, что Proxmox дает красивую обертку к виртуализации и если в ней нет возможности настройки таких решений, то вся красота админки немного потускнеет.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
SAS сети и DAS решения: от теории к практике