SAS сети и DAS решения: от теории к практике

    Наша статья по Shared DAS вызвала большой отклик и вопросы о возможности тестирования. Некоторое количество компаний брало на тесты разные варианты решений, но желающих оказалось настолько много, что мы решили сделать универсальный стенд с максимально возможным количеством современных технологий по хранению данных.



    Конфигурация под катом.


    В конфигурацию вошли:
    1. Решение типа Cluster-in-a-Box: Сервер Hyperion RS420 G4, который легким движением руки превращается в Fastor FS200 G3, с установленным Windows Storage Server 2012 R2. На каждом узле стоит пара Xeon E5-2609, 64ГБ оперативной памяти, Intel 10G двухпортовый и SAS HBA.
    2. Дисковая полка на 60 накопителей: Fastor JS300 G3.
    3. Дисковая полка на 24 накопителя: Fastor JS200 G3.
    4. Коммутатор 10/40GbE: Eos 410i. (заодно SDN можно опробовать)
    5. SAS коммутатор LSI 6160.



    6. Комплект LSI Syncro Shared DAS Storage.
    7. Диски: SAS SSD 400 GB каждый, неограниченное количество SAS 450 GB 15K, немного 6 TB гелиевых SAS дисков HGST, 2 TB SAS 7200.
    8. Необходимое количество стандартных 1U серверов в различных конфигурациях.
    9. Программное обеспечение.

    Что можно делать:
    1. Прийти и познакомится с оборудованием, посмотреть, как оно выглядит и что из себя представляет. Например, SAS коммутаторы для многих представляют диковинку.
    2. Опробировать для своих задач SAS сети с коммутацией.
    3. Протестировать высокоскоростные протоколы на базе интерфейса 10/40GbE c RDMA: iSCSI, SMB 3.0.
    4. Посмотреть на поведение различных операционных систем в SAS окружении и в решениях типа Cluster-in-a-Box. Поведение Linux в Cluster-in-a-Box также вызывало множество вопросов.


    PS: Отзыв после тестирования конфигурации с SSD кэшем и 68 SAS дисками с доступом по iSCSI:
    «Мы впервые увидели, что процессоры на серверах БД загружены на 100%!»

    Пишите в личку и на as(at)etegro.com
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 16

      0
      Да, интересно, лично я подобную схему сейчас планирую на базе HP Blade System — два storage-лезвия HP BL460 G8 с SAS мезонинами + 2SAS коммутатора HP для Blade + коробка с дисками(скорее всего HP MSA какая-нибудь).
      Что использовать на storage-лезвиях в качестве ОС пока не решил, может WIndows 2k12, а может лучше LeftHand, короче говоря — буду пробовать.
        +1
        Windows 2012, отлично работает из коробки. Только используйте сразу R2. Там много хорошего добавлено как раз в этом направлении. Про LeftHand ничего не скажу.
        0
        Люди добрые, а можете просветить что такое SAS HBA, SAS коммутатор? Как можно построить сеть хранения данных на SAS? Какое еще нужно оборудование? По данным вопросам гуглил, но не нашел исчерпывающей инфы — видимо плохо гуглил.
          +1
          Вроде про SAS сети было расписано здесь же — habrahabr.ru/company/etegro/blog/215333/

          В первом приближении SAS HBA и SAS коммутатор можно сопоставить стандартному Ethernet: сетевая карта и обычный коммутатор. SAS диски так же будут видны на шине как отдельные устройства. Грубо говоря, если взять два сервера с SAS HBA подключив их в SAS свичи, а к свичам полку с дисками то оба сервера увидят все эти диски. Далее средствами ОС конфигурируете необходимую схему работы: кластер например или просто делите на зоны полку и отдаете разным серверам разные диски.
            0
            Что по факту означает HBA? Что SAS контроллер способен работать в такой сетевой среде с полками и SAS коммутаторами? Чем отличается от обычного SAS контроллера? SAS HBA контроллер является только клиентом? Или же сервер с SAS HBA адаптером может сам выступать в роли дисковой полки?
              0
              en.wikipedia.org/wiki/Host_adapter
              Грубо говоря — любой контроллер, который дает ОС доступ к устройствам на шине.

              SAS контроллеры делятся на HBA и RAID, вторые не дают доступ к устройствам на шине, они сами по себе являются устройством с мини-ОС внутри.

              Сервер с HBA дисковой полкой выступать не может, только подключаться к таковым.
                0
                Сервер с HBA дисковой полкой выступать не может, только подключаться к таковым

                Неправда. Есть несколько проектов, реализующих режим target на обычных HBA.
                Например, SCST на marvell и какие-то LSI вроде тоже.
                  0
                  Это уже не полка, а полноценная хранилка.
                  С технической точки зрения — все СХД с интерфейсом SAS так и выполнены, контроллер = сервер с HBA в режиме target.

                  Разница — как между HBA и RAID контроллером.
                  Эти СХД не дают доступ к дискам, как устройствам на SAS шине, они выдают то, что им программно задали выдавать. Одиночный диск, массив — устройством на шине выступает не оно, а все равно сервер.

                  Полки, как в конфигурации демо-стенда, выдают все диски как устройства на шине без возможности настройки.
                    0
                    Никто не мешает экспортировать все диски этого сервера отдельно в SAS-шину, будет как полка с точки зрения внешнего наблюдателя :)

                    А так, действительно, смысла делать из сервера именно полку никакого т.к. можно просто взять готовую корзину со встроенными экспандерами и всё.
                      0
                      Программный эмулятор полки, в котором половину стоимости можно выкинуть :)
                      Такой сервер имеет HBA наружу и еще один HBA внутрь, если внутри дисков больше, чем портов HBA — еще и экспандер.

                      Сокращаем до экспандера и получаем JBOD :)

                      Хотя у нас был случай, когда в FS100 наружу выдали каждый диск как самостоятельный таргет по iSCSI, а сверху натянули ZFS массив.
                      0
                      Часто в SAS HBA контроллеры можно загружать разный firmware из OS, и соответственно они будут представлять и себя разный функционал (софт RAID наверное один из самых распространенных функционалов)
                        0
                        Разные прошивки HBA меняют режим работы HBA для ОС, но не позволяют пробрасывать диски из сервера в SAS сеть. Такое можно сделать только настройками ОС, причем такой функционал «из коробки» не представлен нигде.
                          0
                          Ну в общем то да. Обычно два режима:
                          1. HBA — OS видит все диски как отдельные диски, по сути просто транспорт
                          2. SoftRAID — контроллер создает некий том из дисков и отдает OS его как RAID, при этом все расчеты падают на CPU сервера
                            0
                            Даже второй режим — это все равно транспорт, где дополнительный функционал дает драйвер.
                            Например для SATA контроллеров Интела нет их собственных драйверов RAID под Linux, если ОС видит такой «массив» — управление передается сразу в md.
            0
            Два вопроса:
            >скоро опубликуем способ поднять аналогичный кластер высокой доступности на Linux.

            Опубликуете?

            Bторой… Есть такая система Proxmox — тестировалась ли она у Вас в отказоустойчивом варианте? Она для Вашей целевой аудитории, наверно, самая подходящая как платформа виртуализации. В варианте с iSCSI она работает, а вот с разделяемым SAS?
              +1
              Опубликуем :) В целом там ничего сверхъестественного. Все тот же heartbeat, multipath, MD/LVM. В Linux сильно раньше появилась возможность организации подобного рода решений.

              Proxmox основан на Debian, значит можно. Сам по себе Debian работает. Другое дело, что Proxmox дает красивую обертку к виртуализации и если в ней нет возможности настройки таких решений, то вся красота админки немного потускнеет.

            Only users with full accounts can post comments. Log in, please.