SAN начального уровня

    Продолжая тему SAN, хочу написать о системах начального уровня. Предположим, что у нас есть небольшая компания, у которой образовался бюджет для перехода на SAN. Посмотрим, какие есть варианты, что мы можем получить и за какие деньги.

    Для начала определимся — FC или SAS. Будем считать, что у нас есть 3 сервера (если взять больше — нет особого смысла использовать SAS), и нам нужно 10 терабайт места для хранения скачанного с торрентов данных компании.
    Нам нужно при минимальном расходовании бюджета получить максимальную скорость обмена, минимальную стоимость мегабайта и, в идеале, возможность расширения системы в дальнейшем.


    Для начала рассмотрим решения на SAS. При достаточной скорости (3 гигабит), приемлемой дальности (8 метров), мы получаем масштабируемое по емкости до ~60 Тб решение. При этом добавить еще один массив мы можем только поставив в сервера дополнительные адаптеры. Отказываясь от свитчей, мы выигрываем по деньгам, но теряем масштабируемость.

    Наши кандидаты:

    SUN: Sun StorageTek 2530 Array
    HP: HP StorageWorks 2000sa G2 Modular Smart Array
    IBM: IBM System Storage DS3200

    Сведем системы в таблицу и посмотрим что у нас получилось.


    SUN
    HP
    IBM
    Количество дисков
    48 дисков, от 1500 Гб до 96 Тб.
    99 дисков SFF или 60 дисков LFF
    48 жестких дисков с интерфейсом SAS (с использованием трех блоков расширения EXP3000)
    Рейд
    0, 1, (1+0), 3, 5 и 6 (p+q)
    0,1,3,5,6, 10, 50
    RAID-0, -1, -3, -5, -10
    Кэш
    512 Мб/контроллер, 2Гб/система
    1Гб/контроллер, без батареи(конденсаторы, CompactFlash)
    Кэш-память объемом 512 МБ с резервным питанием от аккумулятора и возможностью увеличения до 1 ГБ
    Контроллер
    1 или 2 SAS контроллера
    2 MSA2300sa G2, максимум
    Два активных устройства
    Цена 10 Тб
    ~$40000
    ~$30000
    ~$44000

    Цены в таблице ориентировочные, брались с конфигуратора продукта на сайте производителя. В SUN и IBM диски 15к RPM, в HP- 10k.
    Мы видим, что при прочих примерно равных условиях по цене и масштабируемости существенно выигрывает HP.
    Я специально не брал много параметров для сравнения, все 3 системы — начального уровня, в стоечном исполнении, каждый массив состоит из модуля контроллера с дисками и полки с дополнительными дисками.

    По цене с большим отрывом побеждает HP, однако в реальности все может пойти совершенно иначе, особенно если проводить конкурс — сумма уже достаточная, чтобы просить скидки у производителей, и сколько они скинут — зависит от продавца. Так что если вы заинтересованы в том, чтобы получить лучшую цену — устраивайте конкурс или торги.

    Еще нам понадобятся SAS-адаптеры, при их выборе надо смотреть на модель сервера, в который ставится адаптер — и брать родной, а в случае самосбора — желательно брать от производителя массива.

    В этом варианте мы получаем систему с 1 масштабируемым массивом, к которому напрямую подключаются сервера. Если нам не нужна избыточность — можем подключить каждый сервер по 1 каналу, если нужно резервирование — придется использовать 2 канала SAS.
    Система позволяет нам достаточно просто наращивать объем, но не позволяет подключить больше N серверов, где N — количество портов у массива. В случае, если мы хотим использовать 2 и больше системы хранения — нас ждет геморройувлекательная работа по интеграции систем между собой так, чтобы оптимально использовать дисковое пространство.
    И надо помнить, что при использовании SAS мы ограничены длиной кабеля в 8 метров, следовательно, сервера и массив придется расположить в одной комнате.

    Теперь посмотрим, что мы имеем для FC.
    Выберем пока младшую модель коммутатора, если что — дополнительные свитчи можно добавить позже.
    Будем выбирать между
    Brocade 300 SAN Switch и Cisco MDS 9124

    Сравнительная таблица:


    Brocade 300 SAN switch
    Cisco MDS 9124
    Число портов
    24
    24
    Максимальная скорость
    8 Gbps
    4 Gbps
    Лицензии на порты
    по 8
    по 8
    Цена
    $3500
    $5000


    Свитчи похожи практически по всем параметрам, за исключением скорости и цены. Как правило, в небольшие SANы ставят именно Brocade, они недорогие, легко конфигурируются и масштабируются.
    И там и там мы можем взять базовую конфигурацию с 8 портами и потом наращивать ее или добавляя по 8 портов, или докупая по 1 «дальнобойные» модули на 10 км.
    Как правило, елси в организации 2 площадки — считается хорошим тоном поставить на каждую пару свитчей и соединить площадки 2 линками (если реально пилить баблозакладываться на надежность — можно сделать 4 линка).

    Перейдем к системам хранения данных.
    Поскольку мы имеем дело с FC, стоит присмотреться поближе к продукции EMC.
    Из чего мы будем выбирать?

    Sun StorageTek 2540 Array
    HP StorageWorks MSA2312fc
    IBM System Storage DS3400
    EMC CLARiiON AX4


    Sun StorageTek 2540
    HP StorageWorks MSA2312fc
    IBM System Storage DS3400

    EMC CLARiiON AX4
    Количество дисков
    от 5 до 48 — от 730 GB до 48 TB
    99 дисков SFF или 60 дисков LFF
    48 SAS или SATA (с тремя полками расширения EXP3000)
    4-60 (с пакетом расширения)
    Рейд
    0, 1,  (1+0), 3, 5, 6 (p+q)
    0,1,3,5,6, 10, 50
    RAID 0, -1, -3, -5, -6, -10
    RAID 1/0, RAID 3, RAID 5
    Кэш
    512 MB или 1 GB/контроллер (до 2
    GB/систему)
    1GB Read/Write. ECC с бэкапом на FLASH-память
    512 MB, апгрейд до 1 GB
    1 Гбайт памяти на процессор хранилища, до 2 процессоров
    Контроллер
    1 или 2 контроллера, 2-4 FC порта на контроллере
    2xFC 4 Gb на контроллер
    2xFC 4 Gb на контроллер
    2xFC 4 Gb на контроллер
    Цена 10 Тб
    ~$46000
    ~$34000
    ~$46000
    $34000*

    * Я не нашел в сети цен на этот массив, есть только одна рекламная цена, пришлось прикинуть в попугаях. Вообще у EMC очень гибкая ценовая политика, у хорошего большого вендора можно выбить неплохую скидку.

    Теперь мы можем сделать выводы. Как обычно, всех сделал HP со своей агрессивной ценовой политикой, однако у нас появилась темная лошадка — EMC, которая может запросто и предложить неплохую цену, и хорошо поддерживает VMWare.
    При бюджете в $40000 вполне можно построить SAN начального уровня, которая покроет нужды организации на пару лет, и позже даст возможность свободно расширить систему.
    На начальном этапе нам не придется особо задумываться о топологии системы, мы можем свободно добавлять в систему и сервера, и системы хранения. При дальнейшем росте стоит задуматься о том, до каких пределов будет расти система, продумать топологию и распределение информации по системам хранения.
    При использовании оптики мы не сильно ограничены в расстоянии, при использовании разных конвертеров и кабелей дальность может быть от 85 до 150 метров.

    Итоги.
    При сравнимом бюджете система с SAN дает нам бОльшую гибкость, скорость, масштабируемость и безопасность. Если есть возможность — лучше заложить в бюджет средства на SAN.
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 15

      0
      Можно поподробнее расписать — что же, все таки, входит в итоговую стоимость по каждому варианту? Сколько полок, сколько голов, сколько дисков?

      Если цель была — получить 10Тб хранилку, то почему не выбирались SATA диски?

      Какой уровень RAID'а и по сколько дисков использовались при расчетах?

      Сколько контроллеров было в случае с FC хранилками?
        0
        В итоговую стоимость входят самые дорогие диски, 2 контроллера, минимум лицензий и поддержки — чтобы получить более-менее одинаковые системы. Полок получается, как ни странно, разное количество — например, конфигуратор HP упорно выдавал мне 1 полку с кучей дисков. Конфигураторы и системы разные, я постарался их максимально приблизить друг к другу. По EMC например конфигуратор мне не доступен, цен мне как частному лицу тоже никто не даст — пришлось считать по принципу ИППП.

        SATA диски не выбирались потому, что одной из целей я ставил очертить верхнюю границу бюджета, и вторая — соотношение FC и SATA дисков в каждой системе своя, определяется нуждами заказчика, жадностью продающего и жирностью откатингапрочими факторами.

        В случае с FC было 2 контроллера.
          0
          Я всегда считал что начальный уровень это iSCSI а никак не FibreChannel или SAS. К тому же это как-то на систему начального уровня особенно по ценнику слабо похоже :)
            0
            Думаю iSCSI умрет под более-менее нагруженной базой данных. Хотя не проверял, я по чему специализируюсь — про то и пишу.
              0
              Интересно как транспорт может умереть под базой данных? :) Товарищи тестировали его на 10G и как-то больше упор был в железо а никак не в сам iSCSI. А для началального уровня он выгоднее во первых возможностью погонять и оценить это дело на коленке (есть софтовые как клиенты так и серверы), во вторых более дешевыми компонентами по сравнению с FC и SAS.
                0
                Транспорт — то не умрет, а вот сеть забить может. Я не спорю, на 10G он вполне бодр и весел, но где у нас 10G?

                И таки я писал про SAN, а он в более-менее реальных условиях подразумевает оптику. Остальное — частные бюджетные случаи :)
                  0
                  Ну сделать к примеру 2G-4G через bonding вполне реально и дешево по сравнению с FC :) Да и 10G тоже будет довольно дешево по сравнению с FC :]
                    0
                    2-4 не утащит более-менее серьезную базу или random i/o. А FC не так дорого как кажется :) Кстати, сколько коммутатор и адаптер 10G стоят?

                    Кстати, даже в википедии написано что iSCSI тормоз :)
                      0
                      2-4 не утащит более-менее серьезную базу или random i/o.

                      А на FC как утаскивает? :) К тому же говорим про про начальный уровень.

                      А FC не так дорого как кажется :) Кстати, сколько коммутатор и адаптер 10G стоят?

                      Да ви шо? Обычная карта стоит 500 баксов. HBA подороже, но они обычно на 1G бывают. Свитчи чисто на 10G дырок не бывает бывает на один 10G слот.

                      Кстати, даже в википедии написано что iSCSI тормоз :)

                      Для начального уровня не стреляет. Опять же причем тут обращение к тысячам файлов если оперирование производится блоками.
                        0
                        FC утаскивает и не жужжит. Сам видел :)

                        Таки я про что :) для 10G по уму надо >2 дырок в свитче — система хранения и серверА. Сколько это будет стоить? А HBA оптический 4G стоит как раз в районе $500, 8G под $1000.

                        Начальный уровень SAN :) Мое мнение такое, что iSCSI в будущем, возможно, и будет применяться в SAN (Storage Area Network), а пока от NAS она отличается слабо. А SAN — это шустрая среда передачи с маленькой задержкой, системы хранения и сервера.
                        А random i/o как раз и складывается из обращения к тысячам блоков по всему диску.

                        Если посмотреть шире и не придираться к терминам :) то можно понять под системой начального уровня массив попроще, подключенный по iSCSI. Но — базу данных на него не положишь (Оракловская экзадата чит, не считается :). Тогда надо брать что-то из мелкой линейки EMC и не париться.
                          0
                          У большинства вендоров многие хранилки поддерживают и FC, и iSCSI в качестве среды передачи данных, либо могут относительно легко проапгредится путем покупки дополнительной головы/лицензии (например, HP EVA4400, тот же EMC CLARiiON AX4, который вы привели в примере). И модели, которые сочетают такие возможности далеко не low/entry level. По вашему мнению, зачем туда пихать заведомо 'медленный' iSCSI?

                          Да и iSCSI, и NFS совсем не медленные, посмотрите на приличные решения от EMC или NetApp (не говоря уже о 10G).

                          И что в вашем понимании серьезная БД?
                            0
                            Насчет того что многие поддерживают iSCSI — соласен, но считаю что это маркетинг :) За время своей работы видел только 1 проект где предлагали iSCSI, но там был канал до удаленной точки 100 мегабит, и все.
                            Вариант — чтобы можно было подключить сервер «вот прям щас!!!!111», а потом спокойно воткнуть в него 2 FC HBA :)
                            Я знаю что они не медленные, они зависят от среды передачи. FC обычно используют еще и когда надо разгрузить локальную сеть компании, а и NFS, и iSCSI ее забивают.

                            Численные критерии серьезной БД не приведу, не специалист. Скажу так — серьезная БД дает изрядное количество транзакций в секунду и объем базы 2-3 терабайта с ростом процента по 2-3 в месяц.
            0
            Если ограниченный бюджет — iSCSI или NFS. SAS — палка о двух концах. iSCSI хранилище можно подключите куда угодно. Для SAS вам необходимо иметь определенные HBA.

            Далее по системам: HP MSA — система хранениея крайне низкого качества. Когда я выбирал SAN для компании то вышло так, что MSA SAS c 13 дисками 300Gb 10k + HBA в каждый сервер + 2х SAS свичи в блейд корзину по цене равнялось HP EVA4400 8x450Gb 10k FC + 2x8Gb Brocade SAN Switch…
              +1
              Начального уровня на FC?!
              Ви есть слишком много кушать
                0
                Ммм, имхо за $30,000k имеет слысл посмотреть на HP Lefthand — возможностией у него побольше.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое