Как Peer Zoning упростил нам жизнь и помог сбалансировать нагрузку EMC VPLEX

    В нашей storage-инфраструктуре было две проблемы. Во-первых, это 960 «Single initiator — Single target» зон на SAN, что усложняло администрирование SAN-сети. А во-вторых, несбалансированная нагрузка на директорах EMC VPLEX. Благодаря внедрению Peer zoning мы уменьшили количество зон в 120 раз, вдвое сэкономили время инженеров и получили более-менее равномерную загрузку директоров EMC VPLEX. Далее расскажу, как мы это сделали.

    В инфраструктуре заказчика:

    • по одному EMC VPLEX в каждом дата-центре в конфигурации Metro;
    • суммарно 120 серверов, подключенных к ним;
    • две SAN-фабрики, в каждой из которых по два SAN-свитча Brocade.

    На схеме это выглядит так:



    Схема упрощенная — на ней показан только один сервер и его подключение к фабрикам (остальные сервера подключены аналогично), указаны только front-end (FE) порты от EMC VPLEX, не показан back-end storage и не показаны engines и directors EMC VPLEX.

    В текущей конфигурации:

    • каждый EMC VPLEX имеет 4 engines
    • каждый engine имеет по два директора
    • каждый директор по 4 FE-порта.

    Итого 4*2*4 = 32 FE порта, 16 из которых для отказоустойчивости подключены к Fabric1 и другие 16 портов — к Fabric2.

    Каждый сервер имеет по два HBA: HBA0 и HBA1. Подключение к фабрикам аналогичное — для отказоустойчивости HBA0 подключен к Fabric1, HBA1 — к Fabric2.

    По best practices EMC VPLEX каждая HBA сервера имеет зону на один FE-порт каждого из четырех engines. Когда мы использовали Single initiator zoning, то это было 4 зоны на одну фабрику, всего 8 путей через две фабрики для одного сервера.

    На рисунке это выглядит так:



    Еще год назад мы использовали Single initiator zoning и делали зонинг по принципу «Single initiator — Single target» в каждой зоне. И так, если посчитать, на одну фабрику приходилось 4 зоны*120 серверов = 480 зон, а на две фабрики, соответственно, 8 зон*120 серверов = 960 зон. Внедрение Peer Zoning помогло сократить количество зон в 120(!) раз, уменьшив их до 8 — по 4 peer-зоны в каждой фабрике.

    В отличие от Single initiator zoning, Peer-зона состоит из principal (target) и members (initiators). Members внутри одной Peer-зоны взаимодействуют только с principal. При этом каждый member не видит другого member. Так же и principal: один principal не взаимодействует с другим principal.

    Мы объединили FE-порты VPLEX по группам и создали по 4 Peer-зоны в каждой фабрике.

    Как мы это реализовали

    Чтобы соблюсти все EMC best practices, сделали это следующим образом.
    В зону PEER_VPLEX_Fabric1_Group1 в качестве principal вошли порты VPLEX:

    Engine1_directorB_FC01
    Engine2_directorA_FC01
    Engine3_directorB_FC01
    Engine4_directorA_FC01

    В зону PEER_VPLEX_Fabric1_Group2 в качестве principal вошли порты VPLEX:

    Engine1_directorA_FC01
    Engine2_directorB_FC01
    Engine3_directorA_FC01
    Engine4_directorB_FC01

    В зону PEER_VPLEX_Fabric2_Group1 в качестве principal вошли порты VPLEX:

    Engine1_directorA_FC00
    Engine2_directorB_FC00
    Engine3_directorA_FC00
    Engine4_directorB_FC00

    И так далее.

    Схематично:



    Сейчас при добавлении новых серверов в SAN достаточно добавить WWN новых серверов в существующие Peer-зоны.

    В результате внедрения Peer zoning значительно упростилось администрирование зон SAN-сети, что, как минимум, вдвое сэкономило время инженеров.

    И, кроме того, удалось добиться выравнивания нагрузки directors.
    Ниже графики по Current Utilization, взятые с EMC ViPR SRM каждого из directors обоих EMC VPLEX cluster-1 и cluster-2.

    Желтым отмечена дата начала поэтапного внедрения PeerZoning на front-end.



    ICL Services
    102.52
    Цифровые технологии для бизнеса
    Share post

    Comments 4

      0

      Интересный опыт. Но не совсем понятно как именно peer zoning повлиял на выравнивание нагрузки на директора VPLEX. Не пробовали с этим разобраться? В плане найти логическое объяснение. Просто по описанию из статьи формально для серверов и HBA в них ничего не изменилось.

        0
        Хороший вопрос, спасибо. По сути, да, все верно, Peer zoning как таковой тут не причем.
        Когда у заказчика еще был подход зонирования «Single initiator — Single target», FE-порты отдавались серверам в разнобой. Кроме того, engines изначально было по два в каждом сайте. Позже добавили еще по два. Новые сервера подключали к новым engines. Получается, что уже и VPLEX best practices не соблюдался, при котором, каждый порт сервера должен приходить на один из директоров каждого engine. Проще говоря, был бардак.
        С внедрением Peer zoning мы применили более системный подход, что и позволило сбалансировать нагрузку и соответствовать VPLEX best practices.
          0

          Вот так уже понятнее. А то из самой статьи создается впечатление некой магии при применении Peer Zoning :).


          Кстати, а на backend-е VPLEX до СХД какой тип зонинга используется?

            0
            На back-end используется традиционный «Single initiator — Single target» зонинг.
            Он настраивался изначально правильно при подключении engines и затем при добавлении новых engines в каждом сайте. Peer zoning решили там не делать, так как зонинг на back-end менять не приходится: настроили правильно один раз с соблюдением лучших практик и больше он не меняется.

            Вывод команды проверки back-end подключения на обоих кластерах VPLEX (при правильной настройке все должно быть по нулям):

            VPlexcli:/> connectivity validate-be
            Cluster cluster-1
            0 storage-volumes which are dead or unreachable.
            0 storage-volumes which do not meet the high availability requirement for storage volume paths.
            0 storage-volumes which are not visible from all directors.
            0 storage-volumes which have more than supported (4) active paths from same director.

            Cluster cluster-2
            0 storage-volumes which are dead or unreachable.
            0 storage-volumes which do not meet the high availability requirement for storage volume paths.
            0 storage-volumes which are not visible from all directors.
            0 storage-volumes which have more than supported (4) active paths from same director.


        Only users with full accounts can post comments. Log in, please.