Развёртывание ОС Windows Server 2012 R2 на серверы Dell в режиме BARE-METAL. Часть 1

    imageВ этой статье мы создадим установочный образ ОС Windows Server 2012 R2, установленной на сервере Dell PowerEdge R620 с 4-х портовым сетевым адаптером Intel Ethernet 10G 2P X520 Adapter (2 порт 1Гбит\сек + 2 порта 10Гбит\сек, поддержка VLANs, Teaming, Jumbo Packet и загрузку по iSCSI\PXE). Образ будет содержать в себе все драйверы и предустановленное программное обеспечение. Для создания образа и последующего развертывания воспользуемся компонентом Windows Server: «Службы развертывания Windows (WDS)»
    Как мы уже обозначили — тестовую площадку будем разворачивать на серверах Dell PowerEdge модельного ряда R620, с 4-х портовыми сетевыми адаптерами Intel Ethernet 10G X520 (два из которых — 10GB) и стеке коммутаторов Extreme Networks Summit X670V (порты 10GB). В качестве хранилища будем использовать один из серверов, на котором установлен компонент ОС Windows Server 2012 R2 — «Файловые службы и службы iSCSI — Сервер цели iSCSI» и аппаратную систему хранения данных HITACHI HUS110 (чтобы оценить все преимущества Multipath I/O).
    На компьютере, с которого мы создадим образ для дальнейшего развертывания по сети через WDS, установим все необходимые драйверы и обновления (например, для полноценного использования сетевого адаптера нужен драйвер от Intel, а не тот, который устанавливает система самостоятельно. а ему, в свою очередь — требуется Обновление для Windows Server 2012 R2 (KB2883200) После установки всех необходимых драйверов и обновлений, добавим системный компонент MPIO (далее пойдет много картинок, — так что не серчайте, если будем немного рябить в глазах ;):


    и настроим его (добавим поддержку для iSCSI и SAS-устройств):

    После перезагрузки (требуется после включения поддержки iSCSI и SAS-устройств) перейдем к настройки сети.
    Вот необходимый минимум настроек со стороны коммутатора:
    configure jumbo-frame-size 9014
    enable jumbo-frame ports all

    create vlan «iSCSI»
    configure vlan iSCSI tag 11
    create vlan «VLAN10»
    configure vlan VLAN10 tag 10

    enable sharing 1:26 grouping 1:26, 2:26 algorithm address-based L2 lacp
    enable sharing 1:25 grouping 1:25, 2:25 algorithm address-based L2 lacp
    enable sharing 1:27 grouping 1:27, 2:27 algorithm address-based L2 lacp
    enable sharing 1:28 grouping 1:28, 2:28 algorithm address-based L2 lacp
    enable sharing 1:29 grouping 1:29, 2:29 algorithm address-based L2 lacp

    configure vlan iSCSI add ports 1:1, 1:25-29 tagged
    configure vlan VLAN10 add ports 1:1, 1:25-29 tagged


    Теперь перейдем к настройке со стороны серверов. Для начала, сделаем объединение сетевых карт (Teaming) — в нашем случае (LACP, каждый порт подключаем в отдельный физический юнит стека коммутаторов) — это и не только агрегация каналов, но и повышение отказоустойчивости. Сделать это можно как средствами ОС Windows Server 2012 R2, так и с помощью настроек драйвера. Мы пойдем вторым путем :)
    много картинок :
    открываем «Центр управления сетями и общим доступом — Изменение параметров адаптера — Свойства -Настроить»















    убедимся, что Jumbo Packet включен и его размер указан 9014 Bytes:


    создадим новую группу, придумаем ей название





    выберем нужные адаптеры (порты)


    и основной момент — тип конфигурации для тиминга:

    Мы выбрали IEEE 802.3ad Dynamic Link Aggregation. Вот ключевые особенности такой конфигурации:

    • IEEE 802.3ad поддерживает от двух до восьми портов в группе
    • все порты должны поддерживать одинаковую скорость
    • все члены группы должны работать в режиме full duplex
    • коммутатор должен быть сконфигурирован должным образом и желательно — до создания группы. и конечно же, — он должен поддерживать 802.3ad стандарт
    • создание групп адаптеров (портов) в такой конфигурации подразумевает балансировку всего трафика


    Результат наших стараний:



    VLAN10 — сеть общего назначения, iSCSI — для взаимодействия с хранилищами…

    Теперь можно подключить iSCSI диски (этапы настройки хранилищ здесь опустим — тема для отдельной статьи):
    Инициатор iSCSI :











    Компьютер «донор» готов, можно переходить к следующему этапу — созданию образа (подготовка утилитой sysprep с сохранением драйверов и программного обеспечения, захват образа и его размещение на WDS, установка подготовленного образа на чистые серверы и как дополнительная опция — загрузка сервера с диска, подключенного по iSCSI).
    Продолжение следует…
    ServerClub
    26.08
    Company
    Share post

    Comments 24

      0
      Друзья,

      Можете писать свои вопросы и интересующие темы для следующего материала.
        +1
        Мне интересно, а каков сакральный смысл использования тиминга средствами драйвера вместо средств ОС? Если завтра эти сетевки снимут с производства, или их просто не будет под рукой, и их придется менять на сетевки другого производителя, как быть?
          0
          Скорее всего вопрос производительности, настройка через драйвер = аппаратная обработка (с высокой долей вероятности), настройка через ОС = обработка процессором.
            +1
            Не очень понимаю как это связано. Драйверы то сетевых карт никуда не делись.
              0
              Логика такая, когда это делает ОС, то процессор должен посчитать хеш пакета и направить его в нужный интерфейс, когда это происходит на аппаратном уровне, то вполне возможно, что карточки сами решат через какой интерфейс посылать пакет.
              Но я правда не нашёл пруфов. Просто мысли в слух.
                0
                На аппаратном уровне тиминг в данном случае вряд ли работает. Это же две разные сетевки — у них нет общего «вычислительного узла». Хэш в любом случае считается на процессоре, только в одном случае это реализовано через драйвер, а в другом часть сетевой подсистемы Windows. Там есть полезная статистика, по которой можно посмотреть как тиминг работает и как распределяет пакеты, и возможно оптимизировать процесс со стороны сетевого оборудования. А когда тиминг через драйвер — вы такую статистику можете получить разве что через сетевое оборудование.
              0
              В лучших практиках от МС пишут использовать тиминг ОС.
              0
              Средства системы не позволяют создавать логические подинтерфейсы (VLAN), то есть один интерфейс = один VLAN. В нашем случае, в примере мы создали 2. Можно и больше…
                0
                Средства системы не позволяют создавать логические подинтерфейсы (VLAN) — верно
                то есть один интерфейс = один VLAN — не совсем верно
                возможность получить транк-интерфейс можно, если воспользоваться функционалом виртуального коммутатора Hyper-V. Хотя я и признаю возможность сценариев, когда ваш вариант может потребоваться без использования Hyper-V, мне в голову такие варианты не приходят. Видимо я слишком увяз в Hyper-V. =)
                  +1
                  Пардон! Совсем не верно! Этот функционал реализуется через командлет Add-NetLbfoTeamNic.

                  То есть мы создаем team через GUI или New-NetLbfoTeam. А потом добавляем логические подинтерфейсы.

                  Вот пример:
                  New-NetLbfoTeam -Name "Lan Team" -TeamMembers Ethernet,Ethernet2 -TeamingMode SwitchIndependent
                  
                  Add-NetLbfoTeamNic  -Team "Lan Team"  -vLanID  10 -Name "Management VLAN"
                  Add-NetLbfoTeamNic  -Team "Lan Team"  -vLanID  11 -Name "Live Migration VLAN"
                  Add-NetLbfoTeamNic  -Team "Lan Team"  -vLanID  12 -Name "Cluster Network VLAN"
                  Add-NetLbfoTeamNic  -Team "Lan Team"  -vLanID  13 -Name "HyperV Swtich VLAN"
                  
                  
                    0
                    PowerShell спас ситуацию :) Спасибо за ценный совет — не знали о такой возможности. В итоге паритет — кто как привык и кому как удобнее, тот так и будет настраивать. Принципиальных отличий нет
                      0
                      Это можно сделать и не через Powershell.

                      Идем в GUI NIC Teaming.
                      Выбираем нужную тиму, если их несколько в разделе Teams.
                      В разделе Adapters and Interfaces выбираем вкладку Team Interfaces.
                      В Tasks выбираем Add Interface и вписываем имя и VLAN ID.

                      Наглядно в картинках




                        0
                        спасибо за уточнение :) осталось сравнить по стабильности работы. проверим и этот способ! о результатах сообщу дополнительно…
                          0
                          У меня в продуктивной среде работают несколько серверов с тимами от 2 до 4 сетевых карт, на базе как WS2012 так и R2. Сетевое оборудование — Cisco 4500 серии. Тип агрегации — LACP.

                          Проблем не возникает.

                          Стоит заметить что помимо типа агрегации, Windows Server 2012 R2 позволяет использовать режим балансировки нагрузки Dynamic. После наблюдения за интерфейсами в таком режиме тиминга, следует отметить что WS2012R2 очень не плохо (равномерно) распределяет нагрузку между сетевыми картами.
                            0
                            как и обещал — протестировали производительность «тиминга», организованного

                            средствами ОС:
                            один поток



                            3 параллельных потока




                            и средствами драйвера:
                            один поток



                            3 параллельных потока


                              0
                              Настройки тиминга средствами ОС приложите что ли.
                                0
                                  0
                                  Какая средняя пропускная получилась?
                                  30 секунд не маловато для статистики? =)
                                    0
                                    ок, повторю тестирование — поставлю 3600 секунд :)
                                      0
                                      результаты тестирование (время тестирования = 3600 секунд) показали интересную картину — при 3-х потоковом измерении (при однопоточном разницы нет, средняя скорость ~450Мбайт\сек).
                                      вот тиминг, настроенный средствами драйвера:


                                      а это, — настроенный средствами ОС. и здесь наблюдается аномалия с третим потоком:

                                      переодически скорость падает до нуля. и так на протяжении всего тестирования(!). причина пока не понятна.
                          0
                          В итоге паритет — кто как привык и кому как удобнее, тот так и будет настраивать.

                          Для Windows Server это давно не так, многие нужные фичи настраивается только через PoSH. В Exchange Server тоже хватает вещей, которые нормально не работают при настройке через EAC.
                  0
                  Я ведь правильно понял, что можно взять любой сервер от %ФИРМА_ПРОИЗВОДИТЕЛЬ% и сделать тоже самое? Главное наличие карточки от Intel с поддержкой Teaming и 802.1q?
                    0
                    Добрый день,

                    Да. Бренд сервера здесь большого влияния не имеете, а вот технологии СХД могу влиять сильно на эту схему.
                    0
                    всем доброго дня! Хотелось бы добавить уточнение про «сакральный смысл» всей процедуры: почему, к примеру, мы не воспользовались деплойментом от того же Dell и тп? В нашем случае, — это не простое разворачивание системы, а работа именно с настроенным образом. И в дальнейшем, этот образ можно использовать, как мы уже писали — для загрузки по iSCSI или в Virtual Machine Manager (компонент System Center)…
                    А еще напомнить про необходимость установки обновлений прошивок от Dell — так как образ содержит исключительно (!) драйверы, или посоветовать встроить эту возможность в создаваемый образ (автозапуск необходимых установочных пакетов).

                    Only users with full accounts can post comments. Log in, please.