Полезные мелочи в дата-центре: Wi-Fi IP KVM

    KVM over IP, или просто IP KVM, – способ удаленного подключения к консоли сервера по протоколу TCP. Без него не обойтись, когда штатный удаленный доступ через Интернет (RDP, SSH) пропадает, сервер нужно срочно перезагрузить или переустановить ОС.

    Обычно в дата-центрах IP KVM — это отдельная услуга, на которой часто экономят при заказе colocation или dedicated-серверов. Когда при форс-мажоре клиент все-таки обращается за IP KVM, то доступ к консоли приходится ждать: провайдеру нужно проложить кроссировку, организовать и настроить отдельный интернет-канал до стойки, где располагается пострадавший сервер. Для таких экстренных ситуаций мы и сделали Wi-Fi-вариант IP KVM. Получилось сердито, но эффективно.



    Схема работы


    Беспроводная сеть дата-центров DataLine состоит из 66 точек доступа моделей Cisco AIR-LAP1041N и AIR-CAP1602I под управлением трех контроллеров Сisco 2504 (Wireless LAN controller, WLC), один из которых резервный. Площадка OST общей площадью 10000 кв. м покрывается 37 точками доступа. 29 точек доступа работает в дата-центрах NORD.

    Применение нескольких SSID позволяет использовать одни и те же точки доступа и контроллер для нескольких нужд: Wi-Fi-телефония, гостевая и локальная беспроводные сети. На контроллере каждому SSID соответствует свой VLAN. Для IP KVM выделены отдельные SSID и VLAN. Wi-Fi сеть защищаем с помощью WPA2-Enterprise (алгоритм шифрования AES) и RADIUS.


    Одна из точек доступа, закрепленная на лотке СКС машинного зала. Для залов до 200 кв.м – одна точка доступа, от 200–400 кв. м – две.

    В машинном зале установлены точки доступа. IP KVM-коммутатор ATEN CN8000 подключается через Wi-Fi-мост Trendnet TEW-800 к Wi-Fi-сети дата-центра.

    По отношению к контроллеру (WLC) KVM – пассивное оборудование со статическим IP-адресом. По умолчанию WLC работает как proxy-ARP, т.е. отвечает на внешние ARP-запросы самостоятельно, зная IP-адрес беспроводного абонента. Когда у устройства статический IP-адрес, WLC не знает его IP-адрес и не может ответить на ARP-запрос. Поэтому при подключении KVM-коммутатора к беспроводной сети обязательно активируем на WLC опцию Passive client. В этом случае ARP-запросы будут отправляться напрямую конечным устройствам без участия WLC.

    Теперь, когда клиенту внезапно понадобится удаленное подключение к консоли сервера, дежурный инженер просто подключает KVM-коммутатор в оборудование. Для владельца оборудования создается учетная запись, сообщается внешний IP и учетные данные для доступа на IP KVM.

    С момента получения заявки до подключения клиента к консоли теперь проходит не более 30 минут.


    По запросу клиента к стойке подвозят IP KVM, подключенный к Wi-Fi-мосту. Выглядит вот так.

    Пользователь может подключаться к KVM через браузер с помощью Win- или Java-приложения.


    Интерфейс KVM CN8000. Для открытия консоли нужно кликнуть “Просмотрщик” и скачать приложение.


    Вход в консоль через Win-приложение.


    Консоль оборудования. В верхней части закреплена панель инструментов. позволяющая регулировать картинку, работу клавиатуры, мыши и другие настройки.

    Выбор метода Wi-Fi-подключения


    Сначала мы искали IP-KVM с интегрированным модулем Wi-Fi, но готового, коробочного, варианта не нашлось. Ранее ATEN выпускала беспроводной вариант IP KVM – KW1000, но модель была снята с производства.

    Тогда мы стали подбирать отдельный девайс в качестве Wi-Fi-моста для обычного IP KVM-коммутатора. Конструктивно Wi-Fi-мост должен быть компактным и удобным при эксплуатации, желательно с минимальным тепловыделением: связка “KVM – Wi-Fi-модуль” используется в горячих коридорах машинных залов ЦОД.

    Первой идеей было использование в качестве Wi-Fi-моста точки доступа Cisco Aironet 1600 в режиме Workgroup Bridge. Решение выходило громоздким, и использовать целую точку доступа для этой задачи было нерационально. Мы решили немного поэкспериментировать с микрокомпьютером Raspberry PI 2B в сочетании с USB Wi-Fi-модулем edup N8508GS.


    Одноплатный компьютер Raspberry PI 2B на базе процессора Broadcom BCM2836 и Wi-Fi-модуль edup N8508GS.

    Raspberry PI 2B поддерживает различные ОС. При желании можно его приспособить под различные задачи. Мы поставили на него ОС Raspbian, подключили к нему usb Wi-Fi-модуль edup N8508GS и стали использовать в качестве Wi-Fi-маршрутизатора.

    В этой схеме Wi-Fi-маршрутизатор на базе Raspberry выполняет функцию NAT – транслирует публичные IP-адреса во внутренние IP-адреса (private).


    Схема беспроводного KVM с участием Raspberry PI 2B и Wi-Fi-модуля edup N8508GS.

    Эта связка работала, но не стабильно: сессии часто прерывались. Когда удавалось подключиться, из-за большого джиттера и потери пакетов картинка на стороне пользователя сильно подвисала.

    ICMP-запросы до Raspberry выглядят следующим образом:

    Ответ от 10.7.19.50: число байт=32 время=42 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=77 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=106 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=34 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=66 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=7 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=132 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=84 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=81 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=96 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=232 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=68 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=86 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=111 мс TTL=63
    Ответ от 10.7.19.50: число байт=32 время=33 мс TTL=63

    Следующим вариантом опробовали простенький домашний Trendnet TEW-800. Устройство имеет низкое энергопотребление 12 Вт ( построен на процессоре ARM), и несильно греется. Работает в двух диапазонах – 2.4 и 5 ГГц.


    Wi-Fi-мост Trendnet TEW-800.

    Raspberry PI 2B мы использовали в качестве маршрутизатора с функцией NAT: внешний IP “смотрит” в Wi-Fi-эфир, а внутренний – на KVM. Trendnet TEW-800 же в нашей схеме выступает в роли Wi-Fi-моста, т. е. на канальном уровне (L2) связывает Wi-Fi-среду и KVM-коммутатор. Публичный IP-адрес находится на самом IP KVM. Это упрощает схему, убирает лишний анализ пакетов (lookup) на транзитном узле и NAT connection tracking-данные.


    Схема беспроводного KVM с участием Wi-Fi-моста Trendnet TEW-800.

    ICMP-запросы до Trendnet выглядят следующим образом:

    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=3 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
    Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127

    Выбор IP KVM-коммутатора


    Выбирали из двух моделей – D-Link DKVM IP1 и Aten CN8000. Модель D-Link мы традиционно использовали для проводного варианта IP KVM.

    Для задачи подключения по Wi-Fi обе модели подходили, но у Aten CN8000 было больше возможностей для проводного подключения. Wi-Fi IP KVM – это все-таки экстренный вариант, и на постоянное время лучше использовать проводное подключение.


    Aten CN8000.

    В проводном варианте есть возможность организовать управление всеми коммутаторами и пользователями через централизованный сервер. Для этого Aten предоставляет программное средство управления CC2000. В едином интерфейсе Личного кабинета инженер со стороны дата-центра cможет управлять учетными данными пользователей, просматривать журнал событий доступа, управлять всеми IP KVM-коммутаторами. Доступ пользователя к Личному кабинету осуществляется по https.


    Схема подключения инженера к KVM-инфраструктуре дата-центра центра через СС 2000.


    Интерфейс Личного кабинета СС 2000. Вкладка с пользователями.

    Вместо заключения


    Если удаленный доступ нужен постоянно, то лучше воспользоваться проводной версией. Она обеспечивает стабильное качество работы с IP KVM, на которое не влияет расстояние между IP KVM-коммутатором и точкой доступа. Зато Wi-Fi IP KVM спасет, когда с оборудованием случилась беда и подключиться к нему нужно быстро.
    DataLine
    Экосистема ИТ-сервисов

    Comments 21

      +3
      Скажите, когда эти ваши IP KVM начнут использовать непосредственно для доступа к консоли по сети нормальный noVNC вместо мерзких джава-апплетов и ещё более мерзких приложений под винду?
        0
        С момента когда производители этих КВМ это сделают ЯТД. «Мерзкие» аплеты используют все КВМ, iLo, IPMI, iDrac что я видел
          +2
          В iDRAC уже появилась консоль на HTML5.
            +1
            Последние прошивки Supermicro IPMI под X11 (вроде и X10, не уверен) серию плат уже имеют поддержку HTML5 консоли
              0
              Я знаю. Я к тому и говорю, что человечество уже лет пять минимум как научилось нормально, за эти пять лет сколько, два, три, четыре поколения серверов сменилось? Пять лет назад у HP был G5 в ходу, сейчас G9.

              Да и к тому же ничто не мешает сделать для старого KVM прошивку с html5.
              0
              да, мы тоже любим красивые интерфейсы на html5, но это скорее вопрос к производителям оборудования. В решениях, которые подходили бы под все наши требования, пока такого нет.
                +1
                А такие вообще в природе бывают? Тот же ATEN CN8000 относительно недавно обновляли (на данный момент последняя прошивка от 2017-05-16), но они всё равно используют этот чёртов java-applet.
                –1
                А почему не пробрасывать заранее по сети IPMI сервера? Сейчас вроде почти во всех серверах он есть и даже в новых уже переходят на html5, что наконец избавляет от корявой java консолей.
                  0
                  Да, можно сделать так, как вы предлагаете. Но нужно учитывать следующие факторы:
                  — Канал под IPMI должен быть подготовлен заранее: подключение к локальной сети заказчика или предоставлен выход в интернет. В большинстве случаев это невозможно организовать быстро.
                  — Не во всех серверах есть IPMI.
                  — Некоторые вендоры ограничивают доступ к IPMI платной лицензией.
                  — Любое изменение параметров IPMI обычно требует перезагрузки сервера (например, поменялся IP адрес).

                  Описываемый в статье Wi-Fi IP KVM как раз для тех случаев, когда клиент не позаботился заранее о доступе по IP KVM или IPMI, а к серверу нужно подключиться быстро.
                    0
                    — Любое изменение параметров IPMI обычно требует перезагрузки сервера (например, поменялся IP адрес).

                    Это что ж за сервер такой?

                    Мне пока попадались только такие BMC, которые можно ребутать независмо от сервера. Более того, их можно ребутать изнутри ОС сервера: ipmitool mc reset warm или cold по вкусу. IP-адрес тоже меняется изнутри: ipmitool lan и поехали. И пользователями так же можно управлять, приходилось пару раз пароль на IPMI сбрасывать.
                      0
                      — Канал под IPMI должен быть подготовлен заранее: подключение к локальной сети заказчика или предоставлен выход в интернет. В большинстве случаев это невозможно организовать быстро.


                      Для этого можно организовать VPN, порты коммутаторов КВМ в отдельный ВЛАН(ы), КВМки на серые адреса.
                        0
                        В рамках небольшой серверной такое организовать возможно. Мы писали с позиции дата-центра, где только в одном зале может быть больше 100 заполненных стоек. Мы не можем заранее организовать такие доступы для всех.
                        Наше решение экстренное и временное, для тех, кто не организовал заранее доступ по IPMI или организации IP KVM.
                          0
                          Зачем сразу всех. Раз стойки заполнены знач и коммутаторы в этих стойках есть(или вы через всю гермозону к серверам патчи тягаете?) Настраиваете один порт в каждом из таких коммутаторов, правильнее на отдельный влан. Когда необходимо бросили патч до ipmi, а клиенту выдали ВПН и сообщили какой ай-пи получил его ipmi по dhcp. Или вашу-же КВМку по такому-же принципу подключать, можно без ВПНов. У нас так и сделано, в каждом коммутаторе выбрали порт специально для КВМ. Все дежурные знают, что скажем в порт 1 каждого коммутатора можно подключать КВМ и никто не тягает кабеля через всю гермозону. Если жалко портов в дорогих коммутаторах, то можно взять несколько старых и поставить в центре ГЗ и от них развести по розетке в каждый шкаф.

                            0
                            В каждую стойку ставить свой коммутатор нецелесообразно, тем более когда этого не желает сам заказчик. Коммутаторы для KVM у нас есть в каждом зале для проводного подключения KVM, но на кросс нужно время. Иногда этого времени нет, вот для таких ситуаций наш беспроводной KVM.
                            0
                            Вы всегда серверы подключаете двумя портами к сети? Нет?
                            Скорее всего порт LAN1 сервера используется и для BMC, если отдельный LAN-порт BMC не задействован. В таком случае и отдельная физическая сеть не требуется. К тому же, можно BMC настроить так, чтобы он работал в VLANе.
                      0
                      "— Любое изменение параметров IPMI обычно требует перезагрузки сервера (например, поменялся IP адрес)."
                      Это не так, по крайней мере, для iLO и IPMI в supermicro. Перезапуск BMC не означает перезапуск всего сервера.
                        0
                        А ещё это не так в Dell iDRAC и ASUS iKVM. И там, и там прекрасно всё меняется независимо.
                          0
                          Да, но мы рассматриваем ситуацию, когда у клиента не настроен IPMI.
                          Если клиент потерял доступ к ОС, преднастроенного IPMI у него тоже нет, как он сможете поменять настройки IPMI?
                            0
                            Вы даёте серверы в аренду? Настраивайте всегда.

                            Вы ставите серверы на колокейшн? Предупреждайте клиента, образовывайте его. Сделайте услугу KVM платной (хотя бы символически) и объясняйте, что «бесплатно можно то же самое сделать вот так».
                              0
                              Решение c беспроводным IP KVM у нас возникло не просто так. Мы посмотрели статистику по запросам, и, как оказалось, запросов на KVM значительно больше, чем запросов на IPMI, хотя IPMI мы также предоставляем.
                                0
                                Да просто наивные юноши, называющие себя администраторами, не знают, что такое бывает. Я говорю же, образовывате людей, хотя бы сообщайте им возможности оборудования.

                      Only users with full accounts can post comments. Log in, please.