Heartbleed не страшен для iLO 2 с точки зрения проникновения в систему, однако, некоторые сканеры этой уязвимости (или попытка её эксплуатации) наглухо вырубают iLO 2 интерфейс у серверов Hewlett Packard.
В пятницу 11 апреля я таким образом потерял доступ к трем сотням серверов с iLO модулями 2-го поколения (iLO интерфейсы публично доступны, т.к. это хостинговые сервера).
Основная масса серверов — это блэйд-сервера, однако «под раздачу» попали и несколько DL серверов.
Ни iLO 3, ни SuperMicro IPMI, ни что-то еще на соседних IP адресах не пострадали.
Симптомы:
1) последняя версия iLO 2 v.2.23 уязвима;
2) пропадает даже PING до iLO 2;
3) корзина (Onboard Administrator) перестает видеть сервер, не знает его тип, не знает его текущее состояние, выделяет питания для него с запасом (внимание! этот момент может повлечь выключение ряда серверов, если включен Dynamic Power Capping);
4) как ни странно, iLO 2 на DL серверах продолжили отвечать на PING, однако это максимум чего от них можно было добиться;
5) перезагрузка сервера средствами OS не приведет его к загрузке, т.к. (видимо) он застревает на стартовой диагностике компонентов;
6) штатный shutdown не помогает — сервер конечно глушится, но iLO 2 не оживает;
7) изнутри работающего сервера (из OS) ни резетнуть, ни пообщаться (через hponcfg например) с модулем iLO 2 невозможно, модуль не отвечает;
8) лечится ситуация ТОЛЬКО полным отключением питания от серверов DL (через управляемые PDU или руками), или чуть более удобно (но фактически с тем же эффектом) для блэйд-серверов командой reset server XX через Onboard Administrator;
9) Cold Restart тоже не помогает.
Самое неприятное — это то, что в случае с высоконагруженными блэйд-корзинами, модули OA потеряв связь с серверами, не будут знать их потребности по питанию, и начнут выделять им заведомо большие значения (в 2-3 раза выше реального потребления). Это приведет к тому, что OA посчитает, что питания не хватает и может вырубить некоторые сервера (или не дать запуститься). По крайней мере, это справедливо, если у Вас включено динамическое управление распределением питания.
HP не сразу признали проблему, и изначально сообщали лишь о факте того, что только Onboard Administrator (ver. >= 4.11) уязвимы для Heartbleed, а про iLO было сказано в c04239413, что все Окей. Даже использовали выражение NOT Impacted by «HeartBleed».
Да, с точки зрения проникновения в систему iLO не является уязвимым, но, к сожалению, iLO 2 оказался как раз Impacted, и еще как!
Официальной позиции HP по проблеме вырубания iLO 2 в результате сканирования на Heartbleed пока нет.
Благо, к понедельнику сотрудник HP Oscar A. Perez осчастливил нас beta версией прошивки 2.25 и выложил ее для тестов.
Скачать можно отсюда.
После hard reset пострадавших серверов и обновления прошивки до 2.25 beta, пока полет нормальный.
Если у вас iLO 2 публично доступны из интернета, то не ждите когда потеряете связь до серверов и не сможете им управлять в критической ситуации (или просто после планового рестарта) — обновитесь хотя бы до 2.25 beta.
Как вариант — временно ограничить публичный доступ к iLO 2 до выхода и применения официального релиза патченой прошивки.
В пятницу 11 апреля я таким образом потерял доступ к трем сотням серверов с iLO модулями 2-го поколения (iLO интерфейсы публично доступны, т.к. это хостинговые сервера).
Основная масса серверов — это блэйд-сервера, однако «под раздачу» попали и несколько DL серверов.
Ни iLO 3, ни SuperMicro IPMI, ни что-то еще на соседних IP адресах не пострадали.
Симптомы:
1) последняя версия iLO 2 v.2.23 уязвима;
2) пропадает даже PING до iLO 2;
3) корзина (Onboard Administrator) перестает видеть сервер, не знает его тип, не знает его текущее состояние, выделяет питания для него с запасом (внимание! этот момент может повлечь выключение ряда серверов, если включен Dynamic Power Capping);
4) как ни странно, iLO 2 на DL серверах продолжили отвечать на PING, однако это максимум чего от них можно было добиться;
5) перезагрузка сервера средствами OS не приведет его к загрузке, т.к. (видимо) он застревает на стартовой диагностике компонентов;
6) штатный shutdown не помогает — сервер конечно глушится, но iLO 2 не оживает;
7) изнутри работающего сервера (из OS) ни резетнуть, ни пообщаться (через hponcfg например) с модулем iLO 2 невозможно, модуль не отвечает;
8) лечится ситуация ТОЛЬКО полным отключением питания от серверов DL (через управляемые PDU или руками), или чуть более удобно (но фактически с тем же эффектом) для блэйд-серверов командой reset server XX через Onboard Administrator;
9) Cold Restart тоже не помогает.
Самое неприятное — это то, что в случае с высоконагруженными блэйд-корзинами, модули OA потеряв связь с серверами, не будут знать их потребности по питанию, и начнут выделять им заведомо большие значения (в 2-3 раза выше реального потребления). Это приведет к тому, что OA посчитает, что питания не хватает и может вырубить некоторые сервера (или не дать запуститься). По крайней мере, это справедливо, если у Вас включено динамическое управление распределением питания.
HP не сразу признали проблему, и изначально сообщали лишь о факте того, что только Onboard Administrator (ver. >= 4.11) уязвимы для Heartbleed, а про iLO было сказано в c04239413, что все Окей. Даже использовали выражение NOT Impacted by «HeartBleed».
Да, с точки зрения проникновения в систему iLO не является уязвимым, но, к сожалению, iLO 2 оказался как раз Impacted, и еще как!
Официальной позиции HP по проблеме вырубания iLO 2 в результате сканирования на Heartbleed пока нет.
Благо, к понедельнику сотрудник HP Oscar A. Perez осчастливил нас beta версией прошивки 2.25 и выложил ее для тестов.
Скачать можно отсюда.
После hard reset пострадавших серверов и обновления прошивки до 2.25 beta, пока полет нормальный.
Если у вас iLO 2 публично доступны из интернета, то не ждите когда потеряете связь до серверов и не сможете им управлять в критической ситуации (или просто после планового рестарта) — обновитесь хотя бы до 2.25 beta.
Как вариант — временно ограничить публичный доступ к iLO 2 до выхода и применения официального релиза патченой прошивки.
