@huksley25 окт 2011 в 20:23

Как понять почему упал сервер не подключая к нему монитор и клавиатуру?

2 мин

14K

Настройка Linux *

+84

Комментарии 33

@Obramko 25 окт 2011 в 20:38

Вместо sysrq (кстати, а почему у Вас именно такая комбинация строчных и заглавных букв?) можно сделать просто echo test > /dev/kmsg.

Статья полезная. Но вот netconsole — не всегда :). Когда падает сеть — не поможет. Тут только старый добрый COM-порт.

@huksley 25 окт 2011 в 20:42

SysRQ — старая закалка :-)
Про /dev/kmsg не знал, спасибо.
Ну если упадет сеть, будем искать другой способ.
Разве на современных компьютерах есть COM порты?
Боюсь у меня нет и кабеля ничего что можно с другой стороны кабеля подсоединить.

@Obramko 25 окт 2011 в 20:48

Q маленькая же вроде ;).
Да, на современных материнках есть COM-порты. Просто DB9 не выведены наружу. Выглядят вот так:

При необходимости вытаскиваются наружу вот таким дятлом:

Но в случаях вроде вашего проще напрямую, без DB9.

Я вот у себя на серверах хотел подобное сделать (GRUB умеет в консоль писать, ядро тоже — что еще надо? BIOS? некоторые тоже умеют), но не нашел вменяемого по цене мультиплексора.

@archim 26 окт 2011 в 00:55

Когда на сервере выгорел выведенный наружу ком-порт, я все ноги сбил в поисках такого-вот дятла в ближайших магазинах. Трудная задача на сегодняшний день.

@ZiggiPop 26 окт 2011 в 06:23

Ага, я иногда покупаю такую планку «на всякий случай», когда бываю на радиорынке. Как правило, она не залеживается надолго, в магазинах не найдешь, когда она нужна.

@Melkij 26 окт 2011 в 06:38

+1, так и не нашёл, когда понадобился. Пришлось паяльник купить.

@codrem 25 окт 2011 в 21:22

Насколько я помню netconsole дееспособна только в случае когда компы находятся в пределах одной сети.
Отправить на сервер в другом ДЦ/дома уже не выйдет. Проще пользовать syslog/syslog-ng

@codrem 25 окт 2011 в 21:37

Кроме того для netconsole надо включать printk() в ядре.
И логировать оно будет всё с момента старта, что вызывает буйный рост логфайла.
Такая штука удобна когда система падает и банально не успевает плюнуть что-то в syslog. Мне так приходилось ловить загадочные залипания Х-ов.

@huksley 26 окт 2011 в 05:34

printk — необязательно. Но информации будет выдавать меньше.

У меня судя по логам системка ведет себя образцово :-)

@ajev 26 окт 2011 в 08:47

Отправить домой, вполне можно, если удалено поддерживаете не одну машину, а сеть. Правильно народ говорит, что главная фишка в получении последних сообщений до самой паники.

@mgyk 25 окт 2011 в 22:02

Все вменяемые сервера имеют на борту IPMI. Скорее актуально для ловли фризов на десктопе.

@Pilat 25 окт 2011 в 23:42

Мой случай недавно: Один из новоприбывших HP серверов имел на борту IPMI с нерабочей прошивкой. Rfr результат, удалённый монитор не работал. Перепрошивка решила проблему, но netconsole мне наверно помогла бы.

@huksley 26 окт 2011 в 05:35

IPMI (и монитор + клавиатура интегрированные в стойку 1U) — это на работе.

Я же говорил про кладовку :-) значит дома. Пока до более серьезного сервера не дорос.

Все хочу купить HP Microserver (там вроде бы IPMI есть?) но пока не решился.

@Obramko 26 окт 2011 в 08:10

Не все используют сервера с IPMI.

@angry_elf 26 окт 2011 в 10:29

А есть вменяемый IPMI-клиент под линукс с доступом к клавиатуре и видеокарте?

Когда последний раз ставил сервер через IPMI, чуть не рехнулся. Сервер от меня в 200-300мс и пакеты то ли пропадали, то ли повторялись, но набрать что-то на клавиатуре было вообще нереально — кнопки то не нажимались, то повторялись по 20 раз (саппорт сказал, что это нормальное поведение IPMI на больших пингах и давал кучу неработающих советов). Клиент был под винду, на жаве и еще какое-то гадство в комплекте.

@AHTOH 26 окт 2011 в 18:32

И внешних клиентов полно и даже веб. Вот у меня, например, плата supermicro ipmi (купленная дополнительно к серверу за сумму примерно в $100). В ней есть веб-клиент и он может загрузить прошитое в нем JAVA-приложение для подключения консольной клавиатуры и консольного монитора. Более того, эта плата умеет подключать ваше любое локальное устройство к серверу, используя какой-то свой протокол. Таким образом я легко монтирую флешку своего ноута в качестве дополнительного накопителя на сервере. Правда, минус в том, что скорость передачи целиком зависит от связности между сервером и ноутом :) меееедленно все, но работает. Можно даже загрузить на сервере другую ОС со своего дисковода (вставил в ноут CD, перегрузил сервер и он начинает грузиться с моего CD на ноуте) — очень полезно, если рухнет система.
Словом, IPMI очень полезное изобретение, даже состояние сервера через SNMP позволяет мониторить (скорость вентиляторов, температуру ядер процессоров и пр. железные датчики).

@angry_elf 26 окт 2011 в 18:59

> В ней есть веб-клиент и он может загрузить прошитое в нем JAVA-приложение для подключения консольной клавиатуры и консольного монитора. Более того, эта плата умеет подключать ваше любое локальное устройство к серверу, используя какой-то свой протокол.

Да-да, знаем-знаем. Работает только в винде, только в эксплорере, только на определенной версии жавы (сто лет как не существующей больше нигде).

> вставил в ноут CD, перегрузил сервер и он начинает грузиться с моего CD на ноуте

… и залил 700 мегов через полглобуса…

@sysadm 25 окт 2011 в 22:43

а как что-то подобное реализовать на сервере под управлением Windows?

@BupycNet 25 окт 2011 в 23:18

Я думаю что если что то упадет на Windows то вы получите номер ошибки и непонятный набор символов понятный только Microsoft. думаю такие приспособлений для Windows нет.

@archim 26 окт 2011 в 00:57

Ответ в предыдущем комментарии. IPMI решения дают удаленный доступ к видеоадаптеру.

@Xtragalattico 25 окт 2011 в 22:51

Прошу прощения, но заголовок статьи «Как понять почему упал сервер не подключая к нему монитор и клавиатуру?» замахивается на более широкий спектр возможных состояний, потенциально вводя в заблуждение возможных читателей.

Например, рецепт не работает в случаях:
— если его не применили заранее;
— если, как уже заметили выше, стала недоступной сеть;
— если сервер «завис» не доходя в процессе загрузки до момента поднятия IP интерфейсов.

ЗЫ: Вариант как понять почему сервер упал когда он лежит разбитый под окнами многоэтажки тоже не рассмотрен, хотя заголовок может подойти и для этого случая.

@huksley 26 окт 2011 в 05:39

Вы правы, но разве много еще способов не подключая ничего
дополнительно к серверу разобраться в его работе/не работе?

Соответственно если сети нет, достаем сервер из кладовки и начинаем ковыряться.

Про многоэтажку я не подумал :-)
Если топик был бы на эту тему, разместил бы его в блоге «Многоэтажки для всех»

@gribozavr 26 окт 2011 в 06:17

> если сервер «завис» не доходя в процессе загрузки до момента поднятия IP интерфейсов.

Вкомпилируйте netconsole в ядро и передавайте параметры в командной строке ядра. Будете видеть все сообщения.

@Xtragalattico 26 окт 2011 в 08:51

Не думаю, что в этом случае произойдет чудо и мы увидем в удаленной консоли результаты POST теста BIOS и RAID контроллера и загрузчика ядра.
Чуда также не случится если ядро не найдено, или загрузка происходит в ядро где этот модуль не включен.

@ddosia 26 окт 2011 в 02:16

Хмм, странная статья. Ожидаешь что тут будет описание технологии доступа к предположительно рухнувшему серверу, а видишь:

Для настройки netconsole нужен другой (постоянно включенный) компьютер который примет сообщение по сети.

и дальше ничего, сразу идут какие-то инструкции. Что будет после того, как другой компьютер примет сообщение по сети? Как связан рухнувший сервер и этот компьютер? Это какая-то магия? Я конечно сейчас пойду, погуглю про netconsole, но всё же…

@huksley 26 окт 2011 в 05:32

Я тоже думал что netconsole это именно console. Т.е. удаленно можно кнопки нажимать и сервер будет отвечать.

Но это не так т.к. работает только получение сообщений от упавшего сервера, до момента kernel panic (и включая его).

Может быть есть какие то другие решения для Linux, но я их не знаю.

@mafet 26 окт 2011 в 08:07

Ну мне эта статья очень полезна. Порой бывают сервера, которые падают просто так. Обычно прошу ребутнуть удалённо, но в консоли бывает много чего интересного, например кернелпаник.

@ddosia 26 окт 2011 в 08:38

Полезна ли вам статья или технология? Я до этой статьи не знал об этой технологии и из этой статьи так же не узнал. Пришлось лезть в интернет и гуглить.

@mafet 26 окт 2011 в 09:51

А в чем тут технология? Это скорее функционал. Правильней будет сказать-я лично не знал о такой функции. Статья помогла мне о ней узнать. У меня правда так и не получилось реализовать описанное, но я правда не особо усердно пробовал.
Кстати не понял, почему говорится, что сервера должны быть в одной сети. Поставить мак шлюза -и все ок.

@korisk 26 окт 2011 в 04:32

Также, если у сервера есть встроенный блок мониторинга, который поддерживает IPMI, можно исполосовать возможности Serial Over Lan:
Раз
Два
И вот ещё

@mark_ablov 26 окт 2011 в 06:32

Для домашнего сервачка KVM на второй монитор подрублен.

@ajev 26 окт 2011 в 08:41

Здесь идея не во-втором мониторе. А в просмотре сообщений консоли удалено, если какой-то из серверов ни с того не с сего заткнулся. Причем, ты здесь, твой монитор здесь, а вся локалка в афирке :)

@imperial 26 окт 2011 в 19:03

Полезная статья.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий