Как понять почему упал сервер не подключая к нему монитор и клавиатуру?

[Obramko]

Вместо sysrq (кстати, а почему у Вас именно такая комбинация строчных и заглавных букв?) можно сделать просто echo test > /dev/kmsg.

Статья полезная. Но вот netconsole — не всегда :). Когда падает сеть — не поможет. Тут только старый добрый COM-порт.

[huksley]

SysRQ — старая закалка :-)
Про /dev/kmsg не знал, спасибо.
Ну если упадет сеть, будем искать другой способ.
Разве на современных компьютерах есть COM порты?
Боюсь у меня нет и кабеля ничего что можно с другой стороны кабеля подсоединить.

[Obramko]

Q маленькая же вроде ;).
Да, на современных материнках есть COM-порты. Просто DB9 не выведены наружу. Выглядят вот так:

При необходимости вытаскиваются наружу вот таким дятлом:


Но в случаях вроде вашего проще напрямую, без DB9.

Я вот у себя на серверах хотел подобное сделать (GRUB умеет в консоль писать, ядро тоже — что еще надо? BIOS? некоторые тоже умеют), но не нашел вменяемого по цене мультиплексора.

[archim]

Когда на сервере выгорел выведенный наружу ком-порт, я все ноги сбил в поисках такого-вот дятла в ближайших магазинах. Трудная задача на сегодняшний день.

[ZiggiPop]

Ага, я иногда покупаю такую планку «на всякий случай», когда бываю на радиорынке. Как правило, она не залеживается надолго, в магазинах не найдешь, когда она нужна.

[Melkij]

+1, так и не нашёл, когда понадобился. Пришлось паяльник купить.

[codrem]

Насколько я помню netconsole дееспособна только в случае когда компы находятся в пределах одной сети.
Отправить на сервер в другом ДЦ/дома уже не выйдет. Проще пользовать syslog/syslog-ng

[codrem]

Кроме того для netconsole надо включать printk() в ядре.
И логировать оно будет всё с момента старта, что вызывает буйный рост логфайла.
Такая штука удобна когда система падает и банально не успевает плюнуть что-то в syslog. Мне так приходилось ловить загадочные залипания Х-ов.

[huksley]

printk — необязательно. Но информации будет выдавать меньше.

У меня судя по логам системка ведет себя образцово :-)

[ajev]

Отправить домой, вполне можно, если удалено поддерживаете не одну машину, а сеть. Правильно народ говорит, что главная фишка в получении последних сообщений до самой паники.

[mgyk]

Все вменяемые сервера имеют на борту IPMI. Скорее актуально для ловли фризов на десктопе.

[Pilat]

Мой случай недавно: Один из новоприбывших HP серверов имел на борту IPMI с нерабочей прошивкой. Rfr результат, удалённый монитор не работал. Перепрошивка решила проблему, но netconsole мне наверно помогла бы.

[huksley]

IPMI (и монитор + клавиатура интегрированные в стойку 1U) — это на работе.

Я же говорил про кладовку :-) значит дома. Пока до более серьезного сервера не дорос.

Все хочу купить HP Microserver (там вроде бы IPMI есть?) но пока не решился.

[Obramko]

Не все используют сервера с IPMI.

[angry_elf]

А есть вменяемый IPMI-клиент под линукс с доступом к клавиатуре и видеокарте?

Когда последний раз ставил сервер через IPMI, чуть не рехнулся. Сервер от меня в 200-300мс и пакеты то ли пропадали, то ли повторялись, но набрать что-то на клавиатуре было вообще нереально — кнопки то не нажимались, то повторялись по 20 раз (саппорт сказал, что это нормальное поведение IPMI на больших пингах и давал кучу неработающих советов). Клиент был под винду, на жаве и еще какое-то гадство в комплекте.

[AHTOH]

И внешних клиентов полно и даже веб. Вот у меня, например, плата supermicro ipmi (купленная дополнительно к серверу за сумму примерно в $100). В ней есть веб-клиент и он может загрузить прошитое в нем JAVA-приложение для подключения консольной клавиатуры и консольного монитора. Более того, эта плата умеет подключать ваше любое локальное устройство к серверу, используя какой-то свой протокол. Таким образом я легко монтирую флешку своего ноута в качестве дополнительного накопителя на сервере. Правда, минус в том, что скорость передачи целиком зависит от связности между сервером и ноутом :) меееедленно все, но работает. Можно даже загрузить на сервере другую ОС со своего дисковода (вставил в ноут CD, перегрузил сервер и он начинает грузиться с моего CD на ноуте) — очень полезно, если рухнет система.
Словом, IPMI очень полезное изобретение, даже состояние сервера через SNMP позволяет мониторить (скорость вентиляторов, температуру ядер процессоров и пр. железные датчики).

[angry_elf]

> В ней есть веб-клиент и он может загрузить прошитое в нем JAVA-приложение для подключения консольной клавиатуры и консольного монитора. Более того, эта плата умеет подключать ваше любое локальное устройство к серверу, используя какой-то свой протокол.

Да-да, знаем-знаем. Работает только в винде, только в эксплорере, только на определенной версии жавы (сто лет как не существующей больше нигде).

> вставил в ноут CD, перегрузил сервер и он начинает грузиться с моего CD на ноуте

… и залил 700 мегов через полглобуса…

[sysadm]

а как что-то подобное реализовать на сервере под управлением Windows?

[BupycNet]

Я думаю что если что то упадет на Windows то вы получите номер ошибки и непонятный набор символов понятный только Microsoft. думаю такие приспособлений для Windows нет.

[archim]

Ответ в предыдущем комментарии. IPMI решения дают удаленный доступ к видеоадаптеру.

[Xtragalattico]

Прошу прощения, но заголовок статьи «Как понять почему упал сервер не подключая к нему монитор и клавиатуру?» замахивается на более широкий спектр возможных состояний, потенциально вводя в заблуждение возможных читателей.

Например, рецепт не работает в случаях:
— если его не применили заранее;
— если, как уже заметили выше, стала недоступной сеть;
— если сервер «завис» не доходя в процессе загрузки до момента поднятия IP интерфейсов.

ЗЫ: Вариант как понять почему сервер упал когда он лежит разбитый под окнами многоэтажки тоже не рассмотрен, хотя заголовок может подойти и для этого случая.

[huksley]

Вы правы, но разве много еще способов не подключая ничего
дополнительно к серверу разобраться в его работе/не работе?

Соответственно если сети нет, достаем сервер из кладовки и начинаем ковыряться.

Про многоэтажку я не подумал :-)
Если топик был бы на эту тему, разместил бы его в блоге «Многоэтажки для всех»

[gribozavr]

> если сервер «завис» не доходя в процессе загрузки до момента поднятия IP интерфейсов.

Вкомпилируйте netconsole в ядро и передавайте параметры в командной строке ядра. Будете видеть все сообщения.

[Xtragalattico]

Не думаю, что в этом случае произойдет чудо и мы увидем в удаленной консоли результаты POST теста BIOS и RAID контроллера и загрузчика ядра.
Чуда также не случится если ядро не найдено, или загрузка происходит в ядро где этот модуль не включен.

[ddosia]

Хмм, странная статья. Ожидаешь что тут будет описание технологии доступа к предположительно рухнувшему серверу, а видишь:

Для настройки netconsole нужен другой (постоянно включенный) компьютер который примет сообщение по сети.

и дальше ничего, сразу идут какие-то инструкции. Что будет после того, как другой компьютер примет сообщение по сети? Как связан рухнувший сервер и этот компьютер? Это какая-то магия? Я конечно сейчас пойду, погуглю про netconsole, но всё же…

[huksley]

Я тоже думал что netconsole это именно console. Т.е. удаленно можно кнопки нажимать и сервер будет отвечать.

Но это не так т.к. работает только получение сообщений от упавшего сервера, до момента kernel panic (и включая его).

Может быть есть какие то другие решения для Linux, но я их не знаю.

[mafet]

Ну мне эта статья очень полезна. Порой бывают сервера, которые падают просто так. Обычно прошу ребутнуть удалённо, но в консоли бывает много чего интересного, например кернелпаник.

[ddosia]

Полезна ли вам статья или технология? Я до этой статьи не знал об этой технологии и из этой статьи так же не узнал. Пришлось лезть в интернет и гуглить.

[mafet]

А в чем тут технология? Это скорее функционал. Правильней будет сказать-я лично не знал о такой функции. Статья помогла мне о ней узнать. У меня правда так и не получилось реализовать описанное, но я правда не особо усердно пробовал.
Кстати не понял, почему говорится, что сервера должны быть в одной сети. Поставить мак шлюза -и все ок.

[korisk]

Также, если у сервера есть встроенный блок мониторинга, который поддерживает IPMI, можно исполосовать возможности Serial Over Lan:
Раз
Два
И вот ещё

[mark_ablov]

Для домашнего сервачка KVM на второй монитор подрублен.

[ajev]

Здесь идея не во-втором мониторе. А в просмотре сообщений консоли удалено, если какой-то из серверов ни с того не с сего заткнулся. Причем, ты здесь, твой монитор здесь, а вся локалка в афирке :)

[imperial]

Полезная статья.