История IP-KVM в дата-центрах Selectel, или прелесть open source-проектов

[dimsoft]

Sipeed NanoKVM - 40$

[sdy]

Поддерживаю. Опять же есть nano kvm cube, nano kvm pcie с wifi, poe на выбор. никаких радиаторов, небольшой даже в варианте pcie, питаний вариантов несколько

[Dzeem]

Настолько маленькие, что мы их теряли в стойках между патчами)))

[sdy]

это не очень хороший аргумент, можно ведь было сделать крепление и на полку рэковую, на одной такой панели можно было бы разместить несколько подобных устройсв даже в два ряда для одного юнита, по примеру как это делает например Микротик в своей серии RB5009

[Dzeem]

К сожалению я не могу рассказать всех наших испытаний этой штучки, но скажу так
Тесты проводились, причем детальные, не только в качестве внешней KVM, но и в качестве эдакого BMC
Нам не подошло

[sdy]

нам не подошло звучит как - мы даже не пытались разобраться. Вы же сами спросили что мол думаете, а я думаю, что вы явно не доработали и просто взяли за основу старое и унылое

[Dzeem]

Да не, пытались, но не будем же мы все секреты тестов вам выдавать))

[Dzeem]

О да, штучка крутая, с ними хотели даже сделать отдельный проект
Но наш ИБ отдел их не апрувнул, все еще сыроваты

[sdy]

RPi на Broadcom, который закрыт полностью, апрувнул, а Risc-V железку не апрувнул? Мне кажется это заслуживает отдельного рассказа

[Dzeem]

Хорошая идея, отправим идею нашим иб для поста

Ниже хороший коммент, который показывает суть nanoKVM

[sdy]

Это про отваливается PoE и все сыро сыро?

[Dzeem]

Ес

[djiggalag]

Всё что нужно знать об их ИБ)) Заставляет задуматься)

[TerekhinNI]

Sipeed NanoKVM дико сырая вещь. Косяк в архитектуре из-за которого отваливается POE и разрабы ничего с этим сделать не могут, кроме совета купить разветвитель уже ставит крест на данном решение. Или в последних прошивках не работает удаленная клавиатура, пока ее не перезапустишь в терминале. Очень и очень сыро.

[dimsoft]

Я не настоящий сварщик ©

Использую 5 (пять) штук, никаких POE, никаких пробросов образов ISO, подключена в нормальный блок питания - за год ещё не разу косяков не было (но и использую очень редко, когда ОС не грузиться и надо например по PXE загрузиться и систему восстановить)

[TerekhinNI]

Опять-таки, если верить их гитхабу и комментариям там всё косяки чистой воды фортуна. Мне не получилось в неё выиграть.

[shutya]

А как оно дружит если у сервера нет hdmi? Помнится была уже на хабре статья про этот проект квм на базе raspberry pi и в комментариях люди писали что с переходниками на vga оно нормально не работает.

[Dzeem]

Мы сначала тоже ловили проблемы с этим, но все оказалось очень просто
В комплекте идут всякие аксессуарчики, которые как раз помогают в этой беде

VGA на HDMI с доп питанием + EDID эмулятор корректирует картинку на enterprise серверах

[atd]

Цена в 300 000 ₽ за один Lantronix

Я на ебее их покупал, даже с пересылкой получалось меньше 5к руб. До сих пор валяется целый пакет этих спайдеров...

Единственная проблема: те, которые spider2duo, шли без кабелей, пришлось их колхозить из DP-шлангов

[Dzeem]

Да, хорошее было раньше время) Как раз поэтому их у нас так много сейчас в дата-центрах
К сожалению их уже не производят, а рисковать старыми моделями с рук мы не можем (неприятные кейсы имеются), поэтому открываем новые интересные решения для себя

[sdy]

Если не секрет, сколько примерно таких устройств работает в Selectel? Почему IPMI не используете? Опять же проекту Pi KVM уже лет десять наверное как, почему его выбрали в качестве основы для разработки? Какой бюджет на потребление одного устройства? Почему Selectel занимается DIY, неужели нет проф проектов?

[Dzeem]

Много, очень много

Используем в подавляющем большинстве, если он присутствует, но всегда есть внештатные ситуации

OpenSource и независимость от закрытого кода готовых решений + цена

Одна квмка = питание от двух usb портов, добавляя закупочную стоимость и итоговый результат окупается очень быстро при обзоре цена-польза

Как показывает практика -- проф проекты оверпрайс (те же Lantronix) + полный доступ к кастомизации = безопасность

[sdy]

Тогда не очень понятно почему было за основу взято решение с активным охлаждением и соотв. большой потребляемой мощностью

[Dzeem]

Это на столько мизерное потребление, что в рамках ДЦ не ощущается, даже с активным охлаждением

Стандартный USB порт выдает примерно 2.5Вт, такая квм как раз столько и потребляет
Даже умножив на тысячи, получим всего 2.5КВт, что не составляет потребления и трети стойки серверного оборудования

[sdy]

активное охлаждение - это вентилятор, который явно не Дельта и его ресурс существенно неизвестен. Если у вас таких железок много как вы говорите, то как вы собираетесь следить за китайскими вентилями по всему ЦОДу?

[Dzeem]

На практике ресурс достаточно обширный

Настроенный мониторинг творит чудеса)

[Vladimir1Subbotin]

Предложение по GPU неактуально(

Немного неактуальная информация в статейке(

[Doctor_IT]

Здравствуйте! Актуально)

[duronus]

Это же из какого железа вы собираете серваки, если для supermicro есть нормальный bmc с html5. Ipmi нет только в десктопном железе, а все остальное хоть примерно планируемое в сервер имеет ipkvm. Понятно что хочеться по дешевле, но просто интересен производитель

[Dzeem]

Так на supermicro мы и используем IPMI, причем не только в HTML5, но и в JAVA
И да, таких серверов много

Но есть же chipcore линейки, которые собраны на десктоп железе, и спрос на них растет с каждым годом
Есть клиентское оборудование, которое также нуждается в подобном решении

Я писал в посте, что эти штучки в основе своей не для enterprise серверов)

[duronus]

ААА, каюсь, не подумал, что у вас прям и десктопы есть))

[Dzeem]

У нас даже малинки есть)

[oller]

Lantronix Spider KVM Over IP Switch.

Только только пришел на рынок aten cn800

Выглядит посолиднее

Выходы те же +-

Питание по двум usb

Цена 60-80т

[Dzeem]

Да, интересный вариант, но даже тут появляется вопрос выгодно ли такое готовое решение по сравнению с BliKVM

[Lordbander]

• Использовать SSH, RDP или VNC? А если сервер завис и без ручного пинка никак?

А если сервер завис, квм может его перезагрузить?

[neohmd]

смотря как завис: если будет реакция на ввод с клавиатуры, то перезагрузить можно

[GeXoGeN]

В варианте с raspberri pi два пина gpio в разрыв кнопок питания и ресет подключаешь и все дела.

[dimsoft]

В Sipeed NanoKVM тоже есть управление кнопками ресет и питание

[KerriQueen]

Проще всего использовать на старых VGA серверах так называемые скалеры. Они позволяют выводить нормальную картинку на HDMI KVM без разрывов.

Кроме того, у open-source KVM есть проблема с эмуляцией клавиатуры, некоторые BIOS не понимают флешку и клавиатуру, если они висят на оодном usb порту. В таких случаях приходится отключать эмуляцию флешки. Эту проблему удачно решил PiKVM, где для клавиатуры используется Pi Pico.

[OverFitter]

Приходилось пару раз использовать Lantronix Spider в селектеле, жутко неудобный опыт. Свою задачу выполняют, бесспорно, но даже процесс первичного подключения для человека незнакомого с моделью - очень неприятный. Новое решение ещё не доводилось попробовать, но переходу уже рад

[TechnicalMan94]

Автор пишет "под катом"

Но ката как такового я не увидел. Он как джун, пытается влиться в нашу тусовку

[Dzeem]

:о

[Maksvelis]

Не расплавится ли PLA от температур платы? она не сильно греется? если больше 70 я бы использовал ABS.

[Dzeem]

По тестам на версиях с вентиляторчиками PLA выдерживает 80 градусов на чипе, т.к. все выдувает
ABS только для адского железа)

[Shvedov]

Как-то странно, почему KVMoIP не подключить к KVM свитчу? Дешевле чуть ли не на порядок. С серверами по KVM не так часто работают, а устанавливать можно и через PXE.

[Dzeem]

Не очень понял суть схемы.
Сейчас подключение внешней KVM производится через ближайшие свитчи. Раньше для этого были отдельные, но в рамках ДЦ оказалось бессмысленно использовать отдельные свитчи.
Или имеете ввиду про конкретные KVM свитчи, что имеют много видео и i/o портов?