Заметка о восстановлении Grub UEFI для Proxmox 7.xx (Debian 11)

[LuchS-lynx]

Когда я первый раз получил эту ошибку, то на SSD меня спасла эта инструкция с картинки, найденная на форуме:

https://forum.proxmox.com/threads/upgrade-pve-6-x-to-7-x-grub-issues.92118/page-2#post-429676

Кстати тут есть нюанс, когда грузишься с Live-CD/DVD то консольной команды chroot может и не быть. Ее еще придется ставить. По крайней мере в Debian 11 ее не было.

Я не до конца понимаю, но небольшое изменение размера диска убирает ошибку. На какое-то время. ИМХО, если такое случилось, то лучше всего сделать бэкапы виртуалок и переустановить ProxMox

[Bessome]

Есть такое. В моем случае не было смысла менять размер дисков. Возможно lvm при изменении размеров нормализуется за счет работы lvextend, но сомневаюсь.

Дистр был ubuntu liveCD вчерашний.

[aborouhin]

У самого "домашний" гипервизор - Proxomox, но что-то он такими вот сюрпризами совсем не радует. У шестой версии был очень много нервов мне стóивший глюк с невозможностью загрузиться после ребута, если корневой раздел на ZFS. Решалось магическими манипуляциями в GRUB rescue mode. Но когда физического доступа к серверу нет - то боишься на этот Proxmox даже дышать :)

[Aquahawk]

Сколько я на него смотрю, хочется попробовать, а сыкотно. Да и вообще понимаю что Linux Containers значительно лучше полных виртуалок, разделяемая оператива и ядро с его дисковым кешом, это круто

[LuchS-lynx]

Так берите и пробуйте. Глаза боятся, а руки делают ;) начинал с ПК в 2019-м, перевел рабочую ОС с софтом с хоста в виртуалку, год на ноутбуке использую - полет нормальный.

[Aquahawk]

у меня с 2019 сервер без проблем на железе живёт, работает и есть не просит, железо вот сдохло, пришлось побегать за заменой.

[Bessome]

Надо не пробовать, а переводить свой прод. Продукт достойный внимания, и это как минимум

[13werwolf13]

Да и вообще понимаю что Linux Containers значительно лучше полных виртуалок

всё зависит от задач. действительно зачастую lxc контейнер больше подходит для выполнения задачи чем полноценная виртуалка, но есть и исключения (самое очевидное это НЕ linux based ос в качестве "гостя", или необзодимость внутри "гостя" играться с разными ядрами и/или ядерными модулями)

Сколько я на него смотрю, хочется попробовать, а сыкотно.

попробуйте lxd, очень шустрый и удобный инструмент позволяющий в одну команду получить за пару секунд рабочий lxc контейнер или виртуалку, в чём-то даже поинтереснее чем proxmox, из недостатков - отсутствие какой либо штатной вебморды (хотя емнип на гитхабе видел сторонние вебморды для него). из плюсов - ставится на любой ваш дистрибутив и в случае если не понравится так же легко удаляется (в отличии от проксмокса который сам является дистрибутивом, и в случае с установкой на чистый дебиан знатно так его перепахивающий вдоль и поперёк), а так же дополнительные фичи вроде портфорвардинга и выполнения команд внутри контейнера/вм без входа в её интерактиный шелл.

[isden]

На седьмой все еще остался глюк с grub.cfg, когда в root=ZFS=... не пишется имя пула.
Приходится руками править после манипуляций с грабом.
Починено емнип пару лет назад в убунте, до дебиана/проксмокса видимо никак не доберется.

[Mirzapch]

dd if=/dev/nvmes0n1 of=/backup

Так можно делать? У вас источник - раздел диска, приёмник - каталог.

Если хотим записать образ в файл, нужно явно указать имя файла. Если хотим переписать физические секторы с одного раздела на другой, то приёмник не нужно никуда монтировать.

UPD. Перепроверил. dd не даёт выполнить команду, потому что "failed to open'~/tmpdir': Is a directory".

[IDDQDesnik]

.

[Bessome]

Спасибо, подкорректирую, не указал имя файла

[Johan_Palych]

Просто надо почитать:

https://wiki.archlinux.org/title/Dd_(Русский)
Клонирование всего диска
Копирование физического диска /dev/sda в диск /dev/sdb:
# dd if=/dev/sda of=/dev/sdb bs=64K conv=noerror,sync status=progress

[Bessome]

Спасибо, да, можно с ключами и прогрессом.

Это бекап всего диска, а в статье и комментариях разговор зашел за бекап gpt/mbr.

Не вижу смысла выкладывать прогресс и ключи для записи около 1500 байт. Если уж на диске сбой, то тут ключ noerror не нужен, нужна правда.

[Bessome]

"failed to open'~/tmpdir': Is a directory".

Это что-то у Вас с пользовательскими настройками tmpdir

Сейчас идет дамп диска web-сервера. Ошибок нет, вообще пустой вывод

[Mirzapch]

Что, простите? Вам символ "~" ни на что не намекнул?

[Bessome]

Я понял, что Вы создали временную директорию tempdir в каталоге пользователя и пытались писать туда вывод dd.
Выше отписался, что поправил вывод команды в статье

Еще раз огромное спасибо за толковый комментарий

[polar_yogi]

efi-boot debian, который необходимо установить в загрузочный раздел с типом ext2, в дальнейшем монтируемый в /boot/efi.

В статье (12 года) ext2 не упоминается, естественно, потому что efi форматируется в fat32

Начал подозревать

Имеет смысл разобраться в каком режиме (efi/bios) у вас происходит загрузка, и в зависимости от этого действия по восстановлению загрузчика будут отличаться.

[Bessome]

У меня EFI в формате ext3 - диск /dev/nvmes0n1p2

Формат дисков определил lsblk и fsck -l /dev/<имя диска>

[polar_yogi]

можете показать вывод
fdisk -l /dev/nvmes0n1
и
efibootmgr
?

[Bessome]

Уж пардон, не правлено, на работающем

И

Убедили, vfat раздел. Что с ним было ранее, непонятно, видимо были проблемы именно с ФС разделов?

[polar_yogi]

Да я как бы не пытаюсь убедить, есть спецификация EFI, которая говорит что ФС должна быть FAT32, FAT16 или FAT12 в заивисмости от размера.
Еще момент - у efi раздела должен быть соответствующий тип (не тип файловой системы, а тип раздела), у вас его нигде не видно, поэтому я просил вывод fdisk -l /dev/nvme0n1, но его нет.
Вывод fsck я вроде не спрашивал.

[Bessome]

Спасибо, Ваш комментарий был важен в плане статьи.

Даю скриншот вывода fdisk/gdisk.Данный скриншот уже был мною добавлен, по крайней мере я был в этом уверен.

[werter_l]

Спасибо )

> Недавно, после установки драйверов видеокарты NVIDIA для XFCE4 на Proxmox 7.xx

Вот тут понял (

Вы устанавливаете DE прямо на PVE??

1 Если да, то не надо так делать. Никогда. PVE - это прежде всего гипервизор и ему DE нужно как 5-я нога зайцу.

2 Пользуйте zfs - отличная и оч надежная ФС (+ сжатие на лету, снепшоты etc).

Сказки про "жрущую" ОЗУ zfs не слушайте - размер zfs arc гибко настраивается. Плюс l2arc можно в виде ssd прикрутить для скорости.

Цикл заметок про pve, zfs etc https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/

[Bessome]

Устанавливаю для следующей статьи, хочу полноценно использовать видеокарту для отображения Windows. Экспериментировал с пробросом видяхи в виртуалку, пока безуспешно.

Необходимо было убедиться в работоспособности режима IOMMU и накатить драйверы Nvidia - vgpu и nvidia-grid и протестировать работу. Рассчитывал на вывод содержимого виртуальной машины напрямую на выход видеокарты, подключенной к монитору вместо консоли Proxmox.

Пока безуспешно, только один раз виртуалка с Windows взлетела, пока оставил в связи с загрузкой другими задачами

В итоге есть решение: SPICE в XFCE4 для доступа к Windows из консоли сервера.

Это лабораторная работа, в прод не пойдет и не будет рекомендована

[werter_l]

1 Passthrough gpu proxmox в гугле. Прям на 1-й странице будет решение.

Gpu можно пробрасывать в lxc. И докер тоже умеет пользовать gpu - в офиц доке jellyfin-а есть как. А с недавних пор можно и multigpu на нек-ых картах, т.е. проброс одной карты сразу в неск-ко ВМ.

2 >Рассчитывал на вывод содержимого виртуальной машины напрямую на выход видеокарты, подключенной к монитору вместо консоли Proxmox.

п. 1 + vga = none в настройках ВМ ПОСЛЕ установки драйверов ВК в ВМ.

Хорошее подспорье по pve - это его офиц. форум + ветка на реддите.

[Bessome]

Да, действительно, материалов много. Но у меня пока не заработало. Видеокарта "заглушка" Nvidia 210, которая без кулера. Скоро Radeon приедет, поинтереснее. Так что материал со сравнением будет

[werter_l]

Тут поищите еще https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/

[isden]

Вы устанавливаете DE прямо на PVE??
не надо так делать

Почему?
У меня lxde и таки сабжевый драйвер nvidia — все норм уже несколько лет.
Proxmox — это набор софта и чуть патчей на ядро. В остальном это обычный дебиан (я, кстати, так и ставил — руками разбил диск как мне надо, накатил дебиан с рутом на ZFS и поверху накатил proxmox). Примерно +- так же можно было навернуть какой-нибудь kubernetes.

[werter_l]

*Картинка с троллейбусом из буханки.jpg*

1 Не куча патчей на ядро. Ядро у pve убунтовское с поддержкой zfs etc.

2 Установка на zfs поддерживается ИЗ КОРОБКИ еще с 5-й версии. Зачем колхозить - я хз.

3 Pve - это гипервизор 1-го типа (kvm под капотом). Его главная задача - виртуализация и DE ему как "антикрыло" на "тюнингованном" ВАЗ-2106. Видимо виртуализацией вы занимаетесь не по долгу службы.

4 Надо кубер - ставьте в ВМ \ lxc и крутите там. Сам хост - не трогать. Это вам и на офиц форуме и в ветке на реддите скажут.

[isden]

1 Не куча патчей на ядро. Ядро у pve убунтовское с поддержкой zfs etc.

Я где-то на форумах у них читал что таки патчат что-то. Глубоко не копал, да.

2 Установка на zfs поддерживается ИЗ КОРОБКИ еще с 5-й версии. Зачем колхозить — я хз.

Ну например, чтобы сделать так как мне удобно?

3 Pve — это гипервизор 1-го типа (kvm под капотом). Его главная задача — виртуализация и DE ему как "антикрыло" на "тюнингованном" ВАЗ-2106.

KVM — это не какой-то отдельный гипервизор, он уже встроен в ядро. Я точно так же на любом (ну почти) дистре линукса могу запускать виртмашины в kvm и контейнеры lxc.
Есть там DE или нет — глубоко фиолетово.

4 Надо кубер — ставьте в ВМ \ lxc и крутите там. Сам хост — не трогать. Это вам и на офиц форуме и в ветке на реддите скажут.

Я знаю. Игрался со свормом на пачке lxc.
Но опять же повторюсь — это все штатные функции ядра.

[werter_l]

> Ну например, чтобы сделать так как мне удобно?

Удобно что? Вы до это про zfs написали - я и ответил, что оно УЖЕ есть в iso прокса. Просто берем флешку + ventoy + iso pve и вперед.

Есть там DE или нет — глубоко фиолетово.

Фиолетово, если это дома. Если это в проде в конторе, то DE - это лишняя дырка в одном месте.

Пользую метод РАЗУМНОЙ достаточности. Во всем.

Надо DE- тот же vbox в помощь.

Зы. Кстати, недавно как раз правил такой "колхоз" в одной конторе.

"Сисьадмин" местный ставил сперва деб с de, а после накатывал pve. Зачем - хз. Видимо после ЕГЭ еще не отошел :)

[isden]

Удобно что? Вы до это про zfs написали — я и ответил, что оно УЖЕ есть в iso прокса. Просто берем флешку + ventoy + iso pve и вперед.

Удобно — создать пулы как мне нужно, раскатать заранее подготовленную рутфс дебиана с минимальными настройками и накатить поверх проксмокс. Пять минут магии и все готово.
Выкачивать еще один iso и раскуривать как правильно его поставить — как-то не привлекает.

Фиолетово, если это дома. Если это в проде в конторе, то DE — это лишняя дырка в одном месте.

А я где-то про прод говорил? Это мой хоумлаб (в сабжевом посте вроде как тоже).
На любом серваке в проде DE нужна в очень редких случаях, проксмокс тут не исключение.
Вы же мне начали тут про каких-то анонимусов с реддита и "низя-низя ваще".

Зы

А я как-то общался с "матерым" сисьадмином, который работал в крутой конторе (и имел список контор до этого). Он не знал элементарные вещи, на вопросы отвечал довольно странно и не понимал почему надо так а не иначе, и не хотел думать. Спрашиваешь "а почему" — ответ "ну вон на форуме так пишут".

[werter_l]

>Вы же мне начали тут про каких-то анонимусов с реддита и "низя-низя ваще".

Откройте оф доку прокса и офиц. форум. Там у пишущих есть статус. У нек-ых есть статус офиц. разработчика. Задайте им этот вопрос. Ответ запостите тут.

> А я как-то общался с "матерым" сисьадмином, который работал в крутой конторе

Ок. Спросите у более компетентных нужен ли DE на сервере конкретно в вашем случае.

И нужно ли колхозить с разметкой дисков тоже.

> Выкачивать еще один iso и раскуривать как правильно его поставить — как-то не привлекает.

Ахах ) Скачать iso прокса и набрать ventoy в гугле - это верх "сложности".

Штош, тогда не удивительны и все остальные "измышления".

[isden]

Предоставьте ссылку на офф. док., где запрещается использовать DE на системе с проксмокс.
Или внятно расскажите почему это нельзя делать.

Штош, тогда не удивительны и все остальные "измышления".

Ну да, "next->next->ok" по советам с SO. Знакомо, видел таких.

[werter_l]

Про запрещается я и не писал.

Оно можно и пальцы в розетки совать и микроскопом гвозди бить.

Нравится - вперед.

Вопрос в целесообразности остается открытым.

> Знакомо, видел таких.

Вам в основном попадаются те, кто похож на вас ) Бывает.

[isden]

А, ну да. Когда нечего сказать по делу, начинается переход на личности.

[werter_l]

По делу ответил.

Даже про ventoy подсказал. Про к-ый вы не в курсе были. Пользуйте, он оч классный.

Я не считаю себя умнее разрабов pve. Ребята предлагают удобный способ развертывания их ПО из .iso. Его и пользую.И всем рекомендую.

Развертывание же pve руками поверх дебиана (и с DE с какого-то перепугу) - случай особенный. Его пользуют там, где нет возможности развернуть из .iso (встречал в hetzner и подобных, но и там есть вариант с через qemu c vnc с .iso установить). В вашем случае такая возможность имеется.

Про ваш "колхоз" мне больше сказать нечего - выше все уже сказал.

Какую пользу вынести из ваших ответов? Никакую.

[isden]

Я не считаю себя умнее разрабов pve. Ребята предлагают удобный способ развертывания их ПО из .iso. Его и пользую.И всем рекомендую.

Внезапно:

In some cases it makes sense to install Proxmox VE on top of a running Debian Bullseye 64-bit, especially if you want a custom partition layout.

https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_11_Bullseye

встречал в hetzner и подобных, но и там есть вариант с через qemu c vnc с .iso установить

В хетцнере можно custom iso, делал и так тоже.
Qemu с пробросом vnc через ssh тоже в принципе норм вариант, но развлечение на любителя (или на случай восстановления/развертывания системы с хитровывернутой загрузкой).

Про ваш "колхоз" мне больше сказать нечего — выше все уже сказал.

Про колхоз я не буду комментировать, возможно вам не хватает опыта продумать цели и варианты.

Ну и я повторяю свой вопрос — вы можете технически обосновать ваше утверждение про DE?

Если да, то не надо так делать. Никогда.

[Vasily_Pechersky]

У меня в проде 16 нодовый кластер. 5 лет, 3 апгрэйда версий.

[werter_l]

А что у вас в кач-ве общего хранилища?

[Bessome]

На данный момент у меня один hdd 3Tb WD Green, на котором раздел для VM с Synology (изначально были ограничения ОЗУ на машине в облаке). Это был большой переезд из облака, через копирование дисков. Там был 1Tб вируальный, тут 3. Создал кластер proxmox home + proxmox cloud, перетащил виртуальную машину. Добавил еще 1Tb виртуального места, слил диски в консоли Synology.

В дальнейших планах приобретение малошумного Intel Pentium Gold с установкой туда Freenas на PCI RAID контроллере для NVME. А WD Green 3tb вернуть в NAS WD Live book.

[Vasily_Pechersky]

iSCSI хранилка Reduxio (малоизвестная вещь). Была ещё SAS хранилка Dell md3420. Ну и ещё 2 FreeNAS сервака (12х3 тб) под хранение ёмких данных.
Были ещё 2 деплоя с ceph проработали один 5 лет, второй 6 но они пали жертвами политики.
Их первоначальная цель была — низкая цена.

Плюс ProxMox Bacup Server — очень годная вещь. Возможности — см на сайте. В практике — бэкап нагруженного терминальника (инкрементальный) посреди дня почти не чувствуется и длится 5-10 мин.
Остальные фишки, как дедупликация тоже работают отлично.

[werter_l]

Да, pbs - супер )
У них еще и pmg есть - это почтовый шлюз. Тоже пользуем.
А недавно вышел pom - proxmox offline mirror.

[werter_l]

Кстати, у pve есть и zfs-репликация, если ceph слишком избыточен или нет общего хранилища.