Комментарии 21
Что странно, так то что не реализовали в виде пары кнопок в самом Proxmox
Видеокарту намного интересанее делить, а не пробрасывать всю
И что самое печальное, так это то что современные деления не реализованы толком в ядре Linux, но можно найти решения с модулями ядра
https://www.michaelstinkerings.org/gpu-virtualization-with-intel-12th-gen-igpu-uhd-730/
Видеокарту намного интересанее делить, а не пробрасывать всю
Зависит от задач. На сколько знаю поделить игровую видеокарту от Nvidia можно по RTX2000-ю линейку. Выше, пока (?), никак.
И что самое печальное, так это то что современные деления не реализованы толком в ядре Linux, но можно найти решения с модулями ядра
Я сварщик ненастоящий, но, возможно, это как-то связано с лицензиями/правами и прочей проприетарщиной?
Да, выше никак, т.к. в RTX 3xxx и выше изменили в целом принцип работы виртуализации.
К слову, про "разбивку" игровых видеокарт - есть актуальный репозиторий https://github.com/mbilker/vgpu_unlock-rs
а есть вариант объединения мощностей нескольких видеокарт под управлением того же линукса? Например, есть три 1060, объединив которые можно получить виртуальную видеокарту уровня 2070, то есть виртуальный SLI. Ведь сейчас объединение видях используют для тренировки нейронок, то есть нвидиа сама предоставляет инструменты для этого. Например, https://www.youtube.com/watch?v=9MigSbQ7AQk
Есть огромная разница в механизме тренировки нейронок и рендеринга игр.
Обучение нейронок - задача которую очень легко распараллелить и которая некритична к задержкам, в то время как игры - очень критичны к задержкам. Да, рендеринг хорошо параллелится, но от SLI как раз отказались из-за того что он ( SLI ) не даёт прибавки х(количество видеокарт), и в некоторых случаях может даже замедлять рендеринг.
Статья получилась отличная, вы проделали очень большую и полезную работу. Спасибо! Плюсанул!
пару недель назад пробовал настраивать это дело на базе Ryzen 7950x3d и Radeon 7800XT, довольно нестабильная система, то работает, то перегружает систему, иногда после перезагрузки ядро вообще не видит дискретную видеокарту (только интегрированную), что довольно странно, возможно, это связано с неидеальным биосом..
пробовал запускать CSGO 2, но все выглядело совсем печально на мониторе в 4к fps был на порядок меньше, и все жутко тормозило.. как прикуплю еще диск, то продолжу эксперименты..
Есть сведения о том что проброс 7000й линейки видеокарт от АМД проблемен, что касается 7000-й линейки ЦП, то у меня все работает стабильно на AsRock B650m PG Riptide с GTX1070 + Ryzen 9 7900X, 1.5 месяца - полет нормальный.
1) У меня причиной радикального ухудшения fps в виртуальной машине по сравнению с реальным железом было мало ядер ЦП. Когда количество выделенных ядер для виртуальной машины увеличил, проблема ушла.
2) У меня причиной выключения машины был перегрев процессора. Оказалось, что на реальном железе он грелся до верхней границы, но хватало и отключений не было. А вот гипервизор+виртуалка уже иногда нагревали до перезагрузки. Помогло урезание питания процессору в БИОСе.
Но у меня всё другое: AMD Ryzen 5 7600X , Geforce RTX 4070 Ti , а гонял танчики на максималках. Уже больше полгода - полет нормальный.
sockets: 1, всегда, если Вы не знаете зачем Вам больше и как это работает.
это количество сокетов процессора на материнской плате
В копилку. Заводил PCI-E passthrough для RX 580 на плате Asus TUF Gaming B650M-PLUS, проц 7900x, IOMMU группы изначально были расположены как надо. Столкнулся лишь с одной микропроблемой - при добавлении/удалении дискретеой видеокарты, происходит смещение pcie bus адреса wifi-адаптера. Кстати VSoc удалось установить 1.02в, система работает абсолютно стабильно.
Добавлю. Чем ниже напряжение, тем лучше. Не бойтесь его понижать.
Справедливо как для VSoC, так и для VCore.
Потребление энергии (в ваттах) при увеличении напряжения на модули процессора возрастает нелинейно. Больше ватт выделяется -> больше температура процессора -> больше токи утечки -> больше шанс отказа процессора. В общем-то, актуально не только для процессора, но и для ОЗУ и других компонентов.
Для проверки стабильности лично я использую y-cruncher. Прогона всех вариантов тестов в режиме 1 "Component Stress Tester" в течение пары часов (лучше больше, конечно) обычно хватает чтобы удостовериться в том, что проблем в эксплуатации не будет.
Столкнулся лишь с одной микропроблемой - при добавлении/удалении дискретеой видеокарты, происходит смещение pcie bus адреса wifi-адаптера.
чтобы интерфейс wifi не переименовывался (при таком смещении устройств), можно установить iwd пакет, в сервисах выключить использование wpa_supplicant и включить iwd, тогда интерфейс wifi устройства всегда будет wlan0
Ересь. Установка DE в Proxmox
облегченная версия KDE:
apt-get install kde-plasma-desktop plasma-nm chromium
Proxmox VE использует ifupdown2 и /etc/network/interfaces(systemctl status networking) для bond, vlans or routed and NAT setups.
После такой установки будет конфликт с NetworkManager.service и веселуха с sleep.target suspend.target hibernate.target hybrid-sleep.target
https://pve.proxmox.com/wiki/Network_Configuration
Собственно потому и ересь, что делать такое надо аккуратно. Хотя есть вариант с установкой Proxmox поверх настроенного Debian.
Указанных проблем с сеткой не имею, т.к. в DE тупо не лезу в настройки локальной сети, соответственно все работает без проблем, разве что Plasma не показывает статус подключения к сети, но при этом все работает. Если аккуратно работать с файлом
/etc/network/interfaces, то можно еще на ноутбуке/мат.плате/USB-свистке WiFi настроить уже через DE без конфликтов с LAN
Спасибо )
nano /etc/default/grub
Для efi править не там , а добавлять в конец /etc/kernel/cmdline, предварительно сделав бэкап - cp -fv /etc/kernel/cmdline{,.bak}
И далее:
proxmox-boot-tool refresh
У меня это в скрипте реализовано так:
if efibootmgr -v | grep -iq 'not support'; then
правка grub
else
правка /etc/kernel/cmdline
fi
P.s. Собираю заметки по работе с proxmox, zfs etc - https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
P.p.s Для тех , кому надо vgpu на обычных картах от nvidia:
https://www.reddit.com/r/Proxmox/comments/18ze1t3/best_gpu_with_vgpu_to_use_in_multiple_vms/
https://wvthoog.nl/proxmox-vgpu-v3/
https://gitlab.com/polloloco/vgpu-proxmox
Можно еще поискать на барахолках карты для майнинга и завести как игровые https://github.com/dartraiden/NVIDIA-patcher
https://mysku.club/blog/taobao/70663.html
p104-100 как и p106-090 имеют 4 линии. p102-100 и p106-100 карты которые с завода 16 линий
P106-090 — похожа на GTX 1050 Ti, имеет более широкую шину памяти, большие частоты, но всего 3 гигабайта памяти.
P104-100 — разогнанная GTX 1070 с урезанным вдвое объёмом памяти.
P104-101 — копия GTX 1080.
P102-100 — урезанная версия GTX 1080 Ti с 5 ГБ памяти.
P102-101 — то же самое, но уже с 10 ГБ памяти.
Нужно понимать, что чем мощнее карта, тем больше она будет упираться в шину. Обратите внимание, встречаются карты с шиной, урезанной до PCI-E 1.1 x4! Например, P104-100 производства Gigabyte и P106-90 производства Zotac. Это очень бьёт по производительности.
На всякий случай, привожу идентификаторы этих карт (драйверы модифицируются аналогично):
1C09 = «NVIDIA P106-090»
1B87 = «NVIDIA P104-100»
1BC7 = «NVIDIA P104-101»
Костыли... Скажем, разбудить гостевую ОС мышью/клавиатурой можно? Или даже это не выйдет?
у меня вывод из сна не получился, я отключаю сон и настраиваю только отключение дисплея по таймеру неактивности. Собственно тут проблем нет. Если уйти в сон принудительно, то гипервизор показывает что ВМ работает, в то время как она находится в режиме сна. Выход из него получается через принудительный рестарт виртуалки или стоп-старт.
И это известный баг? Или эээ... "и так сойдет"? Пробежался по форуму proxmox, такое впечатление, что там ничего нормально не работает (как только речь не идет о headless linux guests).
И это известный баг? Или эээ... "и так сойдет"?
если в виртуалку не проброшено оборудование, то работает Hibernate (suspend to disk) из веб-интерфейса Proxmox или через команду в консоли qm suspend с параметрами https://900913.ru/tldr/linux/en/qm-suspend/
В случае если мы пробрасываем оборудование, например видеокарту в виртуалку, начинаются проблемы, т.к. сам Proxmox теряет к такому оборудованию доступ, после старта соответствующей настроенной виртуалки, и не может им управлять, таким оборудованием начинает управлять виртуальная машина, через прослойку vfio. Собственно, на мой взгляд, в этом и кроется невозможность работоспособности некоторых функций, таких как сон/гибернация и выход из них самой виртуалки.
Пробежался по форуму proxmox, такое впечатление, что там ничего нормально не работает (как только речь не идет о headless linux guests).
ИМХО, это однобокий взгляд на проблему. Сами виртуалки работают без проблем, при условии что оборудование поддерживает необходимый функционал, и его можно настроить нормально. Однако виртуализация имеет и свои ограничения, как например вопрос с выходом из сна при проброшенной ВК в ВМ. Лично я этим не пользуюсь и имеющийся функционал меня полностью устраивает, т.е. игры идут, ключи/токены защищают и подписывают, CAD'ы тоже работают. Т.е. нельзя сказать что "ничего не работает нормально", очень много чего как раз работает замечательно.
Proxmox 8. Настраиваем проброс видеокарты (GPU Passthrough). Выбор материнской платы на AM5 сокете