У меня получилось на официальном драйвере 582.53 от NVIDIA перевести tesla v100 в режим WDDM под windows 11. Работает стабильно, правда установка была с некоторыми костылями. Может кому-нибудь будет полезно https://habr.com/ru/posts/1042620/
Локальные языковые модели не могут генерировать растровое изображение, только простые векторные, например в формате svg. Для генерации растровых изображений я использую portable версию ComfyUI, которая работает с версией CUDA 12.6. В модели stable diffusion 1.5 растровые изображения генерируются быстро, базовый шаблон "бутылки с космосом" с настройками по умолчанию примерно за 2-3 секунды. Более подробно тема работы в ComfyUI на Tesla V100 разобрана в видео на ютубе: канал "Этот Компьютер" - запуск нейросетей локально.
FP64 насколько я понимаю применяется в научных расчетах. NVIDIA в современных архитектурах сосредоточена на увеличении вычислительной мощности в FP4, FP8 и FP16, которые используются в современных нейросетях, при этом жертвуя производительностью в FP64.
Изменить TDP можно командой nvidia-smi -pl "значение в Вт". На tesla V100 не получается увеличить power limit выше 300 Вт. Возможно на Titan V получится выставить больше 250, так как судя по данным VBIOS - limit tdp 300 w.
Понятно, у Tesla V100 только 1 уровень производительности. Я еще пробовал увеличивать частоту ядер Tesla V100 в MSI Afterburner - не работает. Titan V как и многие видеокарты nvidia можно подразогнать. В моем обзоре у Titan V частота буста ядер указана в режиме по умолчанию. Смущает только то, что на скриншоте в NVIDIA Settings нет частоты буста 1455 Мгц как указано в моей таблице.
Чтобы скачать драйвер вставляем в строку URL - https://storage.googleapis.com/nvidia-drivers-us-public/GRID/<Имя файла>
Например, https://storage.googleapis.com/nvidia-drivers-us-public/GRID/vGPU19.4/582.16_grid_win10_win11_server2022_server2025_dch_64bit_international.exe
Что касается канала Кибер Кузница, то там сначала установили оф драйвер для tesla v100 (v.566.03) с сайта nvidia и попытались через терминал винды (cmd) перевести ее в режим WDDM командой nvidia-smi -g 0 -dm 0. Появилась ошибка, так как оф драйвер от nvidia не поддерживает режим WDDM. Потом они скачали самый свежий серверный (grid) драйвер от google. Открыли установщик драйвера архиватором и распаковали содержимое в папку. Потом зашли в диспетчер устройств и установили драйвер вручную, указав папку в которую распаковали содержимое дистрибутива драйвера. Потом снова открыли cmd и командой nvidia-smi -g 0 -dm 0 успешно активировали режим WDDM. Мне например, не нужно было активировать режим WDDM командой в терминале, так как драйвер от google устанавливается в этом режиме по умолчанию. Как я писал выше на моем ПК эта методика больше не работает. Вернулся на grid драйвер от google версии 553.74. Устанавливал его через инсталятор (без распаковки и ручной установки) и он тоже по умолчанию работает в режиме WDDM.
У меня получалось устанавливать последнюю версию драйвера таким способом и система стабильно работала, но после одного из недавних обновлений Windows 11 - пк перезагрузился и тесла перестала определяться в системе. Теперь если удалить драйвер и повторно установить по этой методике последнюю версию, драйвер работает пока не перезагрузишь или выключишь/включишь пк. С версией 553.74 проблем нет.
Спасибо Вам за обзор на ютубе! Смотрел Ваш обзор и у Мой компьютер c "турбированной" версией Tesla V100. В итоге отказался потому что многие жаловались на сильный шум и высокие температуры. У RTX 4090 огромный радиатор с тепловыми трубками и три вертушки, поэтому с охлаждением нет проблем. Но зато версия с турбиной тоньше моей раза в два, и скорее всего я бы не столкнулся с проблемой перекрытия слотов PCI-E на материнской плате.
Да, это старый серверный ускоритель из далекого 2017 года. Однако на нем можно запускать небольшие современные модели ИИ. На huggingface большой выбор квантованных GGUF моделей с эмуляцией 16 бит (FP16), которые без проблем запускаются в lmstudio. Главная проблема на мой взгляд в недостатке памяти - 16 Гб мало, а использование RAM сильно замедляет работу модели ИИ.
Tesla V100 вместе с корпусом от RTX 4090 в сборе обошлась примерно в 15 тр, она и пришла в коробке от RTX 4090. Проблема PCI-E версии Tesla V100 в пассивной системе охлаждения и перегреве в рабочих задачах и играх из-за чего происходит сброс частот и падение производительности. Видел в продаже небольшие турбины для них, но пользователи пишут, что они малоэффективны и издают неприятный свист. Tesla V100 на 32 Гб стоит кратно дороже, хотя для запуска и работы с ИИ выглядит предпочтительнее. По моделям ИИ, которые можно на ней запустить напишу отдельный обзор. На ютубе есть видео с тестами Tesla V100 в работе с ИИ.
Информация
В рейтинге
944-й
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
У меня получилось на официальном драйвере 582.53 от NVIDIA перевести tesla v100 в режим WDDM под windows 11. Работает стабильно, правда установка была с некоторыми костылями. Может кому-нибудь будет полезно https://habr.com/ru/posts/1042620/
Попробовал Z-Image turbo в ComfyUI. Да, изображение по тексту намного качественнее генерируется, чем в SD1.5. Спасибо за информацию.
Локальные языковые модели не могут генерировать растровое изображение, только простые векторные, например в формате svg. Для генерации растровых изображений я использую portable версию ComfyUI, которая работает с версией CUDA 12.6. В модели stable diffusion 1.5 растровые изображения генерируются быстро, базовый шаблон "бутылки с космосом" с настройками по умолчанию примерно за 2-3 секунды. Более подробно тема работы в ComfyUI на Tesla V100 разобрана в видео на ютубе: канал "Этот Компьютер" - запуск нейросетей локально.
FP64 насколько я понимаю применяется в научных расчетах. NVIDIA в современных архитектурах сосредоточена на увеличении вычислительной мощности в FP4, FP8 и FP16, которые используются в современных нейросетях, при этом жертвуя производительностью в FP64.
Третья часть в процессе, в эти выходные постараюсь выпустить.
Можно запустить тот же furmark и проверить энергопотребление. Лишь бы система охлаждения справилась.
Изменить TDP можно командой nvidia-smi -pl "значение в Вт". На tesla V100 не получается увеличить power limit выше 300 Вт. Возможно на Titan V получится выставить больше 250, так как судя по данным VBIOS - limit tdp 300 w.
Понятно, у Tesla V100 только 1 уровень производительности. Я еще пробовал увеличивать частоту ядер Tesla V100 в MSI Afterburner - не работает. Titan V как и многие видеокарты nvidia можно подразогнать. В моем обзоре у Titan V частота буста ядер указана в режиме по умолчанию. Смущает только то, что на скриншоте в NVIDIA Settings нет частоты буста 1455 Мгц как указано в моей таблице.
Согласен. По крайней мере я не нашел решение лучше за свою стоимость, которое подойдет и для запуска LLM и для игр.
Норм, примерно также как у меня.
По тестам в 3D Mark Tesla V100 ближе к RTX 2080 Ti.
Серверные (grid) драйверы от google поддерживают режим WDDM.
https://docs.cloud.google.com/compute/docs/gpus/grid-drivers-table
Чтобы скачать драйвер вставляем в строку URL - https://storage.googleapis.com/nvidia-drivers-us-public/GRID/<Имя файла>
Например, https://storage.googleapis.com/nvidia-drivers-us-public/GRID/vGPU19.4/582.16_grid_win10_win11_server2022_server2025_dch_64bit_international.exe
Что касается канала Кибер Кузница, то там сначала установили оф драйвер для tesla v100 (v.566.03) с сайта nvidia и попытались через терминал винды (cmd) перевести ее в режим WDDM командой nvidia-smi -g 0 -dm 0. Появилась ошибка, так как оф драйвер от nvidia не поддерживает режим WDDM. Потом они скачали самый свежий серверный (grid) драйвер от google. Открыли установщик драйвера архиватором и распаковали содержимое в папку. Потом зашли в диспетчер устройств и установили драйвер вручную, указав папку в которую распаковали содержимое дистрибутива драйвера. Потом снова открыли cmd и командой nvidia-smi -g 0 -dm 0 успешно активировали режим WDDM. Мне например, не нужно было активировать режим WDDM командой в терминале, так как драйвер от google устанавливается в этом режиме по умолчанию. Как я писал выше на моем ПК эта методика больше не работает. Вернулся на grid драйвер от google версии 553.74. Устанавливал его через инсталятор (без распаковки и ручной установки) и он тоже по умолчанию работает в режиме WDDM.
У меня получалось устанавливать последнюю версию драйвера таким способом и система стабильно работала, но после одного из недавних обновлений Windows 11 - пк перезагрузился и тесла перестала определяться в системе. Теперь если удалить драйвер и повторно установить по этой методике последнюю версию, драйвер работает пока не перезагрузишь или выключишь/включишь пк. С версией 553.74 проблем нет.
Поправил, спасибо!
Самая мощная видеокарта того времени. Tesla V100 и Quadro GV100 все-таки для других задач.
Спасибо Вам за обзор на ютубе! Смотрел Ваш обзор и у Мой компьютер c "турбированной" версией Tesla V100. В итоге отказался потому что многие жаловались на сильный шум и высокие температуры. У RTX 4090 огромный радиатор с тепловыми трубками и три вертушки, поэтому с охлаждением нет проблем. Но зато версия с турбиной тоньше моей раза в два, и скорее всего я бы не столкнулся с проблемой перекрытия слотов PCI-E на материнской плате.
Да, это старый серверный ускоритель из далекого 2017 года. Однако на нем можно запускать небольшие современные модели ИИ. На huggingface большой выбор квантованных GGUF моделей с эмуляцией 16 бит (FP16), которые без проблем запускаются в lmstudio. Главная проблема на мой взгляд в недостатке памяти - 16 Гб мало, а использование RAM сильно замедляет работу модели ИИ.
Tesla V100 вместе с корпусом от RTX 4090 в сборе обошлась примерно в 15 тр, она и пришла в коробке от RTX 4090. Проблема PCI-E версии Tesla V100 в пассивной системе охлаждения и перегреве в рабочих задачах и играх из-за чего происходит сброс частот и падение производительности. Видел в продаже небольшие турбины для них, но пользователи пишут, что они малоэффективны и издают неприятный свист. Tesla V100 на 32 Гб стоит кратно дороже, хотя для запуска и работы с ИИ выглядит предпочтительнее. По моделям ИИ, которые можно на ней запустить напишу отдельный обзор. На ютубе есть видео с тестами Tesla V100 в работе с ИИ.