Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Железо и гаджеты доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 8
Это старое железо на хабе антиквариат даёт прикурить любому новому.
Гоняю v100s на cuda в fp64 раза в полтора только слабее h100. Чистая геометрическая математика, не ии, но какая разница под капотом ии тот же самый cuda.
При этом в чистую уделывает 5090
FP64 насколько я понимаю применяется в научных расчетах. NVIDIA в современных архитектурах сосредоточена на увеличении вычислительной мощности в FP4, FP8 и FP16, которые используются в современных нейросетях, при этом жертвуя производительностью в FP64.
А если у меня GTX 2080 Super и 12 котлов, я смогу завести своего маленького друга без фильтров? ;)
Спасибо, познавательно. А не пробовали вы запускать что-то графическое, типа stable diffusion? Мне собсно хочется заюзать это для ретуши фото и генерации изображений... Или локальные языковые модели это тоже позволяют?
Локальные языковые модели не могут генерировать растровое изображение, только простые векторные, например в формате svg. Для генерации растровых изображений я использую portable версию ComfyUI, которая работает с версией CUDA 12.6. В модели stable diffusion 1.5 растровые изображения генерируются быстро, базовый шаблон "бутылки с космосом" с настройками по умолчанию примерно за 2-3 секунды. Более подробно тема работы в ComfyUI на Tesla V100 разобрана в видео на ютубе: канал "Этот Компьютер" - запуск нейросетей локально.
SD 1.5 это уже каменный век по меркам картинкогенераторов. Современные локальные модели уже приспособили LLM в качестве текстовых энкодеров, например те же Anima и Z-Image Turbo используют Qwen3-0.6B и Qwen3-4B для этого соответственно.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 3 — Запуск локальных моделей ИИ