Комментарии 78
Только это мало кому поможет, flosr32,16 мало кто будет использовать из-за малого объема памяти. Но в отдельных случаях помочь может.
Теперь эти карточки станут ещё дороже
...Также решение позволяет почти на 60% ускорить генерацию картинок и видео на локальных моделях...
Попробовал. На RTX3050 на "Qwen Image Edit" ускорение на 70%, на "Minimax_H3" на 50%.
По мнению экспертов отрасли, в компании это делают намеренно, чтобы на игровых видеокартах нельзя было эффективно запускать и тренировать ИИ.
Бедные геймеры, то криптаны стоимость карт в космос поднимали, теперь ии… Кстати, сейчас понял, что что-то я в последние несколько лет ничего про майнинг не слышу )
Так на видекартах отрубили майнинг давно, словно по графику: тут майнеры, тут ии.
Тем не менее, майнеры нашли новую монету, и началась очередная волна обострения на фоне и без того высоких цен. А еще ирония в том, что Pearl по факту является сетью для инференса ИИ. Джекпот блин.
Pearl это что?
Новая монета вроде. Майнится на видеокартах. Сейчас около 2$ стоит. 5070 около 5$ в день дает. Ну, так мне сотрудник говорит у которого 10 карт стоит.
Я в майнинге не разбираюсь, но одно дело генерировать, другое дело вывести. А чтобы кто то мог вывести 1000$, надо чтобы сначала их кто то ввел 1000$. Деньги то из воздуха не делаются. Сжигание электричества этому никак не помогает.
Видеокарты... Цены на ОЗУ, вот где ужас
Да-да, я вот покупал бук с 32 гб озу, еще думал - куда столько, но взял. Очень рад теперь )
КОгда только опубликовали дипсик, хотел собрать сервер под него, там всего 400к выходило на тб оперативы. Но купил машину. Надо было собирать сервер.
Да вот я уже пожалел, что 2 года назад 64ГБ взял, ещё хотел взять 128ГБ, но подумал, что сейчас нафиг не надо, а потом докупить не проблема будет ))
Эфир на другой протокол перешёл, без майнинга. А больше там и нечего майнить стало.
Так геймерам это вообще никак не поможет запустить Crysis на максималках?
Будет забавно, если через пару-тройку лет игровая индустрия обнаружит себя в положении "мы навайбкодили миллиорд АААААААА-игорь, но их никто не покупает, потому что у игроков нет видеокарт и памяти, и консолей".
Это да. Но скорее времени не будет во всё это играть, даже бесплатно
Оно уже давно так, со времён майнинг бума. Выпуск ААА игр замедлился, а то и остановился, т.к. покупателям буквально не на чем играть на максимальных настройках.
Никто не покупает, потому что игроки уже сами навайбкодили себе этих игр. ))))
Чтобы навайбкодить что то годное, нужно знать точно то что ты хочешь и что тебе понравится. Плюс иметь мощный сервер, незацензуренную нейросеть и умение ей пользоваться. Плюс много времени, на отладку и доведение функционала.
Сочетание достаточно редкое, чтобы решить проблему большинства.
Ну цензура это проблема в первую очередь для игр с сильно откровенной порнухой или прям запредельным гуро. Которые, как правило, не AAA и так (слишком высокие возрастные рейтинги, плюс запретят в Германии, Австралии и ещё паре каких-нибудь платежеспособных стран - профита будет меньше, чем могло бы быть).
Обычную игру вполне себе Claude тебе напишет.
Под цензурой я имел в виду не 18+, а запрет делать ИИ некоторые задачи, чем сейчас пытаются заниматься, чтобы не попасть на штрафы от правообладателей.
А из за этих запретов не то что ИИ тупеют, а даже куда более простые алгоритмы. К примеру поиск по картинке, что у Гугла, что у Яндекса был очень хорош в начале, но из за цензуры результатов, скатился на дно и стал бесполезным. Не узнавая даже популярные вещи или людей.
Лично я не видел ни одного годного примера. Приведу аналогию: внезапно выясняется, что если ты купил крутую гитару, гитарный процессор, и всё остальное, то ещё внезапно нужно уметь играть на гитаре и иметь какие-то музыкальные идеи. Так и с играми. Нужно иметь идею и понимать что ты хочешь сделать.
Во-первых, играют в игры как и читают книги и смотрят фильмы во многом ради интриги. Если ты создаёшь своё, то это другой процесс - ты автоматически знаешь все спойлеры. Если речь не о крестиках-ноликах.
Во-вторых, как и с книгами, наличие возможности написать что-нибудь (писать стало массовым навыком со времен всеобщего школьного образования) ещё не значит, что результат твоего писательства захочет кто-то читать (в том числе ты сам).
Писательство вообще очень наглядный пример. Задолго до появления ИИ сайты самиздата были завалены произведениями непризнанных гениев, но 90% из них никому нафиг не нужны. Это отличный пример ситуации где создание контента дешево, но создать что-то значительное нужен талант.
В своё играть не интересно, а в низкосортные наспех собранные клоны клонов и подавно.
Очень хотелось бы, чтобы эта истерия по ИИ разработке приняла нужное русло: увеличилось не количество, а качество игр (фиг с ней ультра графикой, геймплей интересный дайте).
Мечты, мечты...
Что на счет 5-й серии? Там тоже есть такое ограничение?
на 50хх серии тоже есть ограничения, но там с обходом этих ограничений все намного сложнее. Пока решения нет.
Современная редакция закона Мура:
Фундаментальное огораживание удваивается с каждой мажорной версией (железа, софта, LLM) .
должно поднять скорость промпт процессинга. раздолье для агентов.
Кто то протестировал на локальном ИИ ? например Qwen 3.8 27b ?
Посмотрел сорцы под Windows - явно ИИ писалось.
так там первым в списке контрибьюторов идет Claude
А как быть с подписью UEFI? отключаем всю boot- защиту? это очередная дыра для буткитов?
поделюсь своим сетапом: на железе стоит проксмокс:
универсальная виндовс для поиграть это вм с пробросим видеокарты, потеря фпс кажется не больше 1%, супер точно не замерял
еще пачка линукс вм с пробросом видеокарты для генерации картинок/видео/ллм и так далее
пачка линукс вм буквально под отдельные игры с торрентов (что бы не смогли навредить вдруг там таки будет троян)
логика у меня простая, одновременно делать нейроэксперименты и играть я все-равно не смогу, мощности не хватит, зато все эти вм можно изолировать как хочешь от сети и вставлять какие хочешь патчи ядра, как например тот, что выше дополнительным бонусом это дает, то, что весь мусор и пакеты в этих вм и живут
все это мне сделал Клод разумеется
конкретно по патчу из поста у меня на 3080 вот такой результат
gpu-unlock on RTX 3080 LHR (10de:2216), measured in VMs on pve-game
Test VM (Debian 13, driver 550.163.01, torch 2.11 cu128) FP16 GEMM 8192^3 64.68 -> 110.70 TFLOPS +71%
BF16 GEMM 8192^3 64.99 -> 112.64 TFLOPS +73%
VM 101 videogen (Ubuntu 24.04, driver 595.91.07, torch 2.14 cu130)
FP16 GEMM 8192^3 64.45 -> 109.66 TFLOPS +70%
BF16 GEMM 8192^3 64.89 -> 111.61 TFLOPS +72%
Wan 2.2 TI2V-5B I2V 186.7 -> 123.0 s -34% (992x512, 121 frames, 20 steps)
Wan 2.2 TI2V-5B T2V 18.3 -> 12.5 s -32% (small job)
VM 202 biome (Debian 13, driver 550.163.01, torch 2.11 cu128)
FP16 GEMM 8192^3 64.34 -> 109.80 TFLOPS +71%
BF16 GEMM 8192^3 64.73 -> 112.69 TFLOPS +74%
Biome offline probe 88.8 -> 106.7 fps +20% (headless, uncapped)
Notes
GEMM = FP32 accumulation, median of 5 x 20 iterations
GEMM results bit-identical before/after; Wan I2V frames identical
No Xid errors; power limit 340 W
LLM token generation and INT8 work are not affected
Unlocked 3080 FP16/BF16 (FP32 accumulation) is roughly equal to an RTX 5080 on paper (~112.6 TFLOPS)
Но ведь обратная сторона - это увеличение нагрева, разве нет?
И некоторые домашние карты и так на грани греются (так майнинг их и убивал).
Так что анлок из академического интереса - хорошая штука, но может быть такой анлокер будет убивать быстрее видюху за счёт перегрева?
Надо бы ещё температуры посмотреть помимо прибавки в терафлопсах...
Это логично, что чем больше нагрузка - тем больше выделение тепла, деградацией элементов, со всеми остальными последствиями.
вы путаете теплое и мягкое, производительность и перегрев. Разгона не происходит, частота не меняется - соответственно больше нагрева и не будет. Расчеты будут оптимизированы, то что что раньше считалось через пень-колоду будет считаться в нативной разрядности, т.е. операций возможно в каких-то случаях станет даже меньше.
путаете теплое и мягкое, производительность и перегрев
Как категорично :)
Частота не меняется, но меняется количество инструкций за такт.
На примере простого процессора: если он считает обычные задачи на частоте 4.5 ГГц, он греется умеренно. Но если вы запустите на нем тяжелейшие матричные инструкции AVX-512 на той же самой частоте 4.5 ГГц, процессор мгновенно раскалится до 90-100°C и потребует в полтора раза больше Ватт.
Без анлокера видеокарта искусственно тормозит матричные вычисления. Тензорные ядра простаивают часть времени, ожидая разрешения на такт, или выполняют инструкции с задержками. Кремний "отдыхает" между тактами. Потребление энергии в эти моменты падает.
В случае анлока - разрешается молотить без пауз, а на это понадобится больше энергии, которая не вся идёт в вычисления ;)
Лимит по питанию ведь никуда не девается.
всё верно, но... проведите мысленный эксперимент, возьмем устройство со слабым охлаждением, например ноутбук и дадим ему задачу в каком-нибудь видеоредакторе перекодировать видео (нагрузка вроде бы хорошая?). Ноут проработает час, нагреется, но скорей всего выдержит.
А потом дайте ему час погонять AVX-512, и вероятнее всего он от перегрева уйдет в throttle (в лучшем случае), в среднем случае зависнет, в худшем - сгорит что-нибудь с запашком изоляции и дымком :)
Лимит по питанию тот же самый, но поведение по нагреву почему-то разное...
У вас откуда возьмётся прирост в вычислениях? Что-то в процессоре, что до этого НЕ работало (и не грело), после анлока теперь начнет работать И ГРЕТЬ!
Да, может быть спасёт power limit видюхи, но тут нужно провести эксперимент, как оно ведёт себя.
Может быть power limit начнет ограничивать и снижать частоты и вольтаж, чтобы "не переборщить выше разрешенного порога мощности". Но это ведь как раз будет говорить о том, что прирост производительности вычислений не бесплатный, он сильнее греет.
Не хочу экспериментировать на своей 3090. Под винду у этого анлока экспериментальная ветка ещё, боюсь.
Ну если у вас на видеокарте охлаждение не держит 100% TDP, то не надо было брать карту в таком исполнении) Я на своей 4090 температур выше 70 градусов не видел, например.
Ну если у вас на видеокарте охлаждение не держит 100% TDP, то не надо было брать карту в таком исполнении)
ваш ответ, типичная простенькая манипуляция, когда по сути сказать нечего:
Известная крылатая фраза «Если не могут атаковать мысль, атакуют мыслителя» приписывается французскому поэту и философу Полю Валери.
Что означает эта цитата?
Суть манипуляции: Когда у оппонента нет логических аргументов, фактов или доказательств, чтобы опровергнуть саму идею (мысль), он переходит на личности.
Переход на личности (argumentum ad hominem): Вместо обсуждения аргументов критик начинает атаковать репутацию, (внешность, происхождение, мотивы, характер или прошлое автора идеи, или как у вас, ставите под сомнение моё умение выбирать ;)
Цель приема: Дискредитировать человека в глазах аудитории, чтобы создалось ложное впечатление: раз автор «плохой» или «незаслуживающий доверия», значит, и его идея неверна.
Я на своей 4090 температур выше 70 градусов не видел, например.
И что это доказывает? Может быть вы на ней в простенький 2D Тетрис играете и она ещё не видела серьезных задач? ;) Погоняйте на ней стресс-тесты, которые конкретно нагружают (например FurMark («бублик») или прога OCCT тест "3d standart") часик, да скажите нам потом какие температуры GPU и памяти, тогда и поговорим ;)
Может быть вы на ней в простенький 2D Тетрис играете
Этот человек мне будет про манипуляции и "по сути" втирать :)
Зачем вам результаты моей карты, они помогут вашей не перегреваться? А если у меня по результатам теста на памяти будет до 80 градусов, вы пойдете новые бенчмарки придумывать? Я так-то ветеран срачей о железе на Дваче, мне все ваши приемы известны заранее :)
И да, если вы обиделись на то, что я написал "не надо было брать карту с плохим охлаждением" - то на правду не обижаются. Это рекомендация, а не комментарий про вас лично. Взяли какашку - значит игрушка из статьи не для вас. Се ля ви.
если вы обиделись на то, что я написал "не надо было брать карту с плохим охлаждением" - то на правду не обижаются
вы не знаете какая у меня видюха и как именно я продумал охлаждение, вы ВЫДУМАЛИ себе что-то, а теперь уже выдаёте свою выдумку за ПРАВДУ? Чем вы отличаетесь от базарной бабки? :)
Я так-то ветеран срачей о железе на Дваче
Теперь понятно откуда у вас такой низкий уровень аргументов. Сраться среди уровня глупеньких - так себе достижение :) Бабки на базаре тоже сруться, думаете у них там есть умные выводы? ;)
Похоже единственное чему вы там научились - это сраться :)
Оставлю вас наслаждаться этим сомнительным достижением, не мой уровень.
Зачем вам результаты моей карты, они помогут вашей не перегреваться?
затем, что проведя тесты может быть поймете, что карта одна, лимит мощности один, частоты те же, но увеличение количества вычислений в секунду сказывается на нагреве. Может быть сможете сделать выводы, что прибавка 60% вычислительных возможностей будет сопровождаться и повышением тепловыделения.
Хотя мне кажется вы это понимаете, но просто вам нравится сраться...
А понимаете вы это вот по какой причине: если вы заговорили про анлок в ключе "не надо было брать карту с плохим охлаждением", значит и сами понимаете, что греться с анлоком БУДЕТ сильнее? Тогда зачем срач разводите? Похоже вы запутались :)
Разговор то начался с моего предположения, что анлок и прогревать карту будет сильнее. Получается вы в начале этому возмутились, а ТЕПЕРЬ сами же и доказали на примере выдуманной карты с плохим охлаждением? Понимаю, эти ваши привычки сраться, они такие... Сам себе срач не выдумаешь, весь день насмарку? Держитесь там!
Тензорные ядра будут работать на 100% своих физических возможностей, а не простаивать половину времени из-за софтверного ограничения из -за которого тензорный блок отдыхал половину времени. Напряжение на кристалле будет максимальным для этой частоты, и выделение тепла конкретно в ИИ-задачах станет непрерывным и плотным. Троттлинга будет больше, так как насыщение будет быстрым и сработают алгоритмы Nvidia Boost. А как известно "качели" приводят к деградации VRAM. См. Readme.md: " may damage your hardware "
А как известно "качели" приводят к деградации VRAM.
Я когда под таким соусом доказывал, что видеокарта из под майнера лучше, чем из под геймера, потому что работает в контролируемой среде, где температура буквально сказывается на скорости зарабатывания ею бабок. Мне минусы ставили :(
Майнеры бывают разные. Полно мамкиных майнеров, которые не задумываются что будет с железом через год. И гонят на всю железку. Понять что железка эксплуатировалась нормально далеко не всегда возможно.
У ИИ же нагрузка ещё менее стабильная, чем у геймеров. Если там нет очереди задач, то те ещё качели. Это и троттлинг и тепловые расширения.
Гнать на всю это классика. Но в норме майнер следит и за температурой, и за состоянием: ЕМНИП, когда на релиза 30 или 40 серии NVIDIA производители стали вместо теплопрокладок использовать жвачку, именно майнеры первыми это обнаружили и кинулись менять. Геймерам невдомек, менять - так вообще ни в какие ворота.
У ИИ же нагрузка ещё менее стабильная, чем у геймеров. Если там нет очереди задач, то те ещё качели. Это и троттлинг и тепловые расширения.
Аргумент. Но ТДП все еще ограничен тем же, чем и был, а качели и у геймеров мое почтение: главное меню - игра - пререндер катсцена - игра - загрузочный экран...
Для RTX4090 ADA получил +33-35% прироста скорости Prefill для Qwen3.8-27b на VLLM с KV FP8.
А есть решение под Win? Патч, анлокер?
на 4070super есть смысл делать разблокировку? не увидел что поддерживается....
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Вышел открытый анлокер, который снимает ограничение матричных вычислений на GPU видеокарт Nvidia серий RTX30xx и RTX40xx