Comments 23
Да, китайские доработки слышали. Даже в РФ на Авито есть )
Не только китайцы, у нас блогер-ремонтник-самоделкин Vikon тоже увеличивает память на 4090 и на некоторых других тоже, вроде за вменяемый ценник.☝️👍🙂
Ничего он не деалает. Просто покупает китайские платы и чипы. А что к чему. всем уже давно все известно.
Нексус даже кино снял как делается и форсил местны паяльщиков
Creating a 48GB NVIDIA RTX 4090 GPU | Brother Zhang's Repair Shop (ft. 张哥)
https://youtu.be/TcRGBeOENLg
а Notebook1 еще два года назад на 3090 память прокачивал
"Видеокарта из мусорки и можно ли 48 гигабайт поставить в ROG Strix RTX3090? Эксперимент за 50000руб."
https://www.youtube.com/watch?v=DbF02Y5yIaQ
Впечатление от статьи такое: искин пытается обосновать, почему ему нужны новые видеокарты с большим количеством видеопамяти.
если правильно понимаю, на чипе GeForce 5090 16ть 2канальных контроллеров, то ест 32 чипа GDDR. получается, что даже при чипе в 2ГБ получим 64ГБ.
Контроллеров памяти в GB202 16 штук, они универсальны — поддерживают чипы 16/24/32 Гбит. RTX 5090 технически может работать с чипами памяти 2,3,4 GB. К примеру при 48 ГБ (16×3 ГБ), говорят планировали рефреш в этом году как раз с 48 Gb, но курточка явно не успокоится покв не выдоит публик. По ценам писали, что NVIDIA якобы выбирала 32 ГБ для цены MSRP $1999 vs ~$2400 за 48 ГБ версию. Те $400 за 16 Gb - но даже такой дикой надбавкой они не удовлетворилсь. Лозунг жизни у курточки "Да куда вы все денетесь"
Имхо, нечего оправдывать ограничения памяти экономическими и техническими сложностями. Там маржинальность такая, что могли бы любую память сделать. Но принудительная сегментация рынка она такая... Ж — жадность.
для профессионального видеомонтажа 8K-материала в DaVinci Resolve с применением сложных эффектов и многослойной композиции 24 ГБ видеопамяти часто оказывается недостаточно.
Несколько лет назад на хабре была интересная статья про то, как устроено человеческое зрение. Палочек-колбочек у нас в каждом глазу порядка 100 миллионов (считай, 100 мегапикселей, но... нет), однако далеко не все они используются для построения собственно картинки - многие реагируют просто на освещённость, более того - дальше к мозгу идёт жгут нервов (аксонов), и его "разрешающая способность" - от одного до полутора миллионов линий. То бишь, FullHD человеку более чем достаточно, всё разрешение, что выше, - это всего лишь способ продать то же самое, но - заметно дороже.
В области нейросетей карты с 48 ГБ VRAM необходимы для работы с языковыми моделями с большим количеством параметров. Запуск Llama 3.1 (70B) в полной fp16 точности требует около 140 ГБ VRAM. Даже с применением 4-битной квантизации (INT4) для этой модели необходимо около 35–45 ГБ VRAM, что всё равно превышает доступные 32 ГБ на RTX 5090.
Кстати, а какую самую ёмкую модель Llama возможно запустить на М40 с 24 ГБ - пожалуй, самой доступной видеокарте с таким объёмом памяти? И... какой будет скорость её работы? Игра стоит свеч?
на М40 с 24 ГБ - пожалуй, самой доступной видеокарте с таким объёмом памяти? И... какой будет скорость её работы? Игра стоит свеч?
Tesla M40 это древняя карта с очень старой CUDA и медленной памятью (288 Гб/с), без поддержки flash attention и без нормального охлаждения. Среди Tesla имеет смысл смотреть разве что на Tesla v100 32gb.
На данный момент самая доступная карта по объему памяти и цене это AMD Instinct Mi50 32gb. Карточка 2018 года, память очень быстрая (1044 Гб/с), но тоже без нормального охлаждения. Запускать через Vulkan, а не CUDA, поддержка в llama.cpp уже есть.
Но все эти серверные карты это такая категория, где нужно быть готовым к различным нюансам, вроде нерегулируемых вентиляторов и потребления в простое, что не делает их простыми для домашнего использования.
Сейчас есть совсем другой способ запускать тяжелые LLM с нормальной скоростью, хватит обычной десктопной видеокарты, но нужно много RAM, что купить проще, чем много VRAM.
Кстати, а какую самую ёмкую модель Llama возможно запустить
Llama немного устарели, поэтому их запускают только ради бенчмарков. Сейчас в основном всем интересна новая OpenAI GPT-OSS-120B. Её можно запустить на скорости выше 10 t/s на домашнем ПК с обычной видеокартой, и даже на AMD, но нужно 64 Гб ОЗУ.
Вот тут подробнее: Запускаем GPT-OSS-120B на 6 Гб GPU и ускоряем до 30 t/s. Вам нужна RAM, а не VRAM. Параметр -cmoe для ускорения MoE LLM
Llama тоже можно так запустить, относительно свежая и большая Llama-4-Maverick на 402B запускается на 23 t/s.
Много чего пустить можно поставьте ollama или lmstudio и посмотрите Но чем больше LLM тем она лучше работает ит что бы действитель сравнятся с облачными версиями 48 это минимум. А лучше 92 и выше
В M40 есть куда, старая правда, но нет тензорных ядер и главное нет аппаратной поддержки FP/INT/8/4. Можно был бы что то запустить без квантизации под NVlink с 92+ видеозу, но это будет ОЧЕНЬ медленно почти как на мощных современных CPU. Игра не стоит свечь, а уж розетку все это будет насиловат так и просто немилосердно
Забавные суждения - почему нет карт с 48, потому что они якобы помешают продажам в серверном сегменте. Але гараж, там дело не только в памяти, формфактор, NVlinк, потребление, просто уровень надежности. Тоже самое хоть и менее выражено для рабочих станций. И как раз последний сегмент совсем узкий, куда уже любительского. А еще нет никакого смысла разделять хайэд любительский, который автор зачем то смешал в одну кучу с игровым и рабочие станции. 5090 в играх где основная масса тинейджеры это нонсенс. И с какого перепуга + 33% памяти взвинтит цену ВСЕЙ карты на 50%? GB202-300 чип$450-650 - 32 ГБ GDDR7$550-700 - увеличение объема и цены памяти на 30%, поднимет цену изделия на15%. MATH. Что до GDDR6 то 24Гб - $250, 48Гб ~$500 разница не 300тыс, а всего 30, и это уже после всех ужастей, где тут разы карл! Это называется не сегментация, это называется оббираловка и мозгокрутство. Сиречь большой бизнесс )
Кому нужны игровые видеокарты NVIDIA с 48 ГБ VRAM и почему их до сих пор нет