Обновить

Как же задолбали эти блокировки.

E: Failed to fetch https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/InRelease 403 Forbidden [IP: ...]

Теперь самостоятельно лепить образ на замену nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04 с не заблокированными зеркалами? Или какие еще варианты кроме как собирать на забугорной тачке?

Теги:
Всего голосов 3: ↑3 и ↓0+3
Комментарии6

Как запустить Qwen3.8-Flash-Next 125B на 6 ГБ VRAM

Qwen3.8-Flash-Next - открытая 125B-модель на архитектуре, которая станет основой Qwen4. По опубликованным Qwen результатам она конкурирует с закрытыми frontier-моделями в задачах программирования, работы с агентами и computer use.

Мы запустили полный checkpoint Qwen/Qwen3.8-Flash-Next на одной RTX 4090. Пиковое потребление VRAM составило 5,95 ГБ, без 4-битной квантизации и дистилляции. Использовался полный checkpoint в bf16, который генерировал обычные токены.

По сравнению с Opus 4.6 Max, согласно собственным данным Qwen:

Как запустить Qwen3.8-Flash-Next 125B на 6 ГБ VRAM

Публикации