у меня сейчас 60т\сек с полной загрузкой в VRAM, и квант кеша 8Q. Еще узнал от Deepseek о моделях APEX. Посмотрите на гитхабе, там используется другой подход к квантизации МоЕ, который еще лучше чем unsloth, сниженный размер при том же качестве, и большей скорости. сам еще не успел проверить.
ps. для себя я понял в любом случае - это жалкое подобие того что предлагает платный антропик или гатГПТ. Код на порядок хуже. Если нужно что-то спросить есть куча чатов. Я думаю пройдет еще годик, и мы сможем пользоваться этими моделями с 100токен\сек за счет оптимизаций ПО и самих моделей.
во всем согласен. Q4_K_M полностью не влазит в 16ГБ. Я остановился на IQ3_XS - 65к контекст, все в VRAM. локально моделька нужно для гермеса. Хотя других задач я для себя еще не придумал. Код пишут хорошо только топы - gtp, opus. deepseek не пробовал, так как нужно морочится с китайской оплатой
будет здорово увидеть от вась статью по запуску. У меня 7800xt. Во первых максимум что получалось запустить без проблем это 9b с максимальным контектом, чтобы гонять Гермеса На моделях 35b можно работать в режиме чата, но все падает с нехваткой памяти после раздутия контекста (в агенстком режиме). Также Я сравнивал llama.ccp последних версий и LM studio - разницы в производительности уже никакой нет - 55 токенов в сек.
статью не читал, чтобы не портить впечатление. Ради сюжета можно и не покупать, а одолжить у друга или "пройти" на ютубе. Но чтобы погонять своего персонажа - конечно стоит!
точно также как и с кинемотографией. Но последние годы ситуация выравнивается - режиссеры как будто нашли свою волну и перестали делать треш на грантах. Думаю в игровой индустрии тоже должно пройти пару лет, чтобы рынок очистился, а навыки игроделов подросли.
у меня сейчас 60т\сек с полной загрузкой в VRAM, и квант кеша 8Q.
Еще узнал от Deepseek о моделях APEX. Посмотрите на гитхабе, там используется другой подход к квантизации МоЕ, который еще лучше чем unsloth, сниженный размер при том же качестве, и большей скорости.
сам еще не успел проверить.
ps. для себя я понял в любом случае - это жалкое подобие того что предлагает платный антропик или гатГПТ. Код на порядок хуже.
Если нужно что-то спросить есть куча чатов.
Я думаю пройдет еще годик, и мы сможем пользоваться этими моделями с 100токен\сек за счет оптимизаций ПО и самих моделей.
во всем согласен.
Q4_K_M полностью не влазит в 16ГБ.
Я остановился на IQ3_XS - 65к контекст, все в VRAM. локально моделька нужно для гермеса. Хотя других задач я для себя еще не придумал. Код пишут хорошо только топы - gtp, opus. deepseek не пробовал, так как нужно морочится с китайской оплатой
Ничего не понятно, но очень интересно
будет здорово увидеть от вась статью по запуску.
У меня 7800xt. Во первых максимум что получалось запустить без проблем это 9b с максимальным контектом, чтобы гонять Гермеса На моделях 35b можно работать в режиме чата, но все падает с нехваткой памяти после раздутия контекста (в агенстком режиме).
Также Я сравнивал llama.ccp последних версий и LM studio - разницы в производительности уже никакой нет - 55 токенов в сек.
статью не читал, чтобы не портить впечатление. Ради сюжета можно и не покупать, а одолжить у друга или "пройти" на ютубе. Но чтобы погонять своего персонажа - конечно стоит!
а зачем вам интерфейс. чтобы нажать кнопку "разархивировать в ..."
Красиво, а на работу взяли ?
спрос на железо и вычислительные мощности еще взлетел, в свете пиара клоуботов
Ответ нейросетей
Спасибо за обзор.
вот бы обновить данный список для 2026. Однако много обновлений вышло, но вижу nmoe в llama так и не занесли по дефолту
Жаль что в статье вообще ничего про руководство. А только обзор по.
Напишите как оптимизировать под домашний ПК.
молодец.
шрифт мелкий, а анимации быстрые.
анимешные ИИ девушки посреди статьи не нужны
потому что это классика!
точно также как и с кинемотографией. Но последние годы ситуация выравнивается - режиссеры как будто нашли свою волну и перестали делать треш на грантах. Думаю в игровой индустрии тоже должно пройти пару лет, чтобы рынок очистился, а навыки игроделов подросли.
При виде таких статей сразу картинка с троллейбусом из буханки всплывает, уж простите :)
Чтобы столбики были повыше и красивей
Блокчейн пропустил, пропущу и эту хрень
Статья неверно переведена. В данных дисках нет Драм-кеша .
Вот Фикс от производителя - нужно просто обновить прошивку, с помощью утилиты.
https://support-en.sandisk.com/app/answers/detailweb/a_id/51469
Отличная статья для новичков! Спасибо.