Обновить
113
1210.6

Автоматизирую рутину с LLM.

Отправить сообщение

Не обязательно. QAD это просто KL-дистилляция вместо CE-файнтюна. Работает с любым форматом квантизации. NVFP4 тут просто контекст, потому что у них железо под это заточено.

Да, unsloth скорее всего первые подхватят. По llama.cpp — там NVFP4 нативно пока нет, но формат не rocket science, добавят если будет спрос.

2

Информация

В рейтинге
1-й
Зарегистрирован
Активность

Специализация

ML разработчик
Средний
Python
PostgreSQL
SQL
LLM
Git
Linux
Docker