Research Engineer at Huawei
Так понимаю, что здесь nf4 это нормал флоат - формат представления числа с плавающей точкой.
Вряд ли именно такое расширение у файлов.
Вероятнт, модель в рантайме занимает меньше памяти. Но какой бэкенд может выполнять вычисления в такой точности?
Статья LoRA изначально была написана для трансформеров, и сейчас является самым популярным методом файнтюнинга LLM (больших языковых сетей)
Кто же создаёт переменную с зарезервированным именем?
Так понимаю, что здесь nf4 это нормал флоат - формат представления числа с плавающей точкой.
Вряд ли именно такое расширение у файлов.
Вероятнт, модель в рантайме занимает меньше памяти. Но какой бэкенд может выполнять вычисления в такой точности?
Статья LoRA изначально была написана для трансформеров, и сейчас является самым популярным методом файнтюнинга LLM (больших языковых сетей)
Кто же создаёт переменную с зарезервированным именем?