Да, как раз релизнули реализацию на Rust + Candle, так что с ONNX можно не мучаться :) Сейчас пока всё работает на safetensors (f16/f32), это родной формат для стека. Насчет GGUF — мысль интересная ради квантования (чтобы модель меньше весила и быстрее крутилась на CPU), возможно, в будущем добавим поддержку, если будет запрос на запуск на совсем слабом железе. Но пока фокус на стабильной работе текущей версии. Да и для такой маленькой модели как GigaAM это не очень актуально.
Поймали баг в candle пришлось сделать форк https://github.com/askidmobile/candle, после всех тестов добавлю в основную репу RustASR. Проблема в том что Rust ловит panic при определенных событиях, чтобы не костылить было принято решение сделать форк и провести тестирование. 2 дня полет нормальный.
Да, как раз релизнули реализацию на Rust + Candle, так что с ONNX можно не мучаться :) Сейчас пока всё работает на safetensors (f16/f32), это родной формат для стека. Насчет GGUF — мысль интересная ради квантования (чтобы модель меньше весила и быстрее крутилась на CPU), возможно, в будущем добавим поддержку, если будет запрос на запуск на совсем слабом железе. Но пока фокус на стабильной работе текущей версии. Да и для такой маленькой модели как GigaAM это не очень актуально.
Поймали баг в candle пришлось сделать форк https://github.com/askidmobile/candle, после всех тестов добавлю в основную репу RustASR. Проблема в том что Rust ловит panic при определенных событиях, чтобы не костылить было принято решение сделать форк и провести тестирование. 2 дня полет нормальный.
Пробовал на другом проекте, качество так себе.