У меня есть схожий проект с минимальными зависимостями на Python - https://github.com/istupakov/onnx-asr. Интересно было бы сравнить результаты и скорость.
Проблема была в том, что в ONNX Runtime 1.24.1 сломали работу с кешем HF для больших моделей (до этой версии все работало). Но уже вышла версия 1.24.2, где проблему исправли.
P.S. Касательно вашей проблемы с numpy.float32 - я надеялся, что указания типов аргументов достаточно, но очевидно был не прав. В следующей версии onnx-asr добавлю явную проверку и сообщение об ошибке.
У меня есть схожий проект с минимальными зависимостями на Python - https://github.com/istupakov/onnx-asr. Интересно было бы сравнить результаты и скорость.
Проблема была в том, что в ONNX Runtime 1.24.1 сломали работу с кешем HF для больших моделей (до этой версии все работало). Но уже вышла версия 1.24.2, где проблему исправли.
P.S. Касательно вашей проблемы с numpy.float32 - я надеялся, что указания типов аргументов достаточно, но очевидно был не прав. В следующей версии onnx-asr добавлю явную проверку и сообщение об ошибке.
Тут в целом со ссылками беда - ссылки на GigaAM и onnx-asr тоже битые. Причем, судя по неразрывному дефису в ссылке, я догадываюсь о причинах)