Как стать автором
Обновить

Комментарии 4

Сравнение на Mobilenet + CPU выглядит подозрительным: я верю, что вы крутые, но не может pytorch отставать в 10-20 раз. Допускаю, что тест не вполне корректный.

Было бы интересно еще увидеть сравнение по скорости инференса с openvino/tensorrt/onnxruntime.

Наконец, есть вопрос — как у вас дела с конвертерами? Например, можно ли натренировать модель на торче, сконвертить в onnx и инферить на neoml?
Да, у pytorch результат странный. Но ответы совпадают, плюс та же сборка дает адекватные результаты на GPU и других архитектурах сетей.
Да, у нас есть ограниченная поддержка ONNX.
Совпадение ответов — недостаточный критерий качества. Например, я однажды тоже намерял, что торч в N раз медленнее, чем onnxruntime, а потом обнаружил, что с настойкой трединга накосячил.

А где можно почитать про ONNX? neoml.readthedocs.io/en/latest/search.html?q=onnx ничего не находит.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.