Комментарии 2
Вы же написали обёртку над Benchmark Python Tool и выдаёте её как собственный фреймворк. Условно то же самое, но без Вашего фреймворка:
python3 -m venv venv
source venv/bin/activate
pip3 install --upgrade pip
pip3 install openvino-dev
omz_downloader --name person-detection-0200
benchmark_app -m intel/person-detection-0200/FP32/person-detection-0200.xml -d CPU -api sync -i example.jpg -progress -b 1
Различия что нужно выделить в первую очередь:
1) Тестируется не только OpenVINO, но и Intel TensorFlow, и Intel Caffe, и скоро подъедет PyTorch и OpenCV DNN. И интеловские сборки этих фреймворков кое-где идут вровень с OpenVINO, при этом не нужно конвертировать модель, и легко добавить в будущем GPU от NVidia.
2) В оригинальном бенчмарке единичные эксперименты - качается модель, конвертируется модель, трекается модель. Наша система разворачивается автоматически на несколько наших систем - i3, i5, i7, Xeon, Myriad, и результом получается таблица на сотни тестов с нескольких устройств - в html и xlsx форматах.
3) Реализовав свой фреймворк, мы смогли подтвердить своими цифрами цифры встроенного бенчмарка. Что это реальная производительность без ухищрений (типа того, что у нас закешировалась в L3 не только модель но и пропускаемая в цикле картинка).
DLI Benchmark — инструмент для измерения скорости работы моделей глубокого обучения