[问答]

yolov7 onnx模型在NPU上太慢了怎么解决？

1061 python

问答对人有帮助，内容完整，我也想知道答案 0 我将 yolov7tiny.pt（yolov7-tiny 模型）转换为具有 uint8 权重的 yolov7tiny.onnx，然后在 i.MX 8M Plus NPU 上运行 yolov7tiny.onnx。输入大小为 224x224，但 npu 推理时间为 127 毫秒。好像太慢了。这个时间合理吗？以下是我的onnx模型转换步骤和我的onnxruntime执行代码： 1. 从 https://github.com/WongKinYiu/yolov7/releases下载yolov7-tiny.pt ，并重命名yolov7tiny.pt 2.将yolov7tiny.pt转换为yolov7tiny.onnx（这个onnx有fp32权重）（onnx==1.10.0 and opset=15） $ git clone https://github.com/WongKinYiu/yolov7.git $ python export.py --weights ./yolov7tiny.pt --img-size 224 注意：我修改了附件中export.py中的一些代码。 3.量化yolov7tiny.onnx，输出称为yolov7tiny_uint8.onnx ，这里我参考https://github.com/microsoft/onnxruntime/issues/10787。 $ python quantize_yolo.py 注：附件中的quantize_yolo.py是我量化onnx模型的代码。 4. 使用 onnxruntime_perf_test 在 npu 上运行 yolov7tiny_uint8.onnx $ /usr/bin/onnxruntime-1.10.0/onnxruntime_perf_test ./yolov7tiny_uint8.onnx -r 1 -e nnapi 结果：我把我的相关文件放在附件里了。 0
2023-4-4 06:13:12　　 1 评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × chm5 该类别下有 45 个回答。邀请回答 wang21cj 该类别下有 36 个回答。邀请回答新星之火12138 该类别下有 34 个回答。邀请回答 gdfffa 该类别下有 25 个回答。邀请回答 hgimtk 该类别下有 25 个回答。邀请回答 lifei639156 该类别下有 23 个回答。邀请回答 heks 该类别下有 23 个回答。邀请回答 fdhsfagd 该类别下有 23 个回答。邀请回答艾玛该类别下有 22 个回答。邀请回答 dahairenlyy 该类别下有 22 个回答。邀请回答 fhbding 该类别下有 22 个回答。邀请回答 h1654155957.9520 该类别下有 21 个回答。邀请回答 xiaolu511 该类别下有 21 个回答。邀请回答站着幻想该类别下有 21 个回答。邀请回答秦小姐9048 该类别下有 21 个回答。邀请回答 zhang先生该类别下有 21 个回答。邀请回答 C880U 该类别下有 21 个回答。邀请回答自我清欢该类别下有 21 个回答。邀请回答一转十年该类别下有 21 个回答。邀请回答幽默该类别下有 20 个回答。邀请回答举报 douyin8 相关推荐 • 无法使用MYRIAD在OpenVINO trade中运行YOLOv7自定义模型怎么解决？ 504 • yolov5-face的pt模型是怎样转为onnx模型的 4446 • 请问如何在RK3588上使用npu，用onnx模型来推理 4565 • yolov5模型onnx转bmodel无法识别出结果如何解决？ 698 • EIQ onnx模型转换为tf-lite失败怎么解决？ 830 • 使用Yolov5 - i.MX8MP进行NPU错误检测是什么原因？ 865 • 如何使用Paddle2ONNX模型转换工具将飞桨模型转换为ONNX模型？ 3367 • 将YOLOv5 ONNX模型转换为中间表示（IR）格式时，收到与节点相关的错误怎么解决 1221 • 如何提高YOLOv4模型的推理性能？ 1250 • yolov5转onnx在cubeAI进行部署，部署失败的原因？ 334 1 条评论唐晓 2024-5-4 19:31 你用的RK芯片是哪个型号/版本呢？赞回复举报