[问答]

GPU上OpenVINO基准测试的推断模型的默认参数与CPU上的参数不同是为什么？

问答对人有帮助，内容完整，我也想知道答案 0 在 CPU 和 GPU 上推断出具有 OpenVINO™ 基准的相同模型： benchmark_app.exe -m model.xml -d CPU benchmark_app.exe -m model.xml -d CPU 导致的 GPU 延迟和吞吐量高于 CPU。无法确定为什么 GPU 上的延迟和吞吐量都高于 CPU，因为低延迟会导致高吞吐量。 0
2023-8-15 06:43:46　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × Tussi 该类别下有 2 个回答。邀请回答 jinheng 该类别下有 2 个回答。邀请回答 dfzvzs 该类别下有 2 个回答。邀请回答 andyfly7 该类别下有 2 个回答。邀请回答 klysa 该类别下有 1 个回答。邀请回答 keith3000 该类别下有 1 个回答。邀请回答双11 该类别下有 1 个回答。邀请回答 kingnet1222 该类别下有 1 个回答。邀请回答宝宝OK 该类别下有 1 个回答。邀请回答爱与友人该类别下有 1 个回答。邀请回答 butterflydw 该类别下有 1 个回答。邀请回答 emsthe 该类别下有 1 个回答。邀请回答麻酱该类别下有 1 个回答。邀请回答 lalajie 该类别下有 1 个回答。邀请回答远风该类别下有 1 个回答。邀请回答 wang21cj 该类别下有 1 个回答。邀请回答江左盟该类别下有 1 个回答。邀请回答独当一面该类别下有 1 个回答。邀请回答 fhbding 该类别下有 1 个回答。邀请回答 60user157 该类别下有 1 个回答。邀请回答举报王萍相关推荐 • 如何将Detectron2和Layout-LM模型转换为OpenVINO中间表示（IR）和使用CPU插件进行推断？ 236 • 运行多个进程时，OpenVINO trade推断时间会增加是为什么？如何解决？ 247 • 推断FP32模型格式的速度比CPU上的FP16模型格式快是为什么？ 325 • 请问在新CPU上推断INT8模型的速度是否比旧CPU快？ 370 • 是否可以使用IR实施OpenVINO运行时推断管道？ 610 • 在Raspberry Pi上从源代码构建OpenVINO 2021.3收到错误怎么解决？ 692 • 无法在AMD Ryzen CPU上运行OpenVINO trade怎么解决？ 800 • 无法使用MYRIAD在OpenVINO trade中运行YOLOv7自定义模型怎么解决？ 263 • OpenVINO工具套件不支持CTC层吗？ 248 • 使用OpenVINO trade 2021版运行Face_recognition_demo时报错怎么解决？ 214 1个回答

答案对人有帮助，有参考价值 0 延迟可测量同步处理单个输入所需的推断时间。使用默认参数运行OpenVINO™基准时，它是在异步模式下推断。因此，延迟测量处理推理请求数量所需的总推断时间。此外，在具有默认参数的 CPU 上运行基准应用程序时，会创建 4 个推理请求，而在使用默认参数的 GPU 上运行基准应用程序时，会创建 16 个推理请求。因此，GPU 推断的延迟高于 CPU。在 CPU 和 GPU 上运行基准应用程序时指定相同数量的推理请求以进行相当的比较： benchmark_app.exe -m model.xml -d CPU -nireq 4 benchmark_app.exe -m model.xml -d CPU -nireq 4

2023-8-15 10:20:26 评论举报李龙