延迟可测量同步处理单个输入所需的推断时间。
使用默认参数运行OpenVINO™基准时，它是在异步模式下推断。因此， 延迟测量处理推理请求数量所需的总推断时间。
此外，在具有默认参数的 CPU 上运行基准应用程序时，会创建 4 个推理请求，而在使用默认参数的 GPU 上运行基准应用程序时，会创建 16 个推理请求。因此，GPU 推断的延迟高于 CPU。
在 CPU 和 GPU 上运行基准应用程序时指定相同数量的推理请求以进行相当的比较：
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4
延迟可测量同步处理单个输入所需的推断时间。
使用默认参数运行OpenVINO™基准时，它是在异步模式下推断。因此， 延迟测量处理推理请求数量所需的总推断时间。
此外，在具有默认参数的 CPU 上运行基准应用程序时，会创建 4 个推理请求，而在使用默认参数的 GPU 上运行基准应用程序时，会创建 16 个推理请求。因此，GPU 推断的延迟高于 CPU。
在 CPU 和 GPU 上运行基准应用程序时指定相同数量的推理请求以进行相当的比较：
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4
举报
