![]()
OpenVINO
通过运行两个进程来推断同一个模型，推断时间翻倍。
- 使用OpenVINO™推断模型。
- 运行单个过程时，推断时间约为 300ms。
- 使用两个进程时，两个进程的推理时间将变为 600ms。
回帖（1）
2023-8-15 14:37:48
- 在 main.cpp 脚本中添加以下命令。ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- 构建 演示。
其他信息：
- KEY_CPU_BIND_THREAD配置的默认值是“是”。
- 在 Linux* 上，这会使这两个过程绑定到同一个 CPU 内核，并使推理时间翻倍。
- 在 Windows* 和 Linux* 上的 CPU 内核上将KEY_CPU_BIND_THREAD配置为无卸载推理线程。
- 在 main.cpp 脚本中添加以下命令。ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- 构建 演示。
其他信息：
- KEY_CPU_BIND_THREAD配置的默认值是“是”。
- 在 Linux* 上，这会使这两个过程绑定到同一个 CPU 内核，并使推理时间翻倍。
- 在 Windows* 和 Linux* 上的 CPU 内核上将KEY_CPU_BIND_THREAD配置为无卸载推理线程。
举报
更多回帖
