OpenVINO开发小组
直播中

独当一面

11年用户 877经验值
擅长:可编程逻辑
私信 关注
[问答]

请问如何在C++中使用NPU上的模型缓存?

无法确定如何在 C++ 中的 NPU 上使用模型缓存

回帖(1)

高川

2025-6-24 15:40:16
 NPU 管道指定pipeline_config以导出和导入缓存编译模型。
导出示例
ov::AnyMap pipeline_config = { { "EXPORT_BLOB", "YES" }, { "BLOB_PATH", ".npucache\compiled_model.blob" } };
ov::genai::WhisperPipeline pipeline(model_path, "NPU", pipeline_config);
导入示例
ov::AnyMap pipeline_config = { { "BLOB_PATH", ".npucache\compiled_model.blob" } };
ov::genai::WhisperPipeline pipeline(model_path, "NPU", pipeline_config);
举报

更多回帖

发帖
×
20
完善资料,
赚取积分