为什么无法在运行时C++推理中读取OpenVINO™模型？

答案对人有帮助，有参考价值 0

在 OpenVINO™ 中，模型优化器（Model Optimizer）和推理引擎（Runtime）的版本需要兼容。你提到使用模型优化器 2021.1 版转换模型，但在推理时使用 Runtime 2022.3 版，这可能导致版本不兼容问题，从而引发错误。

可能的原因和解决方案：

1. 
   

   版本不兼容：

   
   
   
   
   • OpenVINO™ 的模型优化器和推理引擎版本需要匹配。模型优化器生成的模型文件（如 .bin 和 .xml）可能无法被较新版本的推理引擎正确读取。
   
   
   • 解决方案：确保使用相同版本的模型优化器和推理引擎。你可以使用 OpenVINO™ 2022.3 的模型优化器重新转换模型，或者降级推理引擎到 2021.1 版。
   
   
   
   


2. 
   

   模型转换问题：

   
   
   
   
   • 模型在转换过程中可能出现了问题，导致生成的 .bin 文件中的权重不正确。
   
   
   • 解决方案：重新运行模型优化器，确保转换过程没有错误。检查模型优化器的日志输出，确认转换成功。
   
   
   
   


3. 
   

   文件路径或权限问题：

   
   
   
   
   • 推理引擎在读取模型文件时，可能由于文件路径不正确或权限问题无法正确读取 .bin 文件。
   
   
   • 解决方案：确保模型文件的路径正确，并且推理引擎有权限访问这些文件。
   
   
   
   


4. 
   

   模型格式问题：

   
   
   
   
   • 如果模型优化器生成的模型格式与推理引擎期望的格式不一致，可能会导致读取错误。
   
   
   • 解决方案：确保模型优化器生成的模型格式与推理引擎兼容。可以尝试使用 OpenVINO™ 的 mo.py 脚本重新转换模型。
   
   
   
   

具体步骤：

1. 
   

   检查版本兼容性：

   
   
   
   
   • 确认模型优化器和推理引擎的版本是否匹配。如果不匹配，重新转换模型或调整推理引擎版本。
   
   
   
   


2. 
   

   重新转换模型：

   
   
   
   
   • 使用 OpenVINO™ 2022.3 的模型优化器重新转换模型：
     

     mo --input_model your_model.onnx --output_dir output_dir

   
   
   • 确保转换过程没有错误，并且生成的 .bin 和 .xml 文件有效。
   
   
   
   


3. 
   

   验证模型文件：

   
   
   
   
   • 检查生成的 .bin 和 .xml 文件是否完整，并且文件路径正确。
   
   
   
   


4. 
   

   重新运行推理：

   
   
   
   
   • 使用重新转换的模型文件运行推理，确保 core.read_model() 能够正确读取模型。
   
   
   
   

示例代码：

#include 



int main() {

    // 初始化 OpenVINO™ Runtime

    ov::Core core;



    // 读取模型

    try {

        auto model = core.read_model("path/to/your_model.xml", "path/to/your_model.bin");

        std::cout << "Model read successfully!" << std::endl;

    } catch (const std::exception& e) {

        std::cerr << "Failed to read model: " << e.what() << std::endl;

        return -1;

    }



    return 0;

}

总结：

确保模型优化器和推理引擎版本一致，重新转换模型，并检查模型文件路径和完整性，通常可以解决 core.read_model() 无法读取模型的问题。