在使用 OpenVINO™ 推理引擎进行推理时，如果你需要更改模型的布局（例如，将 CHW 布局转换为 NCHW 布局），可以通过以下步骤来实现。
ngraph 进行布局转换OpenVINO™ 提供了 ngraph 库，可以在模型推理之前对模型进行布局转换。以下是一个示例，展示如何将 CHW 布局转换为 NCHW 布局。
#include
#include
#include
using namespace InferenceEngine;
int main() {
// 加载第一个模型并推理
Core ie;
auto network = ie.ReadNetwork("model1.xml", "model1.bin");
auto executable_network = ie.LoadNetwork(network, "CPU");
auto infer_request = executable_network.CreateInferRequest();
// 获取第一个模型的输出
auto output = infer_request.GetBlob("output_name");
// 将 CHW 布局转换为 NCHW 布局
auto output_dims = output->getTensorDesc().getDims();
ngraph::Shape new_shape = {1, output_dims[0], output_dims[1], output_dims[2]}; // 添加 batch 维度
auto reshape = std::make_shared(
std::make_shared(ngraph::element::f32, output_dims),
ngraph::opset3::Constant::create(ngraph::element::i64, ngraph::Shape{4}, new_shape),
true);
// 创建一个新的 ngraph 函数
auto function = std::make_shared(ngraph::OutputVector{reshape}, ngraph::ParameterVector{});
// 将 ngraph 函数转换为 OpenVINO 模型
auto reshaped_network = InferenceEngine::CNNNetwork(function);
// 加载第二个模型并推理
auto network2 = ie.ReadNetwork("model2.xml", "model2.bin");
auto executable_network2 = ie.LoadNetwork(network2, "CPU");
auto infer_request2 = executable_network2.CreateInferRequest();
// 将第一个模型的输出作为第二个模型的输入
infer_request2.SetBlob("input_name", reshaped_network.GetOutputsInfo().begin()->second);
// 进行推理
infer_request2.Infer();
// 获取第二个模型的输出
auto output2 = infer_request2.GetBlob("output_name");
// 处理输出结果
// ...
return 0;
} PreProcess 进行布局转换如果你不想修改模型本身，可以使用 OpenVINO™ 的 PreProcess 功能来在推理过程中动态调整输入布局。
#include
using namespace InferenceEngine;
int main() {
// 加载第一个模型并推理
Core ie;
auto network = ie.ReadNetwork("model1.xml", "model1.bin");
auto executable_network = ie.LoadNetwork(network, "CPU");
auto infer_request = executable_network.CreateInferRequest();
// 获取第一个模型的输出
auto output = infer_request.GetBlob("output_name");
// 加载第二个模型
auto network2 = ie.ReadNetwork("model2.xml", "model2.bin");
auto executable_network2 = ie.LoadNetwork(network2, "CPU");
auto infer_request2 = executable_network2.CreateInferRequest();
// 设置第二个模型的输入布局为 NCHW
auto input_info = network2.getInputsInfo().begin()->second;
input_info->setLayout(Layout::NCHW);
// 将第一个模型的输出作为第二个模型的输入
infer_request2.SetBlob("input_name", output);
// 进行推理
infer_request2.Infer();
// 获取第二个模型的输出
auto output2 = infer_request2.GetBlob("output_name");
// 处理输出结果
// ...
return 0;
}reshape 方法如果你在模型推理之前已经知道需要更改布局，可以在加载模型时使用 reshape 方法来调整输入输出的形状。
#include
using namespace InferenceEngine;
int main() {
// 加载第一个模型并推理
Core ie;
auto network = ie.ReadNetwork("model1.xml", "model1.bin");
auto executable_network = ie.LoadNetwork(network, "CPU");
auto infer_request = executable_network.CreateInferRequest();
// 获取第一个模型的输出
auto output = infer_request.GetBlob("output_name");
// 加载第二个模型并调整输入形状
auto network2 = ie.ReadNetwork("model2.xml", "model2.bin");
auto input_info = network2.getInputsInfo().begin()->second;
input_info->getInputData()->reshape({1, 3, 224, 224}); // 假设输入形状为 NCHW
auto executable_network2 = ie.LoadNetwork(network2, "CPU");
auto infer_request2 = executable_network2.CreateInferRequest();
// 将第一个模型的输出作为第二个模型的输入
infer_request2.SetBlob("input_name", output);
// 进行推理
infer_request2.Infer();
// 获取第二个模型的输出
auto output2 = infer_request2.GetBlob("output_name");
// 处理输出结果
// ...
return 0;
}以上三种方法都可以帮助你在 OpenVINO™ 推理引擎中更改模型布局。选择哪种方法取决于你的具体需求和场景。如果你需要在推理过程中动态调整布局，PreProcess 是一个不错的选择；如果你希望在模型加载时调整布局，可以使用 reshape 方法；如果你需要更复杂的布局转换，可以使用 ngraph 进行模型转换。
举报
更多回帖
