OpenVINO开发小组
直播中

莫循虎

7年用户 943经验值
私信 关注
[问答]

是否可以使用IR实施OpenVINO运行时推断管道?


  • 将 TensorFlow* 模型转换为 IR。
  • 无法确定使用 IR 实现OpenVINO™运行时推断管道的步骤。
   

回帖(1)

蔡表胤

2023-8-15 14:53:48

  • Create* OpenVINO™运行时内核
    import openvino.runtime as ov
            core = ov.Core()
             
  • 编译 模型
    compiled_model = core.compile_model("model.xml", "AUTO")
             
  • 创建 一个推断请求
    infer_request = compiled_model.create_infer_request()
             
  • 设置 输入
    # Create tensor from external memory
            input_tensor = ov.Tensor(array=memory, shared_memory=True)
            # Set input tensor for model with one input
            infer_request.set_input_tensor(input_tensor)
             
  • 开始 推理
    infer_request.start_async()
            infer_request.wait()
             
  • 处理 推断结果
    # Get output tensor for model with one output
            output = infer_request.get_output_tensor()
            output_buffer = output.data
            # output_buffer[] - accessing output tensor data
举报

更多回帖

发帖
×
20
完善资料,
赚取积分