使用Python API在OpenVINO™中创建了用于异步推理的自定义代码，输出张量的打印结果会重复，为什么？

答案对人有帮助，有参考价值 0

在使用 OpenVINO™ 的 Python API 进行异步推理时，输出张量的打印结果重复的问题可能与以下几个原因有关：

1. 异步推理的回调函数未正确处理

• 在异步推理中，推理请求的回调函数（callback）负责处理推理结果。如果回调函数没有正确地从推理请求中获取输出张量，或者没有正确地将结果与输入关联，可能会导致重复打印相同的输出。


• 确保在回调函数中正确地获取输出张量，并且将输出与对应的输入关联起来。

2. 推理请求的复用问题

• 在异步推理中，推理请求（InferRequest）通常会被复用。如果在每次推理之前没有正确地设置输入数据，或者没有清除之前的推理结果，可能会导致重复输出。


• 确保在每次推理之前，正确地设置输入数据，并且在获取输出之前，确保推理请求已经完成。

3. 推理请求的状态未正确检查

• 在异步推理中，推理请求的状态需要被正确检查。如果在推理请求未完成时就开始获取输出张量，可能会导致获取到之前的推理结果。


• 使用 InferRequest.wait() 或 InferRequest.is_ready() 方法来确保推理请求已经完成，然后再获取输出张量。

4. 输出张量的缓存问题

• 如果输出张量在代码中被缓存或重复使用，而没有在每次推理时更新，可能会导致重复输出。


• 确保每次推理时，输出张量都是最新的，并且在打印之前已经更新。

5. 输入数据未正确更新

• 如果输入数据在每次推理时没有正确更新，可能会导致相同的输入数据被多次推理，从而产生相同的输出。


• 确保在每次推理之前，输入数据已经正确更新。

示例代码检查点

以下是一些需要检查的代码片段：

from openvino.runtime import Core, AsyncInferQueue



# 初始化OpenVINO™ Core和模型

core = Core()

model = core.read_model("model.xml")

compiled_model = core.compile_model(model, "CPU")



# 创建异步推理队列

infer_queue = AsyncInferQueue(compiled_model)



# 定义回调函数

def callback(infer_request, user_data):

    # 获取输出张量

    output = infer_request.get_output_tensor()

    output_data = output.data

    print("Output:", output_data)



# 设置回调函数

infer_queue.set_callback(callback)



# 进行异步推理

for i in range(num_requests):

    input_data = get_input_data(i)  # 确保每次获取不同的输入数据

    infer_queue.start_async(input_data)



# 等待所有推理请求完成

infer_queue.wait_all()

检查点：

1. callback 函数：确保在回调函数中正确地获取输出张量，并且将输出与对应的输入关联起来。


2. start_async：确保每次调用 start_async 时，输入数据已经正确更新。


3. wait_all：确保所有推理请求都已经完成，然后再进行后续操作。

总结

输出张量重复的问题通常与异步推理的回调函数、推理请求的复用、输入数据的更新以及推理请求的状态检查有关。通过仔细检查这些部分，应该能够找到并解决问题。