请问如何优化OpenVINO™工具套件中的内存使用？

答案对人有帮助，有参考价值 0

优化 OpenVINO™ 工具套件中的内存使用是一个多方面的任务，涉及模型、推理配置、运行时参数以及应用程序设计等多个层面。以下是关键优化策略：

1.  使用异步推理 API (AsyncInferQueue)

• 原理： 异步推理允许应用程序在设备执行推断的同时准备下一帧数据或处理上一帧的结果，形成流水线。这能更均匀地分配内存和计算负载，显著降低峰值内存占用。相比之下，同步推理需要等待当前推断完全完成才能开始下一轮，内存无法及时回收。


• 
  

  实施：

  
  

  # Python 示例
  
  from openvino.runtime import Core, AsyncInferQueue
  
  
  
  core = Core()
  
  model = core.read_model("model.xml")
  
  compiled_model = core.compile_model(model, "AUTO")
  
  
  
  # 创建异步推理队列 (深度为 N)
  
  infer_queue = AsyncInferQueue(compiled_model, jobs=4)  # jobs 控制并发的请求数
  
  infer_queue.set_callback(my_callback)  # 设置回调函数处理结果
  
  
  
  # 提交请求
  
  for i in range(num_frames):
  
      infer_queue.start_async({input_name: input_data[i]}, userdata=i)
  
  infer_queue.wait_all()  # 等待所有请求完成

  
  

  // C++ 示例 (简化)
  
  ov::Core core;
  
  auto model = core.read_model("model.xml");
  
  auto compiled_model = core.compile_model(model, "AUTO");
  
  
  
  ov::InferRequest infer_request = compiled_model.create_inferRequest();
  
  // ... (设置输入)
  
  
  
  // 提交异步请求并立即返回
  
  infer_request.start_async();
  
  
  
  // ... (可以在此处准备下一帧或做其他事)
  
  infer_request.wait(); // 等待此请求完成

  
  

2.  优化模型精度与压缩

• FP32 -> FP16 / BF16: 大多数现代 CPU (支持 AVX-512 BF16/FP16 指令集)、GPU 和 VPU 能高效处理半精度浮点 (FP16) 或脑浮点 (BF16)。使用模型优化器进行精度转换：
  

  mo --input_model model.onnx --data_type FP16  # 或 BF16

  
  

  内存节省：~50% (相比 FP32)。



• INT8 量化 (Post-Training Quantization, PTQ): 将模型权重和激活从 FP32/FP16 量化为 INT8。这需要校准数据集来统计激活分布。可使用 OpenVINO 的 神经网络压缩框架 (NNCF) 或模型优化器的量化功能。
  

  # 使用模型优化器 PTQ (需 OpenVINO >= 2022.3)
  
  mo --input_model model.onnx --data_type INT8 --mean_values [123,117,104] --scale_values [58,57,57] --compressed_weights

  
  

  内存节省：~75% (相比 FP32)。注意可能带来轻微精度损失。

3.  复用推理请求对象 (InferRequest)

• 原理： 创建 InferRequest 对象涉及模型状态初始化等开销。避免在每个推理循环中反复创建和销毁它们。


• 实施： 在应用程序初始化时创建一批（如异步队列深度所需数量）InferRequest 对象，并在整个运行过程中重复使用它们。

4.  谨慎管理输入/输出张量内存

• 避免不必要的拷贝：
  
  
  
  • 直接使用 InferRequest 的输入/输出张量指针进行数据填充和读取，而不是先复制到临时变量再赋值。
  
  
  • 如果原始数据内存布局（如 NHWC）与模型期望的布局（如 NCHW）不一致，使用 set_tensor 的 memory 参数指定共享内存时需谨慎，或者使用 PrePostProcessor 进行布局转换。布局转换操作可能导致内部拷贝。
  
  


• shared_memory 选项 (GPU): 当使用 GPU 插件时，启用 ov::intel_gpu::shared_memory 配置选项允许 CPU 和 GPU 共享输入/输出内存缓冲区，减少显式拷贝（如 Zero-Copy）。但需注意访问同步。

5.  控制预处理和后处理

• 内置预处理: 尽可能使用 ov::preprocess::PrePostProcessor 在模型编译时将预处理（归一化、颜色转换、Resize）和后处理集成到模型中。这允许推理引擎进行优化，并可能减少临时缓冲区的数量。


• 外部高效处理: 如果必须手动处理，使用内存高效的库（如 OpenCV）并尽量复用缓冲区。

6.  设备选择与配置优化

• 明确指定设备 (避免 AUTO 的默认试探): 使用 AUTO 时，虽然方便，但可能会加载不必要的插件或保守分配资源。如果明确知道目标设备 (如 CPU, GPU.0, MYRIAD)，直接指定它：
  

  compiled_model = core.compile_model(model, "CPU")  # 或 "GPU", "MYRIAD"



• 
  

  调整性能配置 (如 CPU):

  
  

  # 调整 CPU 推理线程数 (避免过多线程浪费栈空间)
  
  config = {"PERFORMANCE_HINT": "THROUGHPUT", "INFERENCE_NUM_THREADS": 4}  # 或 LATENCY
  
  compiled_model = core.compile_model(model, "CPU", config)
  
  
  
  # 对于大量小型推理任务，使用低延迟配置有时也能间接节省内存（缩短请求存在时间）

  
  


• 关闭不需要的功能: 查阅特定插件的配置项（如 ov::cache_dir 用于模型缓存，避免重复编译，但缓存本身占用磁盘/内存。按需启用）。

7.  释放不再需要的资源

• 显式释放: 及时释放不再使用的 Core、CompiledModel、InferRequest 等对象。在 Python 中可以利用 del 并调用 gc.collect() 强制回收。在 C++ 中确保作用域和析构。


• 模型卸载: 在长时间运行的服务中，如果某些模型不再需要，将其从核心对象中卸载以释放其内存。

8.  监控与分析内存使用

• OpenVINO API: 使用 get_property API 获取运行时内存消耗信息：
  

  mem_stats = core.get_property("CPU", ov.properties.device.memory_stats)
  
  print(mem_stats["MEM_TOTAL"])  # 设备总内存 (GPU 对应显存)
  
  print(mem_stats["MEM_FREE"])   # 设备当前空闲内存
  
  # 对于特定模型/请求，内存占用通常体现在这些统计中。



• 系统工具: 结合操作系统级工具监控进程内存：
  
  
  
  • Linux: top, htop, vmstat, /proc/[pid]/status (VMRSS), valgrind massif
  
  
  • Windows: Task Manager, perfmon
  
  

9.  使用较新的 OpenVINO 版本

• 英特尔的 OpenVINO 团队持续进行内存优化。尽可能升级到稳定新版本。

总结诊断步骤：

1. 确定瓶颈: 用 get_property 和系统工具监控，确认内存瓶颈发生在 CPU RAM 还是 GPU VRAM？发生在模型加载阶段还是推理运行时？


2. 选择精度: 评估是否能接受 FP16/BF16 或 INT8（NNCF）带来的精度损失。这是最显著的优化。


3. 改为异步推理: 将同步循环改为 AsyncInferQueue。


4. 复用请求: 确保 InferRequest 对象被复用。


5. 优化数据流: 检查输入/输出数据处理是否有不必要的拷贝。利用内置预处理。


6. 调整设备配置: 明确指定设备，调整线程数等配置。


7. 分析内存: 持续监控优化前后的效果。

常见问题解决：

• OUT_OF_MEMORY 错误：
  
  
  
  • 检查设备可用内存。
  
  
  • 使用更低精度的模型。
  
  
  • 减少异步队列深度 (jobs)。
  
  
  • 尝试使用更小的批处理大小 (batch_size)。
  
  
  • 释放未使用的资源和对象。
  
  


• 内存持续增长 (疑似泄漏)：
  
  
  
  • 确保正确复用 InferRequest。
  
  
  • 检查是否在每次推理时都创建了新的临时缓冲区。
  
  
  • 使用分析工具查找泄漏点（如 valgrind）。
  
  
  • 尝试关闭一些插件特性。
  
  

通过结合以上策略，并根据具体应用场景进行有针对性的调整，通常能显著降低 OpenVINO 推理过程中的内存占用。