为什么无法在GPU上使用INT8 和 INT4量化模型获得输出？

答案对人有帮助，有参考价值 0

您在GPU上使用OpenVINO™运行INT8/INT4量化的Whisper模型时无输出，可能由以下原因及解决方案导致：

关键原因分析

1. 
   

   GPU插件不支持低精度
   
   OpenVINO™ 2024.0的GPU插件（通过OpenCL）仅支持FP32/FP16，不支持INT8/INT4量化模型。这是架构限制：

   
   
   
   
   • INT8/INT4量化模型需在CPU上运行（使用MLIR或legacy CPU插件）。
   
   
   • 尝试在GPU上强制运行低精度模型会因不兼容而失败（无输出/无错误）。
   
   
   
   


2. 
   

   量化转换兼容性问题
   
   optimum-intel的INT4转换可能依赖试验性特性（如NNCF），可能与OpenVINO™ 2024.0不完全兼容。

   
   


3. 
   

   日志级别未启用
   
   未配置日志时，OpenVINO™可能静默失败（不报错但无输出）。

   
   

解决方案

1. 在CPU上运行量化模型

• 修改推理设备：显式指定device="CPU"（非GPU）。


• 
  

  示例代码：

  
  

   from optimum.intel.openvino import OVModelForSpeechSeq2Seq
  
   from transformers import pipeline
  
  
  
   model = OVModelForSpeechSeq2Seq.from_pretrained(
  
       "./whisper-large-v3_int8",  # 或INT4路径
  
       device="CPU",  # 关键！使用CPU
  
       compile=False
  
   )
  
   model.compile()  # 在CPU上编译
  
  
  
   pipe = pipeline("automatic-speech-recognition", model=model, tokenizer=model.tokenizer)
  
   result = pipe("audio.wav")
  
   print(result["text"])

  
  

2. 验证量化模型正确性

• INT8模型检查：确保转换命令正确：
  

   optimum-cli export openvino --model openai/whisper-large-v3 --weight-format int8 ./whisper-large-v3_int8



• INT4模型：2024.0版本对INT4支持不稳定，建议优先使用INT8。

3. 启用详细日志

添加环境变量查看错误细节：

   import openvino as ov



   core = ov.Core()

   core.set_property("CPU", {"PERFORMANCE_HINT": "THROUGHPUT"})

   core.set_property("GPU", {"PERFORMANCE_HINT": "THROUGHPUT"})

   ov.log.set_level("ERROR")  # 启用ERROR级别日志

运行后检查日志中的设备/精度错误。

4. GPU仅用于FP16模型

• 若需GPU加速，使用FP16精度模型（非量化）：
  

   model = OVModelForSpeechSeq2Seq.from_pretrained(
  
       "./whisper-large-v3_fp16",
  
       device="GPU",  # 支持FP16
  
       compile=False
  
   )

5. 系统环境确认

• 安装依赖：
  

   pip install "optimum-intel[openvino]">=2024.0.0



• 驱动更新：确保GPU驱动支持OpenCL 1.2+。

完整工作流程（推荐INT8+CPU）

1. 
   

   转换模型（INT8）：

   
   

   optimum-cli export openvino --model openai/whisper-large-v3 --weight-format int8 ./whisper_int8

   
   


2. 
   

   在CPU上运行推理：

   
   

   from optimum.intel.openvino import OVModelForSpeechSeq2Seq
   
   model = OVModelForSpeechSeq2Seq.from_pretrained("./whisper_int8", device="CPU")
   
   # ... 加载音频并执行pipeline

   
   


3. 
   

   验证输出：确保音频预处理（采样率16kHz）与模型匹配。

   
   

通过以上步骤，您应在CPU上成功获得INT8/INT4模型的输出。GPU因硬件限制无法支持低精度推理，这是OpenVINO™的当前设计（2024.0）。如需GPU加速，请选择FP16精度模型。