![]()
NPU OpenVINO
- 在 NPU 上推断 OpenVINO™优化的 tinyLlama 模型。
- 遇到的错误：
get_shape was called on a descriptor::Tensor with dynamic shape
回帖（1）
2025-7-11 16:59:57
- 升级 OpenVINO™版本到 2025.1 并 安装 所需的依赖项。
pip install openvino==2025.1 openvino-tokenizers==2025.1 openvino-genai==2025.1 nncf==2.14.1 onnx==1.17.0 optimum-intel==1.22.0
- 推断 OpenVINO™使用 OpenVINO™ GenAI 优化了 NPU 上的 TinyLlama 模型。
import openvino_genai as ov_genai
model_path = "TinyLlama"
pipe = ov_genai.LLMPipeline(model_path, "NPU")
print(pipe.generate("What is OpenVINO?", max_length=200))
- 升级 OpenVINO™版本到 2025.1 并 安装 所需的依赖项。
pip install openvino==2025.1 openvino-tokenizers==2025.1 openvino-genai==2025.1 nncf==2.14.1 onnx==1.17.0 optimum-intel==1.22.0
- 推断 OpenVINO™使用 OpenVINO™ GenAI 优化了 NPU 上的 TinyLlama 模型。
import openvino_genai as ov_genai
model_path = "TinyLlama"
pipe = ov_genai.LLMPipeline(model_path, "NPU")
print(pipe.generate("What is OpenVINO?", max_length=200))
举报
更多回帖
