模型转换
回帖(1)
2023-9-19 15:16:07
- 检查命令行输入参数有没有错误,这个一般会有打印提示;
- 不支持的算子需要使用BMLang或者OKKernel开发,也可以联系FAE来解决;
- 如果是pytorch模型,检查是不是没有做trace;
- 使用转换工具编译模型时,设置环境变量export BMCOMPILER_STAT_ERR=1,然后加上–v 4,保存更详细的日志,提供给我方技术人员进一步排查;
- 有时转换失败是因为误差比对超过了允许的阈值而导致编译过程中断,目前比对误差阈值设置为误差在0.01之内,但也不排除有些模型有很多的累加或除法操作,由于尾差累计导致超出这个范围;可以加上–cmp False关闭比对,最终到业务层面上验证转换后的模型精度是否符合要求;
- 2.7.0以后的sdk可以通过BMCOMPILER_STAT_ERR=1,来看每层的数据相似度,个别超过误差不会中断完整编译过程。
- 检查命令行输入参数有没有错误,这个一般会有打印提示;
- 不支持的算子需要使用BMLang或者OKKernel开发,也可以联系FAE来解决;
- 如果是pytorch模型,检查是不是没有做trace;
- 使用转换工具编译模型时,设置环境变量export BMCOMPILER_STAT_ERR=1,然后加上–v 4,保存更详细的日志,提供给我方技术人员进一步排查;
- 有时转换失败是因为误差比对超过了允许的阈值而导致编译过程中断,目前比对误差阈值设置为误差在0.01之内,但也不排除有些模型有很多的累加或除法操作,由于尾差累计导致超出这个范围;可以加上–cmp False关闭比对,最终到业务层面上验证转换后的模型精度是否符合要求;
- 2.7.0以后的sdk可以通过BMCOMPILER_STAT_ERR=1,来看每层的数据相似度,个别超过误差不会中断完整编译过程。
举报
更多回帖