随着TensorFlow Lite的推出,TensorFlow已经更新了量化技术和工具,您可以使用这些技术和工具来提高网络性能。
本指南向您展示如何量化网络,使其在训练过程中使用8位数据类型,使用TensorFlow 1.9或更高版本中提供的功能。
设备可以比32位浮点模型更快地执行8位整数模型,因为需要移动的数据更少,并且可以使用更简单的整数算术运算进行乘法和累加。
如果您使用CoreML部署TensorFlow模型,Arm建议您将32位未量化模型转换为CoreML。要将模型转换为CoreML,请使用34Tgithub.com/tf-CoreML/tf-coreml34T,然后使用CoreML量化工具优化模型以进行部署。查看34T苹果开发者34Twebsite了解更多更新。
请注意,目前无法在iOS上通过CoreML部署8位量化TensorFlow模型。但是,您可以使用34TTensorFlow GitHub34T中描述的round_weights变换,使用相同的技术来减少用于分发的压缩模型大小,或者使用TensorFlow C++接口部署8位模型。
-
量化图表.pdf
(2023-8-10 08:00 上传)
176 Bytes, 下载次数: 0