存内计算是突破物理极限的下一代算力技术- AIGC等人工智能新兴产业的快速发展离不开算力,算力的基础是人工智能芯片。
当前CPU/GPU在执行计算密集型任务时需要将海量参数(ωij)从内存中读取出来再进行计算,读取时间与参数规模成正比,计算芯片的功耗和性能受限,GPU算力利用率甚至不到8%。
存内计算芯片实现了存储单元与计算单元的物理融合,没有独立的计算单元,直接通过在存储器颗粒上嵌入算法,由存储器芯片内部的存储单元完成计算操作,实现计算能效数量级提升,无需读出参数,直接利用存储参数的单元(ωij)与输入矩阵X进行计算,极大节约内存读写,大幅提高计算效率,突破物理极限。
知存科技是全球领先的存内计算芯片企业。公司针对AI应用场景,在全球率先商业化量产基于存内计算技术的神经网络芯片。凭借颠覆性的技术创新,知存科技突破传统计算架构局限,利用存储与计算的物理融合大幅减少数据搬运,在相同工艺条件下将AI计算效率提升2个数量级,充分满足快速发展的神经网络模型指数级增长的算力需求。
wi
tin_mapper是知存科技自研的用于神经网络映射的编译软件栈,可以将量化后的神经网络模型映射到WTM2101 MPU加速器上,是一种包括RiscV和MPU的完整解决方案,可以完成算子和图级别的转换和优化,将预训练权重编排到存算阵列中,并针对网络结构和算子给出存算优化方案,同时将不适合MPU运算的算子调度到CPU上运算,实现整网的调度,让神经网络开发人员高效快捷的将训练好的算法运行在WTM2101芯片上,极大缩短模型移植的开发周期并提高算法开发的效率。
工具链资料链接:
https://download.csdn.net/download/m0_58966968/89095545?spm=1001.2014.3001.5503