一种基于自适应PoT量化的无乘法神经网络训练方法OA北大核心CSTPCD
Multiplication-free neural network training based on adaptive PoT quantization
当前的深度神经网络的训练过程中需要包含大量的全精度乘累加(MAC)操作,导致神经网络模型的线性层(包含卷积层和全连接层)的计算过程所需的能耗占整体能耗的绝大部分,达90%以上.本文提出了一种自适应逐层缩放的量化训练方法,可支持在神经网络计算全流程(前向传播和后向传播)将全部线性层中的全精度乘法替换为 4位定点数加法计算和1 位异或运算.实验结果表明,上述方法在能耗和准确率方面都优于现有方法,可支撑在训练过程中减少达 95.8%的线性层能耗,在Im…查看全部>>
The current deep neural network training process needs a large number of full-precision multiply-accumulate(MAC)operations,resulting in a situation that the energy consumption of the linear layers(including the convolu-tional layer and the fully connected layer)accounts for the vast majority of the overall energy consumption,reac-hing more than 90%.This work proposes an adaptive layer-wise scaling quantization training method,which can support the replacemen…查看全部>>
刘畅;张蕊;支天
中国科学院大学 北京 100049||中国科学院计算技术研究所智能处理器研究中心 北京 100190中国科学院计算技术研究所智能处理器研究中心 北京 100190||中国科学院计算技术研究所处理器芯片全国重点实验室 北京 100190中国科学院计算技术研究所智能处理器研究中心 北京 100190||中国科学院计算技术研究所处理器芯片全国重点实验室 北京 100190
神经网络量化训练加速低能耗
neural networkquantizationtraining accelerationlow energy consumption
《高技术通讯》 2024 (6)
567-577,11
国家重点研发计划(2018AAA0103300),国家自然科学基金(62102399,U22A2028,U20A20227)和中国科学院稳定支持基础研究领域青年团队计划(YSBR-029)资助项目.
评论