Bi-SCNN:二值随机混合神经网络加速器OA北大核心CSTPCD
二值神经网络(BNN)具有硬件友好的特性,但为了保证计算精度,在输入层仍需要使用浮点或定点计算,增加了硬件开销。针对该问题,本文将另一种同样具有硬件友好特性的随机计算方法应用于BNN,实现了BNN输入层的高效计算,并设计了二值随机混合计算架构Bi-SCNN。首先,在BNN输入层使用高精度的随机运算单元,实现了与定点计算近似的精度;其次,通过在处理单元(PE)内和PE间2个层次对随机数生成器进行复用,并优化运算单元,有效降低了硬件开销;最后,根据输入数据的特性对权值配置方式进行优化,进而降低了整体计算延迟。相比于现有性能最优的BNN加速器,Bi-SCNN在保证计算精度的前提下,实现了2.4倍的吞吐量、12.6倍的能效比和2.2倍的面积效率提升,分别达到2.2 TOPS、7.3 TOPS·W^(-1)和1.8 TOPS·mm^(-2)。
于启航;文渊博;杜子东
中国科学院计算技术研究所处理器芯片国家重点实验室,北京100190 中国科学院大学,北京100049中国科学院计算技术研究所处理器芯片国家重点实验室,北京100190中国科学院计算技术研究所处理器芯片国家重点实验室,北京100190 上海处理器技术创新中心,上海201203
计算机与自动化
二值神经网络(BNN)随机计算(SC)神经网络加速器
《高技术通讯》 2024 (12)
P.1243-1255,13
国家重点研发计划(2022YFB4501601)国家自然科学基金(62222214,61925208,U19B2019,U22A2028)中国科学院稳定支持基础研究领域青年团队计划(YSBR-029)资助项目。
评论