一种多头注意力提高神经网络泛化的方法OA
A Method for Improving Generalization of Neural Network Based on Multi-heads Attention
针对目前许多神经网络模型存在泛化能力较差现象,提出一种多头注意力方法以缓解神经网络泛化问题.该方法利用多头注意力从并行的长短期记忆网络(LSTM)中选择性激活并进行信息交流.在信息交流过程中既保留了普遍性信息,又加强了鲁棒性,从而提高神经网络的泛化能力.在对比传统并行LSTM实验中,该方法在4种数据集的平均测试误差比传统方法约低1.39％.另外与3种相关研究进行对比,该方法在4种数据集的平均测试误差比次优算法约低0.21％,并且在加噪情况下平均测…查看全部>>
陈曦;姜黎
湘潭大学物理与光电工程学院,湖南湘潭411100湘潭大学物理与光电工程学院,湖南湘潭411100
信息技术与安全科学
神经网络多头注意力泛化能力
《软件导刊》 2021 (5)
34-38,5
评论