深度学习中注意力机制研究进展OA
Research progress in attention mechanism in deep learning
对注意力机制的主流模型进行了全面系统的概述.注意力机制模拟人类视觉选择性的机制,其核心的目的是从冗杂的信息中选择出对当前任务目标关联性更大、更关键的信息而过滤噪声,也就是高效率信息选择和关注机制.首先简要介绍和定义了注意力机制的原型,接着按照多个层面对各种注意力机制结构进行分类,然后对注意力机制的可解释性进行了阐述同时总结了在各种领域的应用,最后指出了注意力机制未来的发展方向以及会面临的挑战.
刘建伟;刘俊文;罗雄麟
中国石油大学(北京)自动化系,北京 102249中国石油大学(北京)自动化系,北京 102249中国石油大学(北京)自动化系,北京 102249
信息技术与安全科学
注意力机制全局/局部注意力机制硬/软注意力机制自注意力机制可解释性
《北京科技大学学报》 2021 (11)
1499-1511,13
中国石油大学(北京)科研基金资助项目(2462020YXZZ023)
评论