基于空间注意力推理机制的视觉问答算法研究OA北大核心CSCDCSTPCD
Algorithm of visual question answering based on spatial attention reasoning mechanism
针对现有基于注意力机制的多模态学习,对文字上下文之间的自我联系和图像目标区域的空间位置关系进行了深入研究.在分析现有注意力网络的基础上,提出使用自注意力模块(self-attention,SA)和空间推理注意力模块(spatial reasoning attention,SRA)对文本信息和图像目标进行映射,最终得到融合特征输出.相较于其他注意力机制,SA和SRA可以更好地将文本信息匹配图像目标区域.模型在VQ…查看全部>>
李智涛;周之平;叶琴
南昌航空大学 信息工程学院,南昌330063南昌航空大学 信息工程学院,南昌330063南昌航空大学 信息工程学院,南昌330063
信息技术与安全科学
视觉问答注意力机制多模态学习自注意力空间推理注意力
《计算机应用研究》 2021 (3)
952-955,4
国家自然科学基金资助项目(71761028)
评论