基于交互图神经网络的方面级多模态情感分析OACSCDCSTPCD
Aspect-level multimodal sentiment analysis based on interaction graph neural network
多模态情感表征的关键是有效地从多模态数据中提取和融合特征.尽管,交叉注意力机制的方法能够增强多模态数据的特征融合;但是,交叉注意力仅建立单一模态的全局语义与另一模态局部特征的关联,不足以反映多模态在局部特征上的对齐关系.为了获取多模态间的深度交互信息,提出一种模态交互图神经网络,借助于方面词,将不同模态的语义单元进行连接,形成多模态交互图;然后,利用图注意力网络中的消息传递机制进行特征融合.在两个基准数据集上的实验结果表明,相比于当前先进的注意力…查看全部>>
The key to multimodal sentiment representation is to effectively extract and fuse features from multimodal data.Al-though the method of cross-attention mechanism can enhance the feature fusion of multimodal data.However,cross-attention only establishes the association between the global semantics of a single modality and the local features of another modality,which is not enough to reflect the alignment relationship of multimodalities on local features.In or…查看全部>>
李丽;李平
西南石油大学计算机科学学院,成都 610500西南石油大学计算机科学学院,成都 610500
计算机与自动化
方面级多模态情感分析模态交互图神经网络图注意力网络
aspect-level multimodal sentiment analysismodal interaction graph neural networkgraph attention network
《计算机应用研究》 2023 (12)
基于机器学习的时变网络表示方法研究
3683-3689,7
国家自然科学基金项目(61873218)西南石油大学创新基地项目(642)
评论