基于注意力机制和对比学习的多模态情感分析OA

针对现有多模态情感分析模型中各模态信息融合不充分以及对时序依赖性挖掘不足的问题,提出了一种结合跨模态注意力、全局自注意力和对比学习的多模态情感分析模型,提高了情感理解的深度。具体来说,首先,分别提取音频、文本、图像3个模态的特征,并将它们映射到同一向量空间中。随后,采用跨注意力机制和全局注意力机制对模态间数据进行有效建模和融合。同时,引入基于数据、标签和时序的对比学习任务,深化模型对多模态特征差异性的理解。在CMU-MOSI和CMU-MOSEI两个公开数据集上的实验结果表明,相较于模态不变和模态特定表示(modality-invariant and-specific representations,MISA)模型,本文模型的二分类准确率分别提升了1.2和1.6百分点,且F1值分别提升了1.0和1.6百分点。