基于深度图文细粒度对齐的弱监督多模态情感分析OA北大核心

针对现有多模态情感分析方法在模态对齐上不够精细,深度特征融合时易丢失重要信息的问题,提出了一种图文深度交互模型。该模型摈弃使用图像区域强监督的方式检测图片中的物体,首先将图片平等划分成更精细的区域序列,通过双路融合流的深度融合层来对齐多模态数据中蕴涵的潜在模式,并使用自适应门阀优化残差注意力信息的传递。在MSED和MSVA数据集上进行实验,相比较基线模型,在准确率和F 1分数上分别取得了最高1.06%、0.74%和0.75%、0.63%的提升。最后通过可视化细粒度对齐效果和消融实验证明了所提方法的有效性。