基于跨模态联合编码的多模态情感分析OA北大核心CSTPCD
如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题,进而影响模型的性能。针对上述问题,提出一种基于跨模态联合编码的多模态情感分析模型。在特征提取方面,利用预训练模型BERT和Facet模型分别提取文本和视觉特征,经过一维卷积操作获取相同维度的单模态特征表示。特征融合方面,利用跨模态…查看全部>>
孙斌;江涛;贾莉;崔伊明
西北民族大学语言与文化计算教育部重点实验室,兰州730030西北民族大学语言与文化计算教育部重点实验室,兰州730030南京信息工程大学计算机学院,南京210044西北民族大学语言与文化计算教育部重点实验室,兰州730030
计算机与自动化
多模态情感分析联合编码跨模态注意力多模态融合
《计算机工程与应用》 2024 (18)
P.208-216,9
2022年甘肃省教育科技创新项目青年博士基金项目(2022QB-025)。
评论