基于跨模态门控机制和改进融合方法的多模态情感分析OACSTPCD
Multimodal sentiment analysis based on cross-modal gating mechanism and improved fusion method
如何有效挖掘单模态表征并实现多模态信息的充分融合是多模态情感分析研究的重点之一.针对多模态情感分析中的模态间噪声和多模态特征融合不充分等问题,提出一种基于跨模态门控机制和改进融合方法的多模态情感分析模型.首先,利用跨模态门控机制去除模态间噪声,提取互补信息以增强模态表示.然后,利用权重和相似约束分别关注不同模态情感贡献的差异性和情感表达的一致性.最后,结合模态的多层次表示获得情感分析的结果.在三个公开数据集上的实验结果表明,所提模型是有效的,相比…查看全部>>
缪裕青;杨爽;刘同来;张万桢;朱林;周明
桂林电子科技大学计算机与信息安全学院,广西桂林541004||桂林电子科技大学广西图像图形与智能处理重点实验室,广西桂林541004||桂林电子科西密码学与信息安全重点实验室,广西桂林541004桂林电子科技大学计算机与信息安全学院,广西桂林541004仲恺农业工程学院信息科学与技术学院,广州510225仲恺农业工程学院信息科学与技术学院,广州510225||桂林航天工业学院工程综合训练中心,广西桂林541004桂林电子科技大学计算机与信息安全学院,广西桂林541004桂林海威科技有限公司,广西桂林541004
计算机与自动化
多模态情感分析模态间噪声跨模态门控机制多模态融合
multimodal sentiment analysisinter-modal noisecross-modal gating mechanismmultimodal fusion
《计算机应用研究》 2023 (7)
数据流半监督分类中的半监督迁移学习研究
2025-2030,2038,7
国家自然科学基金资助项目(61866007)广西自然科学基金重点项目(2018GXNSFDA138006)广西高校图像图形智能处理重点实验室研究项目(GIIP201706)广西自然科学基金资助项目(2020GXNSFAA159094)广东省研究生教育创新计划资助项目(2022JGXM115)教育部产学合作协同育人项目(202102191071,202102211021)桂林电子科技大学研究生教育创新计划资助项目(2022YCXS066,2023YCXS044)广东自然科学基金资助项目(2023A1515011230)
评论