面向视频数据的多模态情感分析OA北大核心CSTPCD
多模态情感分析旨在从文本、图像和音频数据中提取和整合语义信息,从而识别在线视频中说话者的情感状态。尽管多模态融合方案在此研究领域已取得一定成果,但是已有方法在处理模态间分布差异和关系知识的融合方面仍有欠缺,为此,提出一种多模态情感分析方法。设计一种多模态提示门(MPG)模块,其能够将非语言信息转换为融合文本上下文的提示,利用文本信息对非语言信号的噪声进行过滤,得到包含丰富语义信息的提示,以增强模态间的信息整合。此外,提出一种实例到标签的对比学习框…查看全部>>
武星;殷浩宇;姚骏峰;李卫民;钱权
上海大学计算机工程与科学学院,上海200444上海大学计算机工程与科学学院,上海200444中国船舶集团海舟系统技术有限公司,上海200010上海大学计算机工程与科学学院,上海200444上海大学计算机工程与科学学院,上海200444
计算机与自动化
多模态情感分析语义信息多模态融合上下文表征对比学习
《计算机工程》 2024 (6)
P.218-227,10
国家自然科学基金重点项目(61936001)上海市启明星项目(21QB1401900)。
评论