基于多模态交叉互动的情感识别算法OA
由于单模态情感识别的局限性,研究者已将其研究重点转移到多模态情感识别领域。多模态情感识别围绕最优提取每个模态的特征以及有效融合所提取出的特征这两方面问题进行研究。文中提出了一种基于多模态交叉互动的情感识别方法,以捕获模态表达的多样性。各种模态的编辑器分别提取具有情感信息的特征,模态间注意力机制堆叠的交互模块建模视觉-文本-音频之间的潜在关系。在基于文本、语音和图像的CMU-MOSI和CMU-MOSEI情感识别数据集上进行实验,结果显示在Acc2(…查看全部>>
张慧;李菲菲
上海理工大学光电信息与计算机工程学院,上海200093上海理工大学光电信息与计算机工程学院,上海200093
计算机与自动化
多模态特征融合情感识别情感分析注意力机制变压器变压器的双向编码器表示交互映射
《电子科技》 2024 (10)
P.81-87,7
上海市高校特聘教授(东方学者)岗位计划(ES2015XX)。
评论