基于轻量级的DialogueRNN多模态优化方法OACSTPCD

对话情感识别(ERC)是自然语言处理中非常活跃的研究领域,而对话语情感进行分类也广泛应用于人机交互中,目前大多数研究主要集中在对说话人和上下文信息建模上,主要使用简单的特征拼接来利用多模态信息而忽略了模态间的依赖关系。为了解决上述问题,该文使用基于注意力机制的网络模型来动态地融合多模态特征,提出了一种基于轻量级的DialogueRNN多模态优化方法MMRNN(multimodal RNN)。首先,在多模态融合的过程中输入注意力得分来关注更重要的模态;其次,优化掉DialogueRNN中的情感GRU;最后,对模型进行堆叠以增加模型深度,并在每层的输出加上注意力机制得到最终情感输出。通过在两个公开的数据集上的模拟实验结果表明,提出的基于轻量级的DialogueRNN多模态优化方法具有较好的性能。