基于脑电信号和周围生理信号的多模态融合情感识别OA

基于脑电信号(Electroencephalogram,EEG)和周围生理信号解码人类内部情绪状态是情感计算领域的关键,但使用脑电信号或周围生理信号模态的机器学习模型性能可能受到限制。文中基于单模态方法提出了一种多模态融合策略,对每个脑电信号片段提取了微分熵特征、统计特征和复杂度特征,并对这些特征与周围生理信号特征进行了适当整合。文中方法融合了DEAP(Database for Emotion Analysis using Physiological Signals)数据集中记录的多个模态特征。在效价方面,单一脑电特征的实验精度为49.21%,两类特征融合分别取得了56.39%、55.24%和56.98%的分类精度,3类模态融合的实验精度为56.98%。在唤醒方面,单一脑电特征的实验精度为49.34%,两类特征融合分别取得了54.53%、54.53%和59.39%的分类精度,3类特征融合的实验精度为55.48%。实验结果表明,脑电信号特征和外周围生理信号特征融合后的多模态特征分类精度最高,相比于单一的脑电信号特征分类精度分别提升了7.77%和10.05%。