基于3D分层卷积融合的多模态生理信号情绪识别OA
Multi-modal physiological signal emotion recognition based on 3D hierarchical convolution fusion
近年来,脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象.然而,单模态的脑电信号存在情绪信息特征不完备问题,多模态生理信号存在情绪信息交互不充分问题.针对这些问题,提出基于3D分层卷积的多模态特征融合模型,旨在充分挖掘多模态交互关系,更准确地刻画情感信息.首先通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息,再对得到的多模态初级情绪特征信息进行3D卷积融合操作,实现两两模态间的局部交互以及所…查看全部>>
凌文芬;陈思含;彭勇;孔万增
杭州电子科技大学计算机学院,浙江 杭州 310018浙江省脑机协同智能重点实验室,浙江 杭州 310018杭州电子科技大学计算机学院,浙江 杭州 310018浙江省脑机协同智能重点实验室,浙江 杭州 310018
信息技术与安全科学
生理信号情绪识别3D分层卷积多模态交互
《智能科学与技术学报》 2021 (1)
面向海量视频复杂目标识别的多脑脑机协同智能关键理论与技术
76-84,9
国家重点研发计划基金资助项目(No.2017YFE0116800)国家自然科学基金资助项目(No.U1909202,No.U20B2074,No.61971173)浙江省科技计划项目(No.2018C04012)浙江省"脑机协同智能"重点实验室开放基金项目(No.20200E10010)
评论