基于自监督掩码光流的人脸微表情识别OA北大核心

在人脸微表情识别研究领域,现有特征提取方法主要依赖于有监督学习方式,限制了模型在微表情表征中的应用场景和泛化能力。为此,利用掩码自编码器(MAE)技术构建了面向微表情数据集特点的自监督特征编码器,并将其应用于下游微表情识别任务,提出了一种基于自监督掩码光流(self-supervised masked optical flow,SMOF)的人脸微表情识别方法。首先,使用微表情数据集中每个顶点帧的左右各两帧与起始帧计算的光流图作为初步输入。然后,使用重采样技术平衡数据集中各类样本。最后,利用增广后的数据集预训练SMOF模型,通过随机掩盖输入图像的局部块,重构缺失块的像素。在下游任务中,使用ViT-Large模型加载已训练好的特征提取器,取得了较好的微表情分类结果。采用留一受试者交叉验证(LOSO)方法,评估了模型在3DB微表情数据集上的性能,未加权F1分数(UF1)和未加权平均召回率(UAR)分别达0.8614和0.8716,优于其他深度学习微表情识别方法。实验结果表明,基于SMOF的微表情识别方法可行且有效,具有较好的可迁移性和扩展性。