基于单幅图像形状特征的三维漫画人脸重建OA北大核心

针对单幅图像的三维漫画人脸重建存在地标检测准确性差和生成模型还原高频细节能力低的问题,提出了一种多尺度特征融合与高频信息映射的两阶段方法。在第一阶段中,多尺度通道融合地标检测器用于提高检测的准确性。其中多尺度特征由HRNet产生;由通道注意力和Swin Transformer构成的注意力层用于多尺度通道融合特征提取;为了提高生成地标的精度,损失函数由地标损失和热图损失两部分构成。在第二阶段中,傅里叶特征共享层变形网络使生成的三维漫画人脸具有更丰富的高频形状细节。其中傅里叶特征映射提取高维特征,使网络学习更多形状的高频信息;共享层超网络加快了网络的收敛和重建速度。该方法应用于CaricatureFace和3DCaricShop数据集。实验结果表明,该方法中的地标检测器的平均检测误差减少了4.4%;变形网络在形状重建上的均方误差减少了26%,并且平均重建时间减少了18%;最终重建出的三维漫画人脸具有夸张的形状和自然的细节。