基于三元自注意力的视频快照压缩成像重建OA北大核心

视频快照压缩成像(SCI)是一种基于计算的成像技术,通过在时间域和空间域上的混合压缩来实现高效成像。在视频SCI中,利用信号的稀疏性以及它在时间域和空间域中的相关性并采用合适的视频SCI算法,有效地重建原始视频信号。虽然基于深度学习的重建算法在多数任务中取得了良好的效果,但是还存在过高的模型复杂度和较慢的重建速度。为解决这些问题,提出一个基于三元自注意力的视频快照压缩成像重建网络模型SCT-SCI,利用多分支分组自注意力机制来利用时间域和空间域的相关性。SCT-SCI模型由一个特征提取模块、一个视频重建模块和多个三元自注意力模块SCT-Block组成。每个SCT-Block由一个窗口自注意力分支、一个通道自注意力分支和一个时序自注意力分支组成,同时引入空间聚合模块SC-2DFusion和全局聚合模块SCT-3DFusion加强特征融合。实验结果显示,在模拟视频数据集上,该模型具有低复杂度的优势,在保证接近的重建质量的前提下相比EfficientSCI模型节省了31.58%的重建时间,提升了实时性能。