用于语义分割的自监督对比式表征学习OA北大核心CSTPCD

为了提升语义分割模型的精度,并减少逐像素标注大规模语义分割数据集的人力和时间成本,研究了自监督对比式表征学习的预训练方法,并结合语义分割任务的特点,设计了全局-局部交叉对比学习(GLCCL)方法。该方法将全局图像和局部分块后的一系列图像块输入到网络中分别编码全局和局部视觉表征,并通过构建包含全局对比、局部对比和全局-局部交叉对比的损失函数来指导模型训练,使得模型能够同时学习全局和局部区域的视觉表征以及跨区域语义相关性。使用该方法预训练BiSeNet再迁移到语义分割任务时,对比现有的自监督对比式表征学习和有监督预训练方法分别具有0.24%和0.9%平均交并比(MIoU)的性能提升。实验结果表明,该方法能够采用无标注的数据训练语义分割模型而实现分割效果的提升,具有一定的实用价值。