基于金字塔知识的自蒸馏HRNet目标分割方法OACSTPCD
The Self-Distillation HRNet Object Segmentation Based on the Pyramid Knowledge
知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-Resolution Net)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战,本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型:在HRNet分支结构中引入多尺度池化金字塔表示模块,提升网络的知识表示和学习能力;构造"自上而下"和"一致性"两种蒸馏模式;融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明:本文模型在不增加资源开销的前提下,有效提升了网络的目标分割性能.
郑云飞;王晓兵;张雄伟;曹铁勇;孙蒙
陆军工程大学指挥控制工程学院,江苏南京 210007||陆军炮兵防空兵学院,安徽合肥 230031||安徽省偏振成像与探测重点实验室,安徽合肥 230031陆军工程大学指挥控制工程学院,江苏南京 210007||陆军炮兵防空兵学院,安徽合肥 230031陆军工程大学指挥控制工程学院,江苏南京 210007陆军工程大学指挥控制工程学院,江苏南京 210007陆军工程大学指挥控制工程学院,江苏南京 210007
信息技术与安全科学
自蒸馏学习并行结构网络多尺度池化金字塔结构化相似性目标分割
《电子学报》 2023 (3)
面向迷彩伪装目标表示与检测的生成对抗式深度学习方法研究
746-756,11
国家自然科学基金(No.61801512,No.62071484)江苏省自然科学基金(No.BK20180080)
评论