基于类间排名相关性的解耦知识蒸馏OACSTPCD
Decoupled Knowledge Distillation Based on Inter-class Ranking Correlation
知识蒸馏(KD)从提出到现在已经取得了很大的成功,不过很多蒸馏策略都是把目光放在了中间层的特征,反而忽略了logit蒸馏的可发展性.解耦知识蒸馏(DKD)的提出使得logit蒸馏重回大众视野.不论是知识蒸馏还是解耦知识蒸馏,都是使用了强一致性约束条件从而导致蒸馏效果次优,特别是在教师网络和学生网络架构悬殊时这种现象尤为突出.针对这个问题,提出了基于类间排名关系一致性的方法.该方法保留教师和学生非目标类预测间的关系,利用类间的排名相关性作为知识蒸馏…查看全部>>
Knowledge distillation has achieved great success since it was proposed,but many distillation strategies focus on the characteristics of the hidden layers and ignore the developability of logit distillation.The decoupled of knowledge distillation makes logit distillation return to public view.Both knowledge distillation and decoupled knowledge distillation use strong consistency constraints to make the distillation effect sub-optimal,especially when the teac…查看全部>>
陈颖;朱子奇;徐仕成;李敏
武汉科技大学 计算机科学与技术学院,湖北 武汉 430065武汉科技大学 计算机科学与技术学院,湖北 武汉 430065武汉科技大学 计算机科学与技术学院,湖北 武汉 430065武汉科技大学 计算机科学与技术学院,湖北 武汉 430065
计算机与自动化
知识蒸馏解耦知识蒸馏强一致性约束关系匹配排名相关性
knowledge distillationdecoupled knowledge distillationstrong consistency constraintrelation matchranking correlation
《计算机技术与发展》 2024 (1)
52-58,7
国家自然科学基金资助项目(61702382)
评论