首页|期刊导航|高技术通讯|面向知识蒸馏的自动梯度混合方法

面向知识蒸馏的自动梯度混合方法

曹炅宣常明张蕊支天张曦珊

高技术通讯2023，Vol.33Issue(12)：1276-1285,10.

高技术通讯2023，Vol.33Issue(12)：1276-1285,10.DOI:10.3772/j.issn.1002-0470.2023.12.005

面向知识蒸馏的自动梯度混合方法

Automatic gradient blending for knowledge distillation

曹炅宣 ¹常明 ²张蕊 ³支天 ³张曦珊³

作者信息

1. 中国科学技术大学合肥 230026||中国科学院计算技术研究所北京 100190||中科寒武纪科技股份有限公司北京 100191
2. 中科寒武纪科技股份有限公司北京 100191
3. 中国科学院计算技术研究所北京 100190||中科寒武纪科技股份有限公司北京 100191
折叠

摘要

关键词

深度神经网络(DNN)/知识蒸馏(KD)/超参数优化(HPO)/图像分类

Key words

deep neural network(DNN)/knowledge distillation (KD)/hyperparameter optimization(HPO)/image classification

引用本文复制引用

曹炅宣,常明,张蕊,支天,张曦珊..面向知识蒸馏的自动梯度混合方法[J].高技术通讯,2023,33(12):1276-1285,10.

基金项目

国家重点研发计划(2020AAA0103802),国家自然科学基金(61925208,61906179,62102399,U20A20227),中国科学院战略性先导科技专项(XDB32050200)和中国科学院稳定支持基础研究领域青年团队计划(YSBR-029)资助项目. （2020AAA0103802）

高技术通讯

OACSTPCD

ISSN：1002-0470

访问量2

下载量0

段落导航