基于知识蒸馏的短文本分类方法OA
Short Text Classification Method Based on Knowledge Distillation
近年来,随着深度学习技术在自然语言处理任务中的广泛应用,语言模型规模越来越大.然而,大规模模型推理速度慢、资源消耗成本高,难以在工业上进行应用,小规模模型又难以达到大规模模型效果.因此提出一种基于教师—学生框架的知识蒸馏模型,以预训练模型BERT作为教师模型,以长短时记忆网络(BiLSTM)等小模型作为学生模型,通过教师指导学生学习的方式将教师模型学习到的知识迁移至学生模型中.实验结果表明,蒸馏模型将运算推理时间缩短至教师模型的1/725,将学生…查看全部>>
孙红;黄瓯严
上海理工大学光电信息与计算机工程学院,上海200093上海理工大学光电信息与计算机工程学院,上海200093
信息技术与安全科学
知识蒸馏文本分类双向模型自然语言处理
《软件导刊》 2021 (6)
基于生理信号局部被试共性特征的脑力负荷动态深度学习识别方法研究
23-27,5
国家自然科学基金项目(61472256,61170277,61703277)沪江基金项目(C14002)
评论