预训练语言模型BERT在下游任务中的应用OA
Application of pre-trained language model BERT in downstream tasks
BERT模型是一种全新的语言模型,其采用微调的双向Transformer编码实现,利用fine-tuning的方式进行预训练,实际使用时,只需要根据具体任务额外增加一个输出层就可以用来解决特定任务,克服了传统词嵌入模型对不同任务定义不同网络结构的缺点.为了更好地理解BERT模型及其效果,首先概述BERT模型的原理,以及BERT的预训练策略,然后介绍了如何将BERT模型应用于3个下游任务:文本分类、机器阅读理解和文本摘要,并通过对比实验展示了BER…查看全部>>
段瑞雪;巢文宇;张仰森
北京信息科技大学计算机学院,北京100192国家经济安全预警工程北京实验室,北京100044北京信息科技大学计算机学院,北京100192
信息技术与安全科学
预训练机器阅读理解文本分类文本摘要
《北京信息科技大学学报（自然科学版）》 2020 (6)
77-83,7
北京市自然科学青年基金项目(4204100)北京信息科技大学校基金(1825023)北京信息科技大学2020年促进高校内涵发展-大学生科研训练项目(5102010805)北京信息科技大学2019年度实培计划项目资助