基于BERT的民间文学文本预训练模型OACSTPCD
民间文学文本中含有大量生动形象的修辞手法;人名、地名极其复杂,难以判断词与词之间的边界;与现代汉语表达差别较大,预训练语言模型难以有效地学习其隐含知识,为机器自然语言理解带来困难。该文提出一种基于BERT的民间文学文本预训练模型MythBERT,使用民间文学语料库预训练,将BERT的字隐蔽策略改进为对中文词语隐蔽策略。对民间文学文本中解释字、词的注释词语重点隐蔽,减小BERT隐蔽的随机性并有利于学习词语语义信息。同时利用注释增强语言模型表示,解决…查看全部>>
陶慧丹;段亮;王笳辉;岳昆
云南大学信息学院,云南昆明650500 云南大学云南省智能系统与计算重点实验室,云南昆明650500云南大学信息学院,云南昆明650500 云南大学云南省智能系统与计算重点实验室,云南昆明650500云南大学信息学院,云南昆明650500 云南大学云南省智能系统与计算重点实验室,云南昆明650500云南大学信息学院,云南昆明650500 云南大学云南省智能系统与计算重点实验室,云南昆明650500
信息技术与安全科学
预训练语言模型民间文学文本BERT自然语言处理下游任务
《计算机技术与发展》 2022 (11)
P.164-170,7
评论