基于多层级注意力机制和动态阈值的远程监督关系抽取OA北大核心CSTPCD
Distant supervision relation extraction based on multi-level attention mechanism and dynamic threshold
远程监督关系抽取面临着数据质量的问题,即生成的数据集存在多类噪声,包括噪声词、噪声句和噪声包.现有研究主要集中在噪声句方面,忽略了其他噪声的影响,无法彻底消除噪声.为此,提出一种基于多层级注意力机制和动态阈值的远程监督关系抽取模型(MADT).该模型首先采用预训练语言模型获取实体对语义表示,再通过双向门控循环单元和自注意力机制获得蕴涵关键词信息的语义特征,然后结合句子深层上下文表示依次处理三种噪声问题.此外,还提出一种动态阈值方法进一步剔除噪声句…查看全部>>
Distant supervision relation extraction faces the problem of data quality,that is,the generated dataset has multiple types of noise,noisy words,noisy sentences and noisy bags.Existing research mainly focuses on the noisy sentences,ignoring the impact of other noise,and cannot completely eliminate the noise.To this end,the paper proposed a distant supervision re-lation extraction model based on multilevel attention mechanism and dynamic thresholding(MADT).The…查看全部>>
赵红燕;张莹刚;谢斌红
太原科技大学计算机科学与技术学院,太原 030024太原科技大学计算机科学与技术学院,太原 030024太原科技大学计算机科学与技术学院,太原 030024
计算机与自动化
远程监督关系抽取自注意力机制动态阈值预训练语言模型降噪
distant supervision relation extractionself-attention mechanismdynamic thresholdpre-trained language mo-delnoise reduction
《计算机应用研究》 2024 (11)
3288-3294,7
山西省基础研究计划资助项目(202203021211199)智能信息处理山西省重点实验室开放基金资助项目(CICIP2022004)太原科技大学博士科研启动基金资助项目(20212075)
评论