基于对比学习与语言模型增强嵌入的知识图谱补全OA北大核心CSTPCD
知识图谱是由各种知识或数据单元经过抽取等处理而组成的一种结构化知识库,用于描述和表示实体、概念、事实和关系等信息。自然语言处理技术的限制和各种知识或信息单元文本本身的噪声都会使信息抽取的准确性受到一定程度的影响。现有的知识图谱补全方法通常只考虑单一结构信息或者文本语义信息,忽略了整个知识图谱中同时存在的结构信息与文本语义信息。针对此问题,提出一种基于语言模型增强嵌入与对比学习的知识图谱补全(KGC)模型。将输入的实体和关系通过预训练语言模型获取实体和关系的文本语义信息,利用翻译模型的距离打分函数捕获知识图谱中的结构信息,使用2种用于对比学习的负采样方法融合对比学习来训练模型以提高模型对正负样本的表征能力。实验结果表明,与基于来自Transformеr的双向编码器表示的知识图谱补全(KG-BERT)模型相比,在WN18RR和FB15K-237数据集上该模型链接预测的排名小于等于10的三元组的平均占比(Hits@10)分别提升了31%和23%,明显优于对比模型。
张洪程;李林育;杨莉;伞晨峻;尹春林;颜冰;于虹;张璇;
云南电网有限责任公司政企部,云南昆明650032云南大学软件学院,云南昆明650091云南电网有限责任公司电力科学研究院,云南昆明650217云南大学软件学院,云南昆明650091 云南省软件工程重点实验室,云南昆明650091 跨境网络空间安全教育部工程研究中心,云南昆明650091
计算机与自动化
知识图谱补全知识图谱对比学习预训练语言模型链接预测
《计算机工程》 2024 (004)
P.168-176 / 9
国家自然科学基金(61862063,61502413,61262025);云南电网有限责任公司创新项目(YNKJXM20222254);云南省中青年学术和技术带头人后备人才项目(202205AC160040);云南省院士专家工作站项目(202205AF150006);云南省科技计划重大专项计划项目(202202AE090066);云南省教育厅科学研究基金(2023Y0256);云南大学软件学院“知识驱动智能软件工程科研创新团队”项目。
评论