多模态知识图谱融合技术研究综述OA北大核心CSTPCD
Research and Comprehensive Review on Multi-Modal Knowledge Graph Fusion Techniques
多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构.随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用.与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力.为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述.对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向.
Multi-modal knowledge graphs(MMKG)integrate various modal information such as vision and text,presenting knowledge structures graphically.With the advancement of artificial intelligence,MMKG have played a significant role in recommendation systems,intelligent Q&A,and knowledge search among other fields.Compared to traditional knowledge graphs,MMKG can understand and present knowledge in multiple dimensions,possessing superior representation and application capabilities.To delve deep into the study of MMKG,this review first conducts a detailed analysis and elucida-tion of the value and categories of MMKG.Based on different construction methods,it compares and summarizes multi-modal knowledge extraction,representation learning,entity alignment,and other aspects,categorizes multi-modal knowl-edge integration methods.It analyzes the progress in the applications of MMKG,discusses the limitations of MMKG,and proposes future research directions in the field of MMKG.
陈囿任;李勇;温明;孙驰
新疆师范大学 计算机科学技术学院,乌鲁木齐 830054||新疆电子研究所,乌鲁木齐 830013新疆师范大学 计算机科学技术学院,乌鲁木齐 830054新疆电子研究所,乌鲁木齐 830013
计算机与自动化
多模态知识图谱语言模型融合技术预训练技术
multi-modal knowledge graphlanguage modelfusion techniquespretraining techniques
《计算机工程与应用》 2024 (013)
36-50 / 15
新疆自治区重点研发计划(2022B01007-1);国家自然科学基金(62241209);新疆自治区自然科学基金(2022D01A225).
评论