多模态语义协同交互的图文联合命名实体识别方法OA北大核心CSTPCD
Image-Text Joint Named Entity Recognition Method Based on Multi-modal Semantic Interaction
针对现有多模态命名实体识别(Multimodal Named Entity Recognition,MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition,ITJNER)模型.ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还…查看全部>>
钟维幸;王海荣;王栋;车淼
北方民族大学计算机科学与工程学院,宁夏银川 750021北方民族大学计算机科学与工程学院,宁夏银川 750021北方民族大学计算机科学与工程学院,宁夏银川 750021北方民族大学计算机科学与工程学院,宁夏银川 750021
信息技术与安全科学
多模态命名实体识别图文数据多模态注意力图像描述语义融合
《广西科学》 2022 (4)
681-690,10
宁夏自然科学基金项目(2020AAC03218),北方民族大学校级科研项目(2021XYZJK06)和北方民族大学研究生创新项目(YCX21092)资助.
评论