基于特征对齐融合的双波段图像描述生成方法OA北大核心
Dual-band image captioning generation method based on feature alignment fusion
为了获得更准确、全面的现场信息,采用红外和可见光同步成像探测复杂场景已成为常态,但现有图像描述研究仍集中于可见光图像,无法全面而准确地描述已探测到的场景信息.为此,文中提出一种基于特征对齐融合的可见光-红外双波段图像描述生成方法.首先,利用Faster-RCNN分别提取可见光图像的区域特征和红外图像的网格特征;其次,以Transformer为基本架构,在可见光-红外图像对齐融合(VIIAF)编码器中引入位置信息做桥接,进行可见光-红外图像特征的对…查看全部>>
It has become a constant matter to detect complex scenes by infrared and visible light synchronous imaging and obtain more accurate and comprehensive on-site information.However,the existing research on image captioning still focuses on visible light images,and fails to describe the detected on-site information comprehensively and accurately.To this end,a visible-infrared dual-band image captioning generation method based on feature alignment fusion is propo…查看全部>>
顾梦瑶;蔺素珍;晋赞霞;李烽源
中北大学 计算机科学与技术学院,山西 太原 030051中北大学 计算机科学与技术学院,山西 太原 030051中北大学 计算机科学与技术学院,山西 太原 030051中北大学 计算机科学与技术学院,山西 太原 030051
电子信息工程
图像描述双波段特征对齐融合注意力机制Transformer语言模型Bert自适应
image captioningdual-bandfeature alignment fusionattention mechanismTransformerlanguage modelBertadaption
《现代电子技术》 2025 (7)
65-71,7
山西省自然科学基金项目(202303021211147)山西省知识产权局专利转化专项计划(202302001)国家自然科学基金项目(62406296)山西省留学回国人员科技活动择优资助项目(20230017)
评论