融合注意力和动态语义指导的图像描述模型OA北大核心CSCDCSTPCD
Image Caption Generation Model with Visual Attention and Dynamic Semantic Information Guiding
针对当前图像语义描述生成模型对图像内目标细节部分描述不充分问题,提出了一种结合图像动态语义指导和自适应注意力机制的图像语义描述模型.该模型根据上一时刻信息预测下一时刻单词,采用自适应注意力机制选择下一时刻模型需要处理的图像区域.此外,该模型构建了图像的密集属性信息作为额外的监督信息,使得模型可以联合图像语义信息和注意力信息进行图像内容描述.在Flickr8K和Flickr30K图像集中进行了训练和测试,并且使用了不同的评估方法对所提模型进行了验证…查看全部>>
Aiming at the problem that the current image semantic generation model does not adequately describe the details of the object in the images, this paper proposes an image content description structure which combines the dynamic semantic guidance of image and the adaptive attention mechanism. In the model, according to the last-time prediction word, the attention mechanism adaptively chooses the image part which will be processed in the next-time. In add…查看全部>>
张威;周治平
江南大学 物联网技术应用教育部工程研究中心,江苏 无锡 214122江南大学 物联网技术应用教育部工程研究中心,江苏 无锡 214122
信息技术与安全科学
图像标注生成图像内容描述深度神经网络视觉注意力语义信息
image caption generationimage descriptiondeep neural networksvisual attention mechanismseman-tic information
《计算机科学与探索》 2017 (12)
2033-2040,8
The Fundamental Research Funds for the Central Universities of China under Grant No. JUSRP51510 (中央高校基本科研业务费专项资金).
评论