Knowledge Commons of Institute of Automation，CAS
| 基于显著性特征提取的图像描述算法 | |
| 王鑫; 宋永红; 张元林 | |
| 发表期刊 | 自动化学报
 |
| ISSN | 0254-4156 |
| 2022 | |
| 卷号 | 48期号:3页码:735-746 |
| 摘要 | 图像描述(Image captioning)是一个融合了计算机视觉和自然语言处理这两个领域的研究方向,本文为图像描述设计了一种新颖的显著性特征提取机制(Salient feature extraction mechanism, SFEM),能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测,有效解决了现有方法对视觉特征选择不准确以及时间性能不理想的问题. SFEM包含全局显著性特征提取器和即时显著性特征提取器这两个部分:全局显著性特征提取器能够从多个局部视觉向量中提取出显著性视觉特征,并整合这些特征到全局显著性视觉向量中;即时显著性特征提取器能够根据语言模型的需要,从全局显著性视觉向量中提取出预测每一个单词所需的显著性视觉特征.本文在MS COCO (Microsoft common objects in context)数据集上对SFEM进行了评估,实验结果表明SFEM能够显著提升基准模型(baseline)生成图像描述的准确性,并且SFEM在生成图像描述的准确性方面明显优于广泛使用的空间注意力模型,在时间性能上也大幅领先空间注意力模型. |
| 关键词 | 图像描述 显著性特征提取 语言模型 编码器 解码器 |
| DOI | 10.16383/j.aas.c190279 |
| 引用统计 | |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://ir.ia.ac.cn/handle/173211/56385 |
| 专题 | 学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 王鑫,宋永红,张元林. 基于显著性特征提取的图像描述算法[J]. 自动化学报,2022,48(3):735-746. |
| APA | 王鑫,宋永红,&张元林.(2022).基于显著性特征提取的图像描述算法.自动化学报,48(3),735-746. |
| MLA | 王鑫,et al."基于显著性特征提取的图像描述算法".自动化学报 48.3(2022):735-746. |
| 条目包含的文件 | 下载所有文件 | |||||
| 文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
| AAS-CN-2019-0279.pdf（4402KB） | 期刊论文 | 出版稿 | 开放获取 | CC BY-NC-SA | 浏览 下载 | |
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [王鑫]的文章 |
| [宋永红]的文章 |
| [张元林]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [王鑫]的文章 |
| [宋永红]的文章 |
| [张元林]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [王鑫]的文章 |
| [宋永红]的文章 |
| [张元林]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论