Knowledge Commons of Institute of Automation，CAS
| 基于多重注意结构的图像密集描述生成方法研究 | |
刘青茹; 李刚 ; 赵创; 顾广华; 赵耀
| |
| 发表期刊 | 自动化学报
 |
| ISSN | 0254-4156 |
| 2022 | |
| 卷号 | 48期号:10页码:2537-2548 |
| 摘要 | 图像密集描述旨在为复杂场景图像提供细节描述语句.现有研究方法虽已取得较好成绩,但仍存在以下两个问题:1)大多数方法仅将注意力聚焦在网络所提取的深层语义信息上,未能有效利用浅层视觉特征中的几何信息; 2)现有方法致力于改进感兴趣区域间上下文信息的提取,但图像内物体空间位置信息尚不能较好体现.为解决上述问题,提出一种基于多重注意结构的图像密集描述生成方法—MAS-ED (Multiple attention structure-encoder decoder). MAS-ED通过多尺度特征环路融合(Multi-scale feature loop fusion, MFLF)机制将多种分辨率尺度的图像特征进行有效集成,并在解码端设计多分支空间分步注意力(Multi-branch spatial step attention, MSSA)模块,以捕捉图像内物体间的空间位置关系,从而使模型生成更为精确的密集描述文本.实验在Visual Genome数据集上对MAS-ED进行评估,结果表明MASED能够显著提升密集描述的准确性,并可在文本中自适应加入几何信息和空间位置信息.基于长短期记忆网络(Longshort term memory, LSTM)解码网络框架, MAS-ED方法性能在主流评价指标上优于各基线方法. |
| 关键词 | 图像密集描述 多重注意结构 多尺度特征环路融合 多分支空间分步注意力 |
| DOI | 10.16383/j.aas.c220093 |
| 引用统计 | |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://ir.ia.ac.cn/handle/173211/56270 |
| 专题 | 学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 刘青茹,李刚,赵创,等. 基于多重注意结构的图像密集描述生成方法研究[J]. 自动化学报,2022,48(10):2537-2548. |
| APA | 刘青茹,李刚,赵创,顾广华,&赵耀.(2022).基于多重注意结构的图像密集描述生成方法研究.自动化学报,48(10),2537-2548. |
| MLA | 刘青茹,et al."基于多重注意结构的图像密集描述生成方法研究".自动化学报 48.10(2022):2537-2548. |
| 条目包含的文件 | 下载所有文件 | |||||
| 文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
| AAS-CN-2022-0093.pdf（5134KB） | 期刊论文 | 出版稿 | 开放获取 | CC BY-NC-SA | 浏览 下载 | |
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [刘青茹]的文章 |
| [李刚]的文章 |
| [赵创]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [刘青茹]的文章 |
| [李刚]的文章 |
| [赵创]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [刘青茹]的文章 |
| [李刚]的文章 |
| [赵创]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论