Knowledge Commons of Institute of Automation，CAS
| 基于重组性高斯自注意力的视觉Transformer | |
| 赵亮; 周继开 | |
| 发表期刊 | 自动化学报
 |
| ISSN | 0254-4156 |
| 2023 | |
| 卷号 | 49期号:9页码:1976-1988 |
| 摘要 | 在目前视觉Transformer的局部自注意力中,现有的策略无法建立所有窗口之间的信息流动,导致上下文语境建模能力不足.针对这个问题,基于混合高斯权重重组(Gaussian weight recombination, GWR)的策略,提出一种新的局部自注意力机制SGW-MSA (Shuffled and Gaussian window-multi-head self-attention),它融合了3种不同的局部自注意力,并通过GWR策略对特征图进行重建,在重建的特征图上提取图像特征,建立了所有窗口的交互以捕获更加丰富的上下文信息.基于SGW-MSA设计了SGWin Transformer整体架构.实验结果表明,该算法在mini-imagenet图像分类数据集上的准确率比Swin Transformer提升了5.1%,在CIFAR10图像分类实验中的准确率比Swin Transformer提升了5.2%,在MS COCO数据集上分别使用Mask R-CNN和Cascade R-CNN目标检测框架的mAP比Swin Transformer分别提升了5.5%和5.1%,相比于其他基于局部自注意力的模型在参数量相似的情况下具有较强的竞争力. |
| 关键词 | Transformer 局部自注意力 混合高斯权重重组 图像分类 目标检测 |
| DOI | 10.16383/j.aas.c220715 |
| 引用统计 | |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://ir.ia.ac.cn/handle/173211/56075 |
| 专题 | 学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 赵亮,周继开. 基于重组性高斯自注意力的视觉Transformer[J]. 自动化学报,2023,49(9):1976-1988. |
| APA | 赵亮,&周继开.(2023).基于重组性高斯自注意力的视觉Transformer.自动化学报,49(9),1976-1988. |
| MLA | 赵亮,et al."基于重组性高斯自注意力的视觉Transformer".自动化学报 49.9(2023):1976-1988. |
| 条目包含的文件 | 下载所有文件 | |||||
| 文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
| AAS-CN-2022-0715.pdf（29103KB） | 期刊论文 | 出版稿 | 开放获取 | CC BY-NC-SA | 浏览 下载 | |
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [赵亮]的文章 |
| [周继开]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [赵亮]的文章 |
| [周继开]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [赵亮]的文章 |
| [周继开]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论