Knowledge Commons of Institute of Automation,CAS
基于低秩分解和通道剪枝的卷积神经网络压缩 | |
尉德利 | |
2021-05-12 | |
页数 | 82 |
学位类型 | 硕士 |
中文摘要 | 卷积神经网络在众多模式识别任务上表现出优异的性能,然而因受制于占用储存空间多、计算量大和运行内存量大等弊端,难以直接部署到计算资源有限的设备上。模型压缩加速技术能够在不过多牺牲模型识别性能的前提下,通过削减模型的计算量和参数量,来减少资源消耗和提升运行速度。本文研究了基于消除通道维度冗余的低秩分解和通道剪枝的卷积神经网络模型压缩加速方法,提出了低秩选择算法和适应性秩惩罚的低秩求解算法,以及对通道剪枝算法进行了分阶段的方法评价与改进。基于上述两项成果,本文设计了一个集成两者功能的压缩工具。 |
英文摘要 | Convolutional Neural Networks (CNN) have yielded superior performance in many vision-based applications. However, it is difficult to deploy CNN on resource-limited devices due to their huge parameter storage, heavy run-time memory and computation. Compression techniques of CNNs aim at reducing parameters and computation with little accuracy drop. Among these techniques, this thesis considers low-rank decomposition and channel pruning based methods. Specifically, a new rank selection algorithm and a novel low-rank decomposition solution method are proposed, and several algorithms for the three stages of channel pruning pipeline are evaluated and improved. Also, this thesis designs a model compression tool comprising both low-rank decomposition and channel pruning methods. |
关键词 | 卷积神经网络压缩 低秩分解 基于学习的低秩分解 通道剪枝 模型压缩工具 |
学科领域 | 人工智能 ; 计算机应用 |
学科门类 | 工学 ; 工学::计算机科学与技术(可授工学、理学学位) |
语种 | 中文 |
文献类型 | 学位论文 |
条目标识符 | http://ir.ia.ac.cn/handle/173211/45026 |
专题 | 多模态人工智能系统全国重点实验室_模式分析与学习 |
推荐引用方式 GB/T 7714 | 尉德利. 基于低秩分解和通道剪枝的卷积神经网络压缩[D]. 中国科学院自动化研究所智能化大厦609. 中国科学院大学人工智能学院,2021. |
条目包含的文件 | ||||||
文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
尉德利-学位论文-终稿-v2.pdf(3557KB) | 学位论文 | 开放获取 | CC BY-NC-SA |
个性服务 |
推荐该条目 |
保存到收藏夹 |
查看访问统计 |
导出为Endnote文件 |
谷歌学术 |
谷歌学术中相似的文章 |
[尉德利]的文章 |
百度学术 |
百度学术中相似的文章 |
[尉德利]的文章 |
必应学术 |
必应学术中相似的文章 |
[尉德利]的文章 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论