CASIA OpenIR  > 多模态人工智能系统全国重点实验室  > 视频内容安全
基于动态稀疏和特征学习增强的模型剪枝
阮晓峰; 胡卫明; 刘雨帆; 李兵
Source Publication中国科学:技术科学
2022
Volume52Issue:5Pages:667-681
Abstract

为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量, 剪枝已经被广泛地应用在模型压缩任务中. 然而,大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数, 而模型本身的特征信息没有被利用. 为此, 本文提出了一种基于模型特征学习增强的动态剪枝方法, 在训练过程中, 提出的方法不需要数据集类别标签. 一方面, 本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习, 增强了压缩模型学习基准模型特征的能力;另一方面, 本文利用不同压缩子模型的输出信息互相学习, 增强了压缩子模型之间特征学习的能力. 此外, 本文提出了一种动态的结构化稀疏正则方式, 仅仅在预期稀疏参数上施加正则. 在训练过程中, 不同层的稀疏分配率被动态地更新, 同时使用基于泰勒级数的通道敏感性准则确定预期稀疏参数. 在优化过程中, 本文使用动态稀疏的迭代阈值收缩算法(iterative shrinkage-thresholding algorithm, ISTA)求解器解决了约束剪枝率的优化问题. 模型训练结束后, 提出的方法直接移除冗余的参数, 剪枝后的模型不需要微调. 在多个网络结构和数据集下, 本文提出的方法均获得了很好的压缩性能.

Indexed ByEI
Language中文
Sub direction classification其他
planning direction of the national heavy laboratory其他
Paper associated data
Document Type期刊论文
Identifierhttp://ir.ia.ac.cn/handle/173211/57230
Collection多模态人工智能系统全国重点实验室_视频内容安全
Corresponding Author胡卫明
Affiliation中国科学院自动化研究所
First Author AffilicationInstitute of Automation, Chinese Academy of Sciences
Corresponding Author AffilicationInstitute of Automation, Chinese Academy of Sciences
Recommended Citation
GB/T 7714
阮晓峰,胡卫明,刘雨帆,等. 基于动态稀疏和特征学习增强的模型剪枝[J]. 中国科学:技术科学,2022,52(5):667-681.
APA 阮晓峰,胡卫明,刘雨帆,&李兵.(2022).基于动态稀疏和特征学习增强的模型剪枝.中国科学:技术科学,52(5),667-681.
MLA 阮晓峰,et al."基于动态稀疏和特征学习增强的模型剪枝".中国科学:技术科学 52.5(2022):667-681.
Files in This Item: Download All
File Name/Size DocType Version Access License
基于动态稀疏和特征学习增强的模型剪枝.p(2674KB)期刊论文作者接受稿开放获取CC BY-NC-SAView Download
Related Services
Recommend this item
Bookmark
Usage statistics
Export to Endnote
Google Scholar
Similar articles in Google Scholar
[阮晓峰]'s Articles
[胡卫明]'s Articles
[刘雨帆]'s Articles
Baidu academic
Similar articles in Baidu academic
[阮晓峰]'s Articles
[胡卫明]'s Articles
[刘雨帆]'s Articles
Bing Scholar
Similar articles in Bing Scholar
[阮晓峰]'s Articles
[胡卫明]'s Articles
[刘雨帆]'s Articles
Terms of Use
No data!
Social Bookmark/Share
File name: 基于动态稀疏和特征学习增强的模型剪枝.pdf
Format: Adobe PDF
All comments (0)
No comment.
 

Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.