基于动态稀疏和特征学习增强的模型剪枝

CASIA OpenIR > 多模态人工智能系统全国重点实验室 > 视频内容安全

	基于动态稀疏和特征学习增强的模型剪枝
	阮晓峰; 胡卫明; 刘雨帆; 李兵
发表期刊	中国科学：技术科学
	2022
卷号	52 期号:5 页码:667-681
摘要	为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量, 剪枝已经被广泛地应用在模型压缩任务中. 然而，大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数, 而模型本身的特征信息没有被利用. 为此, 本文提出了一种基于模型特征学习增强的动态剪枝方法, 在训练过程中, 提出的方法不需要数据集类别标签. 一方面, 本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习, 增强了压缩模型学习基准模型特征的能力；另一方面, 本文利用不同压缩子模型的输出信息互相学习, 增强了压缩子模型之间特征学习的能力. 此外, 本文提出了一种动态的结构化稀疏正则方式, 仅仅在预期稀疏参数上施加正则. 在训练过程中, 不同层的稀疏分配率被动态地更新, 同时使用基于泰勒级数的通道敏感性准则确定预期稀疏参数. 在优化过程中, 本文使用动态稀疏的迭代阈值收缩算法(iterative shrinkage-thresholding algorithm, ISTA)求解器解决了约束剪枝率的优化问题. 模型训练结束后, 提出的方法直接移除冗余的参数, 剪枝后的模型不需要微调. 在多个网络结构和数据集下, 本文提出的方法均获得了很好的压缩性能.
收录类别	EI
语种	中文
七大方向——子方向分类	其他
国重实验室规划方向分类	其他
是否有论文关联数据集需要存交	否
文献类型	期刊论文
条目标识符	http://ir.ia.ac.cn/handle/173211/57230
专题	多模态人工智能系统全国重点实验室_视频内容安全
通讯作者	胡卫明
作者单位	中国科学院自动化研究所
第一作者单位	中国科学院自动化研究所
通讯作者单位	中国科学院自动化研究所
推荐引用方式 GB/T 7714	阮晓峰,胡卫明,刘雨帆,等. 基于动态稀疏和特征学习增强的模型剪枝[J]. 中国科学：技术科学,2022,52(5):667-681.
APA	阮晓峰,胡卫明,刘雨帆,&李兵.(2022).基于动态稀疏和特征学习增强的模型剪枝.中国科学：技术科学,52(5),667-681.
MLA	阮晓峰,et al."基于动态稀疏和特征学习增强的模型剪枝".中国科学：技术科学 52.5(2022):667-681.

条目包含的文件		下载所有文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
基于动态稀疏和特征学习增强的模型剪枝.p（2674KB）	期刊论文	作者接受稿	开放获取	CC BY-NC-SA	浏览下载