Knowledge Commons of Institute of Automation，CAS
| 基于残差的门控循环单元 | |
| 张忠豪; 董方敏; 胡枫; 吴义熔; 孙水发 | |
| 发表期刊 | 自动化学报
 |
| ISSN | 0254-4156 |
| 2022 | |
| 卷号 | 48期号:12页码:3067-3074 |
| 摘要 | 传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit, GRU)的基础上提出了基于残差的门控循环单元(Residual-GRU, Re-GRU)来缓解梯度消失和网络退化问题. Re-GRU的改进主要包括两个方面:1)将原有GRU的候选隐状态的激活函数改为非饱和激活函数; 2)在GRU的候选隐状态表示中引入残差信息.对候选隐状态激活函数的改动不仅可以有效避免由饱和激活函数带来的梯度消失问题,同时也能够更好地引入残差信息,使网络对梯度变化更敏感,从而达到缓解网络退化的目的.进行了图像识别、构建语言模型和语音识别3类不同的测试实验,实验结果均表明, Re-GRU拥有比对比方法更高的检测性能,同时在运行速度方面优于Highway-GRU和长短期记忆单元.其中,在语言模型预测任务中的Penn Treebank数据集上取得了23.88的困惑度,相比有记录的最低困惑度,该方法的困惑度降低了一半. |
| 关键词 | 深度学习 循环神经网络 门控循环单元 残差连接 |
| DOI | 10.16383/j.aas.c190591 |
| 引用统计 | |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://ir.ia.ac.cn/handle/173211/56239 |
| 专题 | 学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 张忠豪,董方敏,胡枫,等. 基于残差的门控循环单元[J]. 自动化学报,2022,48(12):3067-3074. |
| APA | 张忠豪,董方敏,胡枫,吴义熔,&孙水发.(2022).基于残差的门控循环单元.自动化学报,48(12),3067-3074. |
| MLA | 张忠豪,et al."基于残差的门控循环单元".自动化学报 48.12(2022):3067-3074. |
| 条目包含的文件 | ||||||
| 文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
| AAS-CN-2019-0591.pdf（771KB） | 期刊论文 | 出版稿 | 开放获取 | CC BY-NC-SA | 浏览 下载 | |
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [张忠豪]的文章 |
| [董方敏]的文章 |
| [胡枫]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [张忠豪]的文章 |
| [董方敏]的文章 |
| [胡枫]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [张忠豪]的文章 |
| [董方敏]的文章 |
| [胡枫]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论