Knowledge Commons of Institute of Automation，CAS
| 递归最小二乘循环神经网络 | |
赵杰; 张春元; 刘超; 周辉 ; 欧宜贵; 宋淇
| |
| 发表期刊 | 自动化学报
 |
| ISSN | 0254-4156 |
| 2022 | |
| 卷号 | 48期号:8页码:2050-2061 |
| 摘要 | 针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度,逐层导出RNNs参数的迷你批递归最小二乘解.相较随机梯度下降算法,所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵,其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右.此外,本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法.仿真结果表明,无论是对序列数据的分类问题还是预测问题,所提算法的收敛速度要优于现有主流一阶优化算法,而且在超参数的设置上具有较好的鲁棒性. |
| 关键词 | 深度学习 循环神经网络 递归最小二乘 迷你批学习 优化算法 |
| DOI | 10.16383/j.aas.c190847 |
| 引用统计 | |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://ir.ia.ac.cn/handle/173211/56308 |
| 专题 | 学术期刊_自动化学报 |
| 推荐引用方式 GB/T 7714 | 赵杰,张春元,刘超,等. 递归最小二乘循环神经网络[J]. 自动化学报,2022,48(8):2050-2061. |
| APA | 赵杰,张春元,刘超,周辉,欧宜贵,&宋淇.(2022).递归最小二乘循环神经网络.自动化学报,48(8),2050-2061. |
| MLA | 赵杰,et al."递归最小二乘循环神经网络".自动化学报 48.8(2022):2050-2061. |
| 条目包含的文件 | 下载所有文件 | |||||
| 文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
| AAS-CN-2019-0847.pdf（1738KB） | 期刊论文 | 出版稿 | 开放获取 | CC BY-NC-SA | 浏览 下载 | |
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [赵杰]的文章 |
| [张春元]的文章 |
| [刘超]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [赵杰]的文章 |
| [张春元]的文章 |
| [刘超]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [赵杰]的文章 |
| [张春元]的文章 |
| [刘超]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论