基于滚动时域强化学习的智能车辆侧向控制算法

doi:10.16383/j.aas.c210555

CASIA OpenIR > 学术期刊 > 自动化学报

	基于滚动时域强化学习的智能车辆侧向控制算法
	张兴龙; 陆阳; 李文璋; 徐昕
发表期刊	自动化学报
ISSN	0254-4156
	2023
卷号	49 期号:12 页码:2481-2492
摘要	针对智能车辆的高精度侧向控制问题,提出一种基于滚动时域强化学习(Receding horizon reinforcement learning, RHRL)的侧向控制方法.车辆的侧向控制量由前馈和反馈两部分构成,前馈控制量由参考路径的曲率以及动力学模型直接计算得出;而反馈控制量通过采用滚动时域强化学习算法求解最优跟踪控制问题得到.提出的方法结合滚动时域优化机制,将无限时域最优控制问题转化为若干有限时域控制问题进行求解.与已有的有限时域执行器-评价器学习不同,在每个预测时域采用时间独立型执行器-评价器网络结构学习最优值函数和控制策略.与模型预测控制(Model predictive control, MPC)方法求解开环控制序列不同, RHRL控制器的输出是一个显式状态反馈控制律,兼具直接离线部署和在线学习部署的能力.此外,从理论上证明了RHRL算法在每个预测时域的收敛性,并分析了闭环系统的稳定性.在仿真环境中完成了结构化道路下的车辆侧向控制测试.仿真结果表明,提出的RHRL方法在控制性能方面优于现有先进算法,最后,以红旗E-HS3电动汽车作为实车平台,在封闭结构化城市测试道路和乡村起伏砂石道路下进行了侧向控制实验.实验结果显示,RHRL在结构化城市道路中的侧向控制性能优于预瞄控制,在乡村道路中具有较强的路面适应能力和较好的控制性能.
关键词	滚动时域强化学习智能汽车侧向控制
DOI	10.16383/j.aas.c210555
引用统计
文献类型	期刊论文
条目标识符	http://ir.ia.ac.cn/handle/173211/55768
专题	学术期刊_自动化学报
推荐引用方式 GB/T 7714	张兴龙,陆阳,李文璋,等. 基于滚动时域强化学习的智能车辆侧向控制算法[J]. 自动化学报,2023,49(12):2481-2492.
APA	张兴龙,陆阳,李文璋,&徐昕.(2023).基于滚动时域强化学习的智能车辆侧向控制算法.自动化学报,49(12),2481-2492.
MLA	张兴龙,et al."基于滚动时域强化学习的智能车辆侧向控制算法".自动化学报 49.12(2023):2481-2492.

条目包含的文件		下载所有文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
AAS-CN-2021-0555.pdf（7533KB）	期刊论文	出版稿	开放获取	CC BY-NC-SA	浏览下载