中国科学院自动化研究所机构知识库

在自动驾驶决策场景下，为解决强化学习算法安全性差、学习效率低的问题，提出一种在算法的训练阶段添加基于价值的安全约束和虚拟奖励的方法。首先，利用状态、动作价值函数和安全判断规则，对智能体执行的动作进行基于价值的安全约束，选择价值高且安全的动作。然后，向回放池添加包含虚拟奖励的预测轨迹数据，以补充由于约束而未能获取的试错动作信息和相应的状态、奖励信息。最后，为进行加减速和换道决策实验，基于修改后的高速公路仿真环境highway-env搭建了3车道高速公路场景，并以深度Q网络（Deep Q Network, DQN）算法为基础，分别训练和测试了无安全约束的算法、拥有基于规则的安全约束的算法和拥有基于价值的安全约束的算法。结果表明，考虑加速、减速、保持车速和车道、向左换道、向右换道共5种动作时，基于价值的安全约束算法的成功率比无安全约束的算法高3倍以上，平均回报提升28%；仅考虑向左换道、向右换道、保持车道这3种换道动作时，基于价值的安全约束算法的成功率比基于规则的安全约束算法高0.11，平均回报提升6%；都添加基于价值的安全约束时，考虑5种动作的算法相较于考虑3种动作的算法成功率低0.06但平均行驶速度快0.26m/s，也即前者实现了对安全和速度的平衡。由此可知，基于价值的安全约束算法比基于规则的算法更能提升强化学习算法的安全性和训练效率，而包含更多决策动作的动作空间设置可实现更高的驾驶技巧，避免算法过于保守。