Knowledge Commons of Institute of Automation,CAS
D2AH-PPO: Playing ViZDoom With Object-Aware Hierarchical Reinforcement Learning | |
Niu LY(钮龙宇)1,2; Wan J(万军)1,2 | |
2024-05 | |
会议名称 | Joint International Conference on Automation-Intelligence-Safety & International Symposium on Autonomous Systems 2024 |
会议日期 | 2024.5.7-5.9 |
会议地点 | 中国重庆 |
摘要 | Deep reinforcement learning (DRL) has achieved superhuman performance on Atari games using only raw pixels. However, when applied to complex 3D first-person shooter (FPS) environments, it often faces compound challenges of inefficient exploration, partial observability, and sparse rewards. To address this, we propose the Depth-Detection Augmented Hierarchical Proximal Policy Optimization (D2AH-PPO) method. Specifically, our framework utilizes a two-level hierarchy where the higher-level controller handles option control learning, while the lower-level workers focus on mastering sub-tasks. To boost the learning of sub-tasks, D2AH-PPO involves a combination technique, which includes 1) object-aware representation learning that extracts high-dimensional information representation of crucial components, and 2) a rule-based action mask for safer and more purposeful exploration. We assessed the efficacy of our framework in the 3D FPS game 'ViZDoom'. Extensive experiments indicate that D2AH-PPO significantly enhances exploration and outperforms several baselines. |
关键词 | 深度强化学习 表征学习 分层学习 |
收录类别 | EI |
七大方向——子方向分类 | 强化与进化学习 |
国重实验室规划方向分类 | 智能计算与学习 |
是否有论文关联数据集需要存交 | 否 |
文献类型 | 会议论文 |
条目标识符 | http://ir.ia.ac.cn/handle/173211/56630 |
专题 | 多模态人工智能系统全国重点实验室_生物识别与安全技术 |
通讯作者 | Wan J(万军) |
作者单位 | 1.MAIS, CASIA, Beijing, China 2.School of Artificial Intelligence, UCAS, Beijing, China |
第一作者单位 | 中国科学院自动化研究所 |
通讯作者单位 | 中国科学院自动化研究所 |
推荐引用方式 GB/T 7714 | Niu LY,Wan J. D2AH-PPO: Playing ViZDoom With Object-Aware Hierarchical Reinforcement Learning[C],2024. |
条目包含的文件 | 下载所有文件 | |||||
文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
2024096845.pdf(1645KB) | 会议论文 | 开放获取 | CC BY-NC-SA | 浏览 下载 |
个性服务 |
推荐该条目 |
保存到收藏夹 |
查看访问统计 |
导出为Endnote文件 |
谷歌学术 |
谷歌学术中相似的文章 |
[Niu LY(钮龙宇)]的文章 |
[Wan J(万军)]的文章 |
百度学术 |
百度学术中相似的文章 |
[Niu LY(钮龙宇)]的文章 |
[Wan J(万军)]的文章 |
必应学术 |
必应学术中相似的文章 |
[Niu LY(钮龙宇)]的文章 |
[Wan J(万军)]的文章 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论