Proximal Policy Optimization With Policy Feedback

强化学习 价值(数学) 贝尔曼方程 功能(生物学) 计算机科学 建筑 差异(会计) 过程(计算) 价值网络 趋同(经济学) 数学优化 人工智能 机器学习 数学 经济 艺术 会计 管理 商业模式 进化生物学 视觉艺术 生物 经济增长 操作系统
作者
Yang Gu,Yuhu Cheng,C. L. Philip Chen,Xuesong Wang
出处
期刊:IEEE transactions on systems, man, and cybernetics [Institute of Electrical and Electronics Engineers]
卷期号:52 (7): 4600-4610 被引量:51
标识
DOI:10.1109/tsmc.2021.3098451
摘要

Proximal policy optimization (PPO) is a deep reinforcement learning algorithm based on the actor–critic (AC) architecture. In the classic AC architecture, the Critic (value) network is used to estimate the value function while the Actor (policy) network optimizes the policy according to the estimated value function. The efficiency of the classic AC architecture is limited due that the policy does not directly participate in the value function update. The classic AC architecture will make the value function estimation inaccurate, which will affect the performance of the PPO algorithm. For improvement, we designed a novel AC architecture with policy feedback (AC-PF) by introducing the policy into the update process of the value function and further proposed the PPO with policy feedback (PPO-PF). For the AC-PF architecture, the policy-based expected (PBE) value function and discount reward formulas are designed by drawing inspiration from expected Sarsa. In order to enhance the sensitivity of the value function to the change of policy and to improve the accuracy of PBE value estimation at the early learning stage, we proposed a policy update method based on the clipped discount factor. Moreover, we specifically defined the loss functions of the policy network and value network to ensure that the policy update of PPO-PF satisfies the unbiased estimation of the trust region. Experiments on Atari games and control tasks show that compared to PPO, PPO-PF has faster convergence speed, higher reward, and smaller variance of reward.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
英俊白莲发布了新的文献求助10
2秒前
OMR123完成签到,获得积分10
3秒前
西瓜完成签到,获得积分10
3秒前
3秒前
3秒前
yuC发布了新的文献求助30
4秒前
科研通AI5应助左肩微笑采纳,获得10
4秒前
5秒前
5秒前
辛某发布了新的文献求助10
5秒前
吴军霄完成签到,获得积分10
6秒前
7秒前
豆豆完成签到 ,获得积分10
8秒前
展希希发布了新的文献求助10
8秒前
万能图书馆应助缥缈冬寒采纳,获得10
8秒前
vv发布了新的文献求助10
9秒前
汉堡包应助chiweiyoung采纳,获得10
9秒前
11秒前
12秒前
一支布洛芬完成签到,获得积分20
12秒前
12秒前
香蕉觅云应助英俊白莲采纳,获得10
12秒前
英俊的铭应助树精采纳,获得10
14秒前
Ava应助yummy采纳,获得10
14秒前
YJ888发布了新的文献求助10
14秒前
可爱的函函应助lzx采纳,获得10
16秒前
16秒前
gulllluuuukk完成签到,获得积分10
18秒前
Lynn怯霜静完成签到,获得积分10
19秒前
科研通AI5应助青青子衿采纳,获得10
20秒前
孙燕应助lalala采纳,获得50
20秒前
21秒前
21秒前
斯文念波发布了新的文献求助10
22秒前
25秒前
辛某完成签到,获得积分10
25秒前
香蕉觅云应助期刊采纳,获得50
26秒前
26秒前
26秒前
高分求助中
A new approach to the extrapolation of accelerated life test data 1000
ACSM’s Guidelines for Exercise Testing and Prescription, 12th edition 500
‘Unruly’ Children: Historical Fieldnotes and Learning Morality in a Taiwan Village (New Departures in Anthropology) 400
Indomethacinのヒトにおける経皮吸収 400
Phylogenetic study of the order Polydesmida (Myriapoda: Diplopoda) 370
基于可调谐半导体激光吸收光谱技术泄漏气体检测系统的研究 350
Robot-supported joining of reinforcement textiles with one-sided sewing heads 320
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 3989550
求助须知:如何正确求助?哪些是违规求助? 3531774
关于积分的说明 11254747
捐赠科研通 3270278
什么是DOI,文献DOI怎么找? 1804966
邀请新用户注册赠送积分活动 882125
科研通“疑难数据库(出版商)”最低求助积分说明 809176