Diffusion Actor-Critic with Entropy Regulator

调节器 扩散 统计物理学 熵(时间箭头) 数学 数理经济学 计算机科学 物理 热力学 化学 生物化学 基因
作者
Yinuo Wang,Likun Wang,Yuxuan Jiang,Wenjun Zou,Tong Liu,Xujie Song,Wenxuan Wang,Xiao Liming,Jiang Wu,Jingliang Duan,Shengbo Eben Li
出处
期刊:Cornell University - arXiv
标识
DOI:10.48550/arxiv.2405.15177
摘要

Reinforcement learning (RL) has proven highly effective in addressing complex decision-making and control tasks. However, in most traditional RL algorithms, the policy is typically parameterized as a diagonal Gaussian distribution with learned mean and variance, which constrains their capability to acquire complex policies. In response to this problem, we propose an online RL algorithm termed diffusion actor-critic with entropy regulator (DACER). This algorithm conceptualizes the reverse process of the diffusion model as a novel policy function and leverages the capability of the diffusion model to fit multimodal distributions, thereby enhancing the representational capacity of the policy. Since the distribution of the diffusion policy lacks an analytical expression, its entropy cannot be determined analytically. To mitigate this, we propose a method to estimate the entropy of the diffusion policy utilizing Gaussian mixture model. Building on the estimated entropy, we can learn a parameter $\alpha$ that modulates the degree of exploration and exploitation. Parameter $\alpha$ will be employed to adaptively regulate the variance of the added noise, which is applied to the action output by the diffusion model. Experimental trials on MuJoCo benchmarks and a multimodal task demonstrate that the DACER algorithm achieves state-of-the-art (SOTA) performance in most MuJoCo control tasks while exhibiting a stronger representational capacity of the diffusion policy.

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
2秒前
辰星发布了新的文献求助10
2秒前
3秒前
领导范儿应助子不思夜采纳,获得20
3秒前
独特秀发布了新的文献求助10
5秒前
6秒前
科研通AI2S应助kingjames采纳,获得10
6秒前
山奈发布了新的文献求助10
6秒前
6秒前
852应助调皮醉波采纳,获得10
7秒前
炙热乘云发布了新的文献求助10
8秒前
zerox发布了新的文献求助10
9秒前
11秒前
Nowind发布了新的文献求助10
12秒前
13秒前
13秒前
zhangscience发布了新的文献求助10
14秒前
无私小土豆完成签到 ,获得积分20
14秒前
安生完成签到 ,获得积分20
15秒前
林和发布了新的文献求助10
16秒前
a初心不变完成签到,获得积分20
16秒前
李健春完成签到 ,获得积分10
17秒前
17秒前
18秒前
19秒前
Bella发布了新的文献求助10
20秒前
完美世界应助zhangscience采纳,获得10
20秒前
21秒前
ww发布了新的文献求助30
21秒前
23秒前
cube发布了新的文献求助10
23秒前
bkagyin应助辰星采纳,获得10
25秒前
已知中的未知关注了科研通微信公众号
25秒前
大模型应助高高白曼舞采纳,获得10
25秒前
sandra发布了新的文献求助10
26秒前
27秒前
orixero应助阳光静蕾采纳,获得10
27秒前
青鸟飞鱼完成签到,获得积分10
28秒前
Evooolet发布了新的文献求助10
28秒前
高分求助中
The Young builders of New china : the visit of the delegation of the WFDY to the Chinese People's Republic 1000
юрские динозавры восточного забайкалья 800
English Wealden Fossils 700
Chen Hansheng: China’s Last Romantic Revolutionary 500
宽禁带半导体紫外光电探测器 388
COSMETIC DERMATOLOGY & SKINCARE PRACTICE 388
Case Research: The Case Writing Process 300
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3142067
求助须知:如何正确求助?哪些是违规求助? 2793006
关于积分的说明 7805015
捐赠科研通 2449359
什么是DOI,文献DOI怎么找? 1303185
科研通“疑难数据库(出版商)”最低求助积分说明 626807
版权声明 601291