Urban Traffic Signal Control with Reinforcement Learning from Demonstration Data

强化学习 计算机科学 初始化 人工智能 机器学习 信号(编程语言) 步伐 控制(管理) 趋同(经济学) 大地测量学 经济增长 经济 程序设计语言 地理
作者
Min Wang,Libing Wu,Jianxin Li,Dan Wu,Chao Ma
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 1-8 被引量:2
标识
DOI:10.1109/ijcnn55064.2022.9892538
摘要

Reinforcement learning has been applied to various decision-making tasks and has achieved high profile successes. More and more studies have proposed to use reinforcement learning (RL) for traffic signal control to improve transportation efficiency. However, these methods suffer from a major exploration problem, and their performance is particularly poor. And even fail to quickly converge during the initial stage when interacting with the environment. To overcome this problem, we propose an RL model for traffic signal control based on demonstration data, which provides prior expert knowledge before RL model training. The demonstrations are collected from the classic method self-organizing traffic light (SOTL). It not only serves as expert knowledge but also explores and improves the entire decision-making system. Specifically, we use small demonstration data sets to pre-train the Ape-X Deep Q-learning Network (DQ N) for traffic signal control. When training a RL model from scratch, we often need a lot of data and time to learn a better initialization. Our approach is dedicated to making the RL algorithm converge quickly and accelerating the pace of learning. Extensive experiments on three urban datasets confirm that our method performs better with faster convergence and least travel time than the current RL-based methods by an average of 23.9%, 23.8%, 11.6%

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
搜集达人的应助被菠萝包包采纳,获得10
1秒前
1秒前
1秒前
Ava的应助被山雾有风采纳,获得10
1秒前
领导范儿的应助被旺仔仔采纳,获得10
2秒前
chen发布了新的文献求助10
2秒前
无花果的应助被可乐可乐采纳,获得10
3秒前
3秒前
3秒前
3秒前
Dean给Dean的求助进行了留言
4秒前
wating完成签到,获得积分10
4秒前
5秒前
5秒前
Jks发布了新的文献求助10
6秒前
夜寻完成签到,获得积分10
6秒前
科目三的应助被凝芙采纳,获得10
6秒前
anzhiyuan发布了新的文献求助10
6秒前
科研通AI6.2的应助被阿越采纳,获得10
7秒前
7秒前
wanci的应助被LingYue采纳,获得10
7秒前
哇wwwww发布了新的文献求助10
7秒前
7秒前
心砚完成签到,获得积分10
8秒前
dodo发布了新的文献求助10
8秒前
复杂夜山发布了新的文献求助10
9秒前
ding的应助被伊娃采纳,获得10
10秒前
10秒前
夜寻发布了新的文献求助50
10秒前
迷人以山完成签到,获得积分10
10秒前
tina发布了新的文献求助10
11秒前
11秒前
Owen的应助被jj采纳,获得10
11秒前
激情的健柏完成签到 ,获得积分10
11秒前
高CA完成签到 ,获得积分10
12秒前
111发布了新的文献求助10
12秒前
mmyhn的应助被北风北风采纳,获得20
12秒前
郭苏毅完成签到,获得积分10
12秒前
楠1111完成签到 ,获得积分10
12秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8192227
求助须知:如何正确求助?哪些是违规求助? 9578845
关于积分的说明 21862272
捐赠科研通 7791732
什么是DOI,文献DOI怎么找? 3436868
关于科研通互助平台的介绍 2560579
邀请新用户注册赠送积分活动 2483654