FedSA: A Semi-Asynchronous Federated Learning Mechanism in Heterogeneous Edge Computing

计算机科学 异步通信 GSM演进的增强数据速率 趋同(经济学) 资源消耗 人工智能 约束(计算机辅助设计) 上下界 机制(生物学) 机器学习 分布式计算 理论计算机科学 计算机网络 数学 认识论 几何学 数学分析 哲学 生物 经济增长 经济 生态学
作者
Qianpiao Ma,Yang Xu,Hongli Xu,Zhida Jiang,Liusheng Huang,He Huang
出处
期刊:IEEE Journal on Selected Areas in Communications [Institute of Electrical and Electronics Engineers]
卷期号:39 (12): 3654-3672 被引量:75
标识
DOI:10.1109/jsac.2021.3118435
摘要

Federated learning (FL) involves training machine learning models over distributed edge nodes ( i.e. , workers) while facing three critical challenges, edge heterogeneity, Non-IID data and communication resource constraint. In the synchronous FL, the parameter server has to wait for the slowest workers, leading to significant waiting time due to edge heterogeneity. Though asynchronous FL can well tackle the edge heterogeneity, it requires frequent model transfers, resulting in massive communication resource consumption. Moreover, the different relative frequency of workers participating in asynchronous updating may seriously hurt training accuracy, especially on Non-IID data. In this paper, we propose a semi-asynchronous federated learning mechanism (FedSA), where the parameter server aggregates a certain number of local models by their arrival order in each round. We theoretically analyze the quantitative relationship between the convergence bound of FedSA and different factors, e.g. , the number of participating workers in each round, the degree of data Non-IID and edge heterogeneity. Based on the convergence bound, we present an efficient algorithm to determine the number of participating workers to minimize the training completion time. To further improve the training accuracy on Non-IID data, FedSA deploys adaptive learning rates for workers by their relative participation frequency. We extend our proposed mechanism to the dynamic and multiple learning tasks scenarios. Experimental results on the testbed show that our proposed mechanism and algorithms address the three challenges more effectively than the state-of-the-art solutions.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小叮当完成签到,获得积分10
刚刚
1秒前
niekyang发布了新的文献求助10
4秒前
Yiling完成签到,获得积分10
4秒前
6秒前
月月月鸟伟完成签到,获得积分10
7秒前
zhenglongbu发布了新的文献求助10
7秒前
橘猫完成签到 ,获得积分10
8秒前
ll完成签到,获得积分10
9秒前
子辰发布了新的文献求助10
9秒前
科研新手发布了新的文献求助10
10秒前
lllll发布了新的文献求助30
10秒前
11秒前
淘淘完成签到,获得积分20
11秒前
12秒前
puzhongjiMiQ完成签到,获得积分10
13秒前
tonghau895完成签到 ,获得积分10
16秒前
16秒前
糖筱莜完成签到,获得积分10
18秒前
研友_VZG7GZ应助青云采纳,获得10
18秒前
Ease完成签到,获得积分10
18秒前
皮戾发布了新的文献求助10
19秒前
倒卖土豆片完成签到,获得积分10
25秒前
生产队的建设者完成签到,获得积分20
25秒前
Serendiply完成签到,获得积分10
25秒前
26秒前
少年完成签到,获得积分10
27秒前
随性完成签到,获得积分10
27秒前
coolkid完成签到 ,获得积分10
27秒前
子辰完成签到,获得积分10
28秒前
彭大啦啦完成签到 ,获得积分10
30秒前
苏渊强完成签到,获得积分10
31秒前
浮云完成签到 ,获得积分10
31秒前
皮戾完成签到,获得积分10
32秒前
小郭完成签到 ,获得积分10
32秒前
32秒前
Lynn完成签到,获得积分10
33秒前
大橙子完成签到,获得积分10
34秒前
dyd完成签到,获得积分10
35秒前
一顿吃不饱完成签到,获得积分0
38秒前
高分求助中
Continuum Thermodynamics and Material Modelling 3000
Production Logging: Theoretical and Interpretive Elements 2700
Les Mantodea de Guyane Insecta, Polyneoptera 1000
Structural Load Modelling and Combination for Performance and Safety Evaluation 1000
Conference Record, IAS Annual Meeting 1977 820
電気学会論文誌D(産業応用部門誌), 141 巻, 11 号 510
Typology of Conditional Constructions 500
热门求助领域 (近24小时)
化学 材料科学 生物 医学 工程类 有机化学 生物化学 物理 纳米技术 计算机科学 内科学 化学工程 复合材料 基因 遗传学 物理化学 催化作用 量子力学 光电子学 冶金
热门帖子
关注 科研通微信公众号,转发送积分 3571483
求助须知:如何正确求助?哪些是违规求助? 3142021
关于积分的说明 9445454
捐赠科研通 2843551
什么是DOI,文献DOI怎么找? 1562864
邀请新用户注册赠送积分活动 731380
科研通“疑难数据库(出版商)”最低求助积分说明 718546