FedSCR: Structure-based Communication Reduction for Federated Learning

计算机科学 稳健性(进化) 独立同分布随机变量 还原(数学) 架空(工程) 边缘设备 信息丢失 GSM演进的增强数据速率 财产(哲学) 数据挖掘 算法 机器学习 人工智能 随机变量 云计算 数学 操作系统 认识论 统计 哲学 基因 化学 生物化学 几何学
作者
Xueyu Wu,Xin Yao,Cho-Li Wang
出处
期刊:IEEE Transactions on Parallel and Distributed Systems [Institute of Electrical and Electronics Engineers]
卷期号:: 1-1 被引量:34
标识
DOI:10.1109/tpds.2020.3046250
摘要

Federated Learning allows edge devices to collaboratively train a shared model on their local data without leaking user privacy. The non-independent-and-identically-distributed (Non-IID) property of data distribution, which leads to severe accuracy degradation, and enormous communication overhead for aggregating parameters should be tackled in federated learning. In this article, we conduct a detailed analysis of parameter updates on the Non-IID datasets and compare the difference with the IID setting. Experimental results exhibit that parameter update matrices are structure-sparse and show that more gradients could be identified as negligible updates on the Non-IID data. As a result, we propose a structure-based communication reduction algorithm, called FedSCR, that reduces the number of parameters transported through the network while maintaining the model accuracy. FedSCR aggregates the parameter updates over channels and filters, identifies and removes the redundant updates by comparing the aggregated values with a threshold. Unlike the traditional structured pruning methods, FedSCR retains the complete model that does not require to be retrained and fine-tuned. The local loss and weight divergence on each device vary a lot because of the unbalanced data distribution. We further propose an adaptive FedSCR, that dynamically changes the bounded threshold, to enhance the model robustness on the Non-IID data. Evaluation results show that our proposed strategies achieve almost 50 percent upstream communication reduction without loss of accuracy. FedSCR can be integrated into state-of-the-art federated learning algorithms to dramatically reduce the number of parameters pushed to the global server with a tolerable accuracy reduction.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
十年锦灰完成签到,获得积分10
2秒前
自然的书易完成签到,获得积分10
2秒前
Airi发布了新的文献求助30
2秒前
欣慰的海豚完成签到,获得积分10
3秒前
4秒前
4秒前
Fickle完成签到,获得积分10
6秒前
6秒前
wulong完成签到,获得积分10
7秒前
星辰大海应助LMX采纳,获得10
7秒前
kksk发布了新的文献求助10
7秒前
9秒前
蓝天碧海小西服完成签到,获得积分0
9秒前
Hello应助ss采纳,获得10
9秒前
10秒前
想飞的猪完成签到,获得积分10
11秒前
快乐应助踏实的书包采纳,获得10
11秒前
Owen应助赵珊采纳,获得10
11秒前
光芒万丈完成签到 ,获得积分10
11秒前
12秒前
12秒前
12秒前
12秒前
kkjay发布了新的文献求助20
13秒前
14秒前
魔幻的代曼完成签到,获得积分10
16秒前
旺旺发布了新的文献求助10
16秒前
17秒前
赵子轩发布了新的文献求助10
17秒前
liuying完成签到,获得积分10
18秒前
18秒前
caozhi完成签到,获得积分10
19秒前
19秒前
bc发布了新的文献求助10
22秒前
22秒前
JHcHuN发布了新的文献求助20
23秒前
西红柿炒番茄应助喵父采纳,获得10
23秒前
23秒前
cauliflower发布了新的文献求助10
23秒前
高分求助中
Evolution 10000
Sustainability in Tides Chemistry 2800
юрские динозавры восточного забайкалья 800
English Wealden Fossils 700
A new species of Coccus (Homoptera: Coccoidea) from Malawi 500
A new species of Velataspis (Hemiptera Coccoidea Diaspididae) from tea in Assam 500
Diagnostic immunohistochemistry : theranostic and genomic applications 6th Edition 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3156110
求助须知:如何正确求助?哪些是违规求助? 2807513
关于积分的说明 7873605
捐赠科研通 2465844
什么是DOI,文献DOI怎么找? 1312456
科研通“疑难数据库(出版商)”最低求助积分说明 630107
版权声明 601905