亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

ZeRO: Memory optimizations Toward Training Trillion Parameter Models

计算机科学 加速 并行计算 零(语言学) 计算 数据并行性 计算机工程 比例(比率) 吞吐量 平行性(语法) 算法 电信 物理 哲学 量子力学 无线 语言学
作者
Samyam Rajbhandari,Jeff Rasley,Olatunji Ruwase,Yuxiong He
标识
DOI:10.1109/sc41405.2020.00024
摘要

Large deep learning models offer significant accuracy gains, but training billions to trillions of parameters is challenging. Existing solutions such as data and model parallelisms exhibit fundamental limitations to fit these models into limited device memory, while obtaining computation, communication and development efficiency. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, vastly improving training speed while increasing the model size that can be efficiently trained. ZeRO eliminates memory redundancies in data- and model-parallel training while retaining low communication volume and high computational granularity, allowing us to scale the model size proportional to the number of devices with sustained high efficiency. Our analysis on memory requirements and communication volume demonstrates: ZeRO has the potential to scale beyond 1 Trillion parameters using today's hardware. We implement and evaluate ZeRO: it trains large models of over 100B parameter with super-linear speedup on 400 GPUs, achieving throughput of 15 Petaflops. This represents an 8x increase in model size and 10x increase in achievable performance over state-of-the-art. In terms of usability, ZeRO can train large models of up to 13B parameters (e.g., larger than Megatron GPT 8. 3B and T5 11B) without requiring model parallelism which is harder for scientists to apply. Last but not the least, researchers have used the system breakthroughs of ZeRO to create Turing-NLG, the world's largest language model at the time (17B parameters) with record breaking accuracy.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
8秒前
13秒前
lourahan发布了新的文献求助20
17秒前
57秒前
世隐完成签到,获得积分10
1分钟前
1分钟前
2分钟前
jyy应助科研通管家采纳,获得10
2分钟前
jyy应助科研通管家采纳,获得10
2分钟前
jyy应助科研通管家采纳,获得10
2分钟前
2分钟前
Lucas应助强健的柚子采纳,获得10
3分钟前
身法马可波罗完成签到 ,获得积分10
3分钟前
3分钟前
4分钟前
拓跋雨梅完成签到 ,获得积分0
4分钟前
mjf111应助DrleedsG采纳,获得10
4分钟前
4分钟前
bkagyin应助科研通管家采纳,获得10
4分钟前
4分钟前
5分钟前
5分钟前
Lily完成签到,获得积分10
6分钟前
clairevox完成签到,获得积分10
6分钟前
6分钟前
clairevox发布了新的文献求助10
6分钟前
6分钟前
勤恳依霜发布了新的文献求助10
6分钟前
jfc完成签到 ,获得积分10
6分钟前
7分钟前
7分钟前
8分钟前
传奇3应助XIN采纳,获得10
8分钟前
8分钟前
8分钟前
XIN发布了新的文献求助10
8分钟前
mjf111发布了新的文献求助10
8分钟前
mjf111完成签到,获得积分10
9分钟前
9分钟前
xz完成签到 ,获得积分10
9分钟前
高分求助中
Licensing Deals in Pharmaceuticals 2019-2024 3000
Effect of reactor temperature on FCC yield 2000
Very-high-order BVD Schemes Using β-variable THINC Method 1020
PraxisRatgeber: Mantiden: Faszinierende Lauerjäger 800
Mission to Mao: Us Intelligence and the Chinese Communists in World War II 600
The Conscience of the Party: Hu Yaobang, China’s Communist Reformer 600
MATLAB在传热学例题中的应用 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3303289
求助须知:如何正确求助?哪些是违规求助? 2937611
关于积分的说明 8482551
捐赠科研通 2611482
什么是DOI,文献DOI怎么找? 1425949
科研通“疑难数据库(出版商)”最低求助积分说明 662474
邀请新用户注册赠送积分活动 647005