Scaling Laws for Neural Language Models

缩放比例 计算机科学 标度律 统计物理学 法学 政治学 数学 几何学 物理
作者
Jared Kaplan,Sam McCandlish,Tom Henighan,T. B. Brown,Benjamin Chess,Rewon Child,Scott Gray,Alec Radford,Jeffrey Wu,Dario Amodei
出处
期刊:Cornell University - arXiv 被引量:1149
标识
DOI:10.48550/arxiv.2001.08361
摘要

We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other architectural details such as network width or depth have minimal effects within a wide range. Simple equations govern the dependence of overfitting on model/dataset size and the dependence of training speed on model size. These relationships allow us to determine the optimal allocation of a fixed compute budget. Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
上官若男应助科研通管家采纳,获得10
刚刚
刚刚
科研通AI5应助科研通管家采纳,获得10
刚刚
完美世界应助科研通管家采纳,获得10
刚刚
ding应助科研通管家采纳,获得10
刚刚
pcr163应助科研通管家采纳,获得100
刚刚
Orange应助科研通管家采纳,获得10
刚刚
ding应助科研通管家采纳,获得10
刚刚
pcr163应助科研通管家采纳,获得100
刚刚
1秒前
1秒前
JamesPei应助科研通管家采纳,获得10
1秒前
NexusExplorer应助科研通管家采纳,获得10
1秒前
吨吨发布了新的文献求助10
1秒前
充电宝应助温暖的数据线采纳,获得10
1秒前
陌子完成签到 ,获得积分10
2秒前
zixian发布了新的文献求助10
3秒前
渔舟唱晚发布了新的文献求助10
4秒前
喜乐多完成签到 ,获得积分10
4秒前
ittt发布了新的文献求助30
4秒前
逗逗完成签到,获得积分10
7秒前
7秒前
张德彪完成签到 ,获得积分10
7秒前
8秒前
开心就吃猕猴桃完成签到,获得积分10
8秒前
9秒前
堀江真夏完成签到 ,获得积分10
11秒前
橘子海完成签到 ,获得积分10
12秒前
斯文败类应助niekyang采纳,获得10
12秒前
GY00发布了新的文献求助10
12秒前
李泽完成签到,获得积分20
12秒前
CHENJIRU发布了新的文献求助10
12秒前
丶Dawn发布了新的文献求助10
15秒前
彭于晏应助牧谷采纳,获得10
15秒前
orixero应助渔舟唱晚采纳,获得10
15秒前
xinjie完成签到,获得积分10
16秒前
苗广山完成签到 ,获得积分10
16秒前
Rebeccaiscute完成签到 ,获得积分10
17秒前
中午饭完成签到,获得积分10
18秒前
19秒前
高分求助中
Continuum Thermodynamics and Material Modelling 3000
Production Logging: Theoretical and Interpretive Elements 2700
Les Mantodea de Guyane Insecta, Polyneoptera 1000
Structural Load Modelling and Combination for Performance and Safety Evaluation 1000
Conference Record, IAS Annual Meeting 1977 820
電気学会論文誌D(産業応用部門誌), 141 巻, 11 号 510
Typology of Conditional Constructions 500
热门求助领域 (近24小时)
化学 材料科学 生物 医学 工程类 有机化学 生物化学 物理 纳米技术 计算机科学 内科学 化学工程 复合材料 基因 遗传学 物理化学 催化作用 量子力学 光电子学 冶金
热门帖子
关注 科研通微信公众号,转发送积分 3571483
求助须知:如何正确求助?哪些是违规求助? 3142021
关于积分的说明 9445454
捐赠科研通 2843551
什么是DOI,文献DOI怎么找? 1562864
邀请新用户注册赠送积分活动 731380
科研通“疑难数据库(出版商)”最低求助积分说明 718546