已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Visualizing the Loss Landscape of Neural Nets

规范化(社会学) 计算机科学 可视化 人工神经网络 一般化 曲率 信息丢失 网络体系结构 人工智能 数学 几何学 人类学 计算机安全 数学分析 社会学
作者
Hao Li,Zheng Xu,Gavin Taylor,Christoph Studer,Tom Goldstein
出处
期刊:Neural Information Processing Systems 卷期号:31: 6391-6401 被引量:544
标识
DOI:10.3929/ethz-b-000461393
摘要

Neural network training relies on our ability to find good minimizers of highly non-convex loss functions. It is well known that certain network architecture designs (e.g., skip connections) produce loss functions that train easier, and well-chosen training parameters (batch size, learning rate, optimizer) produce minimizers that generalize better. However, the reasons for these differences, and their effect on the underlying loss landscape, is not well understood. In this paper, we explore the structure of neural loss functions, and the effect of loss landscapes on generalization, using a range of visualization methods. First, we introduce a simple filter normalization method that helps us visualize loss function curvature, and make meaningful side-by-side comparisons between loss functions. Then, using a variety of visualizations, we explore how network architecture affects the loss landscape, and how training parameters affect the shape of minimizers.

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
废式脂肪发布了新的文献求助10
1秒前
1秒前
今后应助hhhi采纳,获得10
3秒前
迷路翠绿发布了新的文献求助10
5秒前
漂亮白枫发布了新的文献求助10
6秒前
废式脂肪完成签到,获得积分10
8秒前
NexusExplorer应助三井库里采纳,获得10
9秒前
顾矜应助桀桀桀采纳,获得10
12秒前
14秒前
14秒前
18秒前
今后应助漂亮白枫采纳,获得10
21秒前
23秒前
ruler发布了新的文献求助10
25秒前
桀桀桀发布了新的文献求助10
26秒前
一直向前发布了新的文献求助10
28秒前
bkagyin应助Karol采纳,获得10
28秒前
29秒前
30秒前
ZGH完成签到,获得积分10
30秒前
小二郎应助是小小李哇采纳,获得10
31秒前
cgg完成签到 ,获得积分10
33秒前
34秒前
杰jj发布了新的文献求助10
34秒前
英俊的铭应助科研通管家采纳,获得10
34秒前
orixero应助WuYiHHH采纳,获得10
34秒前
完美世界应助科研通管家采纳,获得10
34秒前
科研通AI5应助科研通管家采纳,获得10
34秒前
科研通AI5应助科研通管家采纳,获得10
34秒前
我是老大应助科研通管家采纳,获得10
34秒前
科研通AI2S应助科研通管家采纳,获得10
34秒前
上官若男应助科研通管家采纳,获得10
34秒前
35秒前
36秒前
念初完成签到 ,获得积分10
36秒前
36秒前
lqllll发布了新的文献求助10
36秒前
39秒前
华仔应助标致的问晴采纳,获得10
39秒前
hhhi发布了新的文献求助10
40秒前
高分求助中
A new approach to the extrapolation of accelerated life test data 1000
ACSM’s Guidelines for Exercise Testing and Prescription, 12th edition 500
Indomethacinのヒトにおける経皮吸収 400
Phylogenetic study of the order Polydesmida (Myriapoda: Diplopoda) 370
基于可调谐半导体激光吸收光谱技术泄漏气体检测系统的研究 350
Robot-supported joining of reinforcement textiles with one-sided sewing heads 320
Aktuelle Entwicklungen in der linguistischen Forschung 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 3989918
求助须知:如何正确求助?哪些是违规求助? 3532013
关于积分的说明 11255831
捐赠科研通 3270829
什么是DOI,文献DOI怎么找? 1805053
邀请新用户注册赠送积分活动 882233
科研通“疑难数据库(出版商)”最低求助积分说明 809216