清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Adaptive energy-based gradient methods for large-scale optimization and data-driven discovery of dynamical systems via neural networks

人工神经网络 计算机科学 动力系统理论 人工智能 最优控制 深度学习 机器学习 趋同(经济学) 随机优化 理论(学习稳定性) 水准点(测量) 数学优化 数学 物理 量子力学 大地测量学 地理 经济 经济增长
作者
Xuping Tian
标识
DOI:10.31274/td-20240617-16
摘要

Machine learning and data science have revolutionized numerous scientific and engineering domains, promising a renaissance in complex data analysis and understanding. This thesis addresses two critical challenges at the forefront of these fields: (1) developing efficient optimization methods for training large-scale machine learning models, and (2) the discovery of dynamical systems from observational data. To tackle the first challenge, we introduce a new family of gradient-based optimization methods. These methods employ an adaptive energy-based strategy, ensuring unconditional energy stability regardless of the step size (learning rate) value. We provide convergence analyses for both deterministic and stochastic settings, with particular emphasis placed on the SGEM (Stochastic Gradient with Energy and Momentum) method, notable for its incorporation of momentum acceleration. Experimental results on benchmark deep learning problems demonstrate SGEM's rapid convergence and superior generalization capabilities. Furthermore, we investigate the dynamic behavior of a deterministic variant of SGEM through the lens of limiting Ordinary Differential Equations (ODEs). Our results illuminate the impact of momentum and step size on the stability and convergence of discrete schemes. Addressing the second challenge, we propose a data-driven optimal control approach for learning system parameters. This approach is subsequently extended to encompass the learning of the entire governing function by incorporating neural network approximation into the framework. Specifically, we exemplify the data-driven optimal control approach by learning the parameters of the Susceptible-Exposed-Infectious-Recovered (SEIR) model from reported COVID-19 data. The Optimal Control Neural Networks (OCN) framework is demonstrated through its application to a gradient flow system. The training process of the neural networks is meticulously designed using the adjoint method alongside symplectic ODE solvers. Numerical experiments on several canonical systems validate the OCN framework. In summary, this research contributes to the advancement of both the theoretical understanding and practical applications of large-scale optimization in machine learning, as well as the data-driven discovery of dynamical systems.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
k001boyxw完成签到,获得积分10
7秒前
简单发布了新的文献求助20
15秒前
飞云完成签到 ,获得积分10
15秒前
幽默的太阳完成签到 ,获得积分10
34秒前
39秒前
柯伊达完成签到 ,获得积分10
40秒前
herpes完成签到 ,获得积分0
44秒前
45秒前
ceeray23发布了新的文献求助20
50秒前
风华正茂完成签到 ,获得积分10
53秒前
fatcat完成签到,获得积分10
1分钟前
1分钟前
CC发布了新的文献求助10
1分钟前
haralee发布了新的文献求助10
1分钟前
现代小丸子完成签到 ,获得积分10
1分钟前
双眼皮跳蚤完成签到,获得积分10
1分钟前
wefor完成签到 ,获得积分10
1分钟前
简单驳回了科奇应助
1分钟前
HanQing完成签到,获得积分10
2分钟前
tianshuai完成签到 ,获得积分0
2分钟前
风中夜天完成签到 ,获得积分10
2分钟前
2分钟前
lixuebin完成签到 ,获得积分10
2分钟前
xun发布了新的文献求助10
2分钟前
大医仁心完成签到 ,获得积分10
2分钟前
简单完成签到,获得积分10
2分钟前
2分钟前
房天川完成签到 ,获得积分10
2分钟前
阳光冰颜完成签到 ,获得积分10
2分钟前
mr完成签到 ,获得积分10
2分钟前
Forever完成签到,获得积分10
2分钟前
2分钟前
tszjw168完成签到 ,获得积分10
2分钟前
ceeray23发布了新的文献求助20
2分钟前
hongtao发布了新的文献求助10
2分钟前
ceeray23发布了新的文献求助40
3分钟前
栀子红了完成签到 ,获得积分10
3分钟前
aikeyan完成签到 ,获得积分10
3分钟前
ceeray23发布了新的文献求助20
3分钟前
忒寒碜完成签到,获得积分10
3分钟前
高分求助中
The Mother of All Tableaux: Order, Equivalence, and Geometry in the Large-scale Structure of Optimality Theory 3000
A new approach to the extrapolation of accelerated life test data 1000
ACSM’s Guidelines for Exercise Testing and Prescription, 12th edition 500
Indomethacinのヒトにおける経皮吸収 400
Phylogenetic study of the order Polydesmida (Myriapoda: Diplopoda) 370
基于可调谐半导体激光吸收光谱技术泄漏气体检测系统的研究 350
Robot-supported joining of reinforcement textiles with one-sided sewing heads 320
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 3990809
求助须知:如何正确求助?哪些是违规求助? 3532233
关于积分的说明 11256603
捐赠科研通 3271081
什么是DOI,文献DOI怎么找? 1805229
邀请新用户注册赠送积分活动 882302
科研通“疑难数据库(出版商)”最低求助积分说明 809236