AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
超越稳定性边缘的物理启发优化器：周期二轨道与延迟失稳
原标题: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
由于深度学习中的学习率较大,训练表现为一个离散动力系统,其中锐度通常会升至优化器的稳定性极限,即稳定性边缘(EoS)。该研究分析了动力学映射,其中每一步更新都是动量之动能的梯度,结果表明:这些映射在边缘之外的对称周期2轨道仅当映射的弹性介于0与1之间时才稳定;失稳会像Neishtadt的慢扫过分岔理论那样被推迟;VRAdam的阻尼器在超过两倍临界学习率时失效,而其勒让德对偶在任意学习率下都能通过。在精确二次问题、全批量MLP和ResNet-32上的实验支持了该理论,不过在ResNet-18上,大部分表观收益可通过匹配有效学习率来复现。