AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-26
通过随机李雅普诺夫稳定性分析大步长SGD在交叉熵损失下的收敛性
原标题: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
深度学习中常用的学习率远大于经典优化理论所能解释的范围,但随机设置下的情形在很大程度上尚未被探索。作者针对线性分类器和两层神经网络的多分类交叉熵损失,给出了SGD的精确收敛保证,表明其动力学可能在两种状态之间交替:一种是由曲率驱动的振荡主导的稳定边缘状态,另一种是期望损失以可控速率下降的稳定状态。他们证明SGD会在固定的迭代次数内回到稳定状态,因此即使学习率很大,也能实现最佳迭代点收敛,实验验证了这些结论。