AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-26
透過隨機李雅普諾夫穩定性探討大步長 SGD 在交叉熵損失下的收斂性
原標題: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
深度學習經常使用遠大於傳統最佳化理論所能支持的學習率，然而隨機設定下的情形在很大程度上仍未被探索。作者針對線性分類器與兩層神經網路的多類別交叉熵損失，給出了 SGD 的嚴格收斂保證，並顯示其動態可在兩種狀態間交替：一是由曲率驅動的振盪所主導的穩定邊緣狀態，二是期望損失以可控速率下降的穩定狀態。他們證明 SGD 會在固定的迭代次數內回到穩定狀態，因此即使學習率很大，仍可達成最佳迭代點收斂，實驗也驗證了這些發現。