AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-26
交差エントロピー損失に対する大ステップサイズSGDの収束：確率的リアプノフ安定性による解析
原題: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
深層学習は古典的な最適化理論が正当化する範囲よりはるかに大きい学習率で動作するが、確率的な設定はこれまで十分に解析されていない。本研究は多クラス交差エントロピー損失に対するSGDの収束保証を、線形分類器と2層ニューラルネットワークについて示す。SGDは曲率由来の振動が支配的な安定性の縁の領域と安定な領域を行き来するが、有限回の反復で安定に戻ることを証明し、大きな学習率でもベストイテレートの意味で収束することを示す。