AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-21
安定性の限界を超えた物理に着想を得た最適化手法：周期2軌道と遅延不安定性
原題: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
深層学習では学習率が大きいため訓練は離散力学系として振る舞い、多くのフルバッチ実験でシャープネスは最適化手法の安定限界であるエッジ・オブ・スタビリティ（EoS）まで上がったまま推移する。この研究は、ステップを運動量の運動エネルギーの勾配とする運動学的写像をEoSの外側で解析し、弾性率が0と1の間にあるときに対称な周期2軌道が線形安定となること、シャープネスが徐々に上がるため安定性の喪失はNeishtadtの緩慢掃引分岐理論どおりに遅れること、VRAdamのダンパーは臨界学習率の2倍を超えると失敗する一方そのLegendre双対は任意の学習率で通過できることなどを示した。二次問題・フルバッチMLP・ResNet-32の実験が理論を支持するが、ResNet-18では利得の多くが実効学習率を合わせるだけで再現された。