AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
受物理啟發的最佳化器在穩定邊緣之外:週期二軌道與延遲不穩定性
原標題: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
由於深度學習的學習率很大，訓練的行為如同一個離散動力系統，其中銳度通常會上升到最佳化器的穩定極限，也就是穩定邊緣（EoS）。該研究分析了動力學映射，其中每一步都是動量之動能的梯度，結果顯示：超越該邊緣的對稱週期二軌道只有在映射的彈性介於 0 與 1 之間時才穩定；不穩定性會像 Neishtadt 的緩慢掃掠分岔理論所描述的那樣被延遲；且 VRAdam 的阻尼器在超過臨界學習率兩倍時會失效，而其勒壤得對偶在任何學習率下都能通過。在精確二次問題、全批次 MLP 與 ResNet-32 上的實驗支持該理論，不過在 ResNet-18 上，透過匹配有效學習率即可重現大部分表面上的效益。