AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-26
銳度感知正交化動量演算法
原標題: Sharpness-aware Orthogonalized Momentum Algorithms
銳度感知最小化可提升深度學習的泛化能力，但其額外的梯度計算對大型語言模型而言成本高昂，且與 Muon 優化器的結合鮮少被探討。作者提出 SOMA，利用過時的隨機梯度雜訊作為對抗擾動，將高效的擾動方案與 Muon 結合。他們從理論上證明 SOMA 的樣本複雜度與擾動方向無關，並探討其在對抗訓練後量化造成的品質損失，以及大型語言模型微調期間的災難性遺忘方面的應用。