AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-26
锐度感知正交化动量算法
原标题: Sharpness-aware Orthogonalized Momentum Algorithms
锐度感知最小化可以提升深度学习的泛化能力,但其额外的梯度计算对大语言模型而言代价高昂,且它与 Muon 优化器的结合鲜有探索。作者提出了 SOMA,它利用过时的随机梯度噪声作为对抗扰动,将高效的扰动方案与 Muon 相结合。他们从理论上证明 SOMA 的样本复杂度与扰动方向无关,并探讨了将其用于应对训练后量化造成的质量损失以及大语言模型微调中的灾难性遗忘。