AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-26
シャープネス考慮型の直交化モーメンタム法
原題: Sharpness-aware Orthogonalized Momentum Algorithms
シャープネス考慮最小化（SAM）は深層学習の汎化性能を高める手法として知られるが、大規模言語モデル（LLM）の学習で使われるMuonとの組み合わせは十分に研究されておらず、SAMの追加勾配計算もLLMでは高コストになる。本研究は、確率的勾配の古いノイズを摂動に使うことで計算効率の良い摂動方式をMuonと組み合わせたSOMAを提案する。理論面では、SOMAの標本複雑度が摂動の方向によらないことを示した。さらに、学習後の量子化による品質低下の緩和と、LLMのファインチューニング時の破滅的忘却に対する効果を検討したと述べている。