KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Sharpness-aware orthogonalisierte Momentum-Algorithmen
Originaltitel: Sharpness-aware Orthogonalized Momentum Algorithms
Sharpness-Aware Minimization verbessert die Generalisierung im Deep Learning, doch ihre zusätzliche Gradientenberechnung ist für große Sprachmodelle kostspielig, und ihre Kombination mit dem Muon-Optimierer wurde bisher wenig erforscht. Die Autoren schlagen SOMA vor, das veraltetes stochastisches Gradientenrauschen für adversariale Störungen nutzt, um ein effizientes Störungsschema mit Muon zu kombinieren. Sie zeigen theoretisch, dass die Stichprobenkomplexität von SOMA nicht von der Störungsrichtung abhängt, und untersuchen den Einsatz gegen Qualitätsverluste durch Post-Training-Quantisierung und katastrophales Vergessen beim Fine-Tuning von LLMs.