AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-26
Algoritma Momentum Ortogonal yang Sadar Ketajaman
Judul asli: Sharpness-aware Orthogonalized Momentum Algorithms
Minimisasi yang sadar ketajaman (sharpness-aware) meningkatkan generalisasi dalam pembelajaran mendalam, tetapi komputasi gradien tambahannya mahal untuk model bahasa besar, dan kombinasinya dengan optimizer Muon masih sedikit dieksplorasi. Para penulis mengusulkan SOMA, yang menggunakan derau gradien stokastik usang untuk perturbasi adversarial guna memasangkan skema perturbasi yang efisien dengan Muon. Mereka menunjukkan secara teoretis bahwa kompleksitas sampel SOMA tidak bergantung pada arah perturbasi, dan mengeksplorasi penggunaannya untuk mengatasi penurunan kualitas akibat kuantisasi pascapelatihan dan catastrophic forgetting selama fine-tuning LLM.