AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-26

Sharpness-aware Orthogonalized Momentum الگورتھمز

اصل عنوان: Sharpness-aware Orthogonalized Momentum Algorithms

Sharpness-aware minimization گہری لرننگ میں تعمیم کو بہتر بناتی ہے، لیکن اس کی اضافی گریڈینٹ کمپیوٹیشن بڑے لسانی ماڈلز کے لیے مہنگی ہے، اور Muon optimizer کے ساتھ اس کے امتزاج پر بہت کم کام ہوا ہے۔ مصنفین SOMA تجویز کرتے ہیں، جو adversarial perturbations کے لیے پرانے stochastic gradient noise کو استعمال کر کے ایک مؤثر perturbation اسکیم کو Muon کے ساتھ جوڑتا ہے۔ وہ نظریاتی طور پر دکھاتے ہیں کہ SOMA کی sample complexity perturbation کی سمت پر منحصر نہیں، اور وہ post-training quantization سے معیار کے نقصان اور LLM fine-tuning کے دوران catastrophic forgetting کے خلاف اس کے استعمال کا جائزہ لیتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →