AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-26
शार्पनेस-अवेयर ऑर्थोगोनलाइज़्ड मोमेंटम एल्गोरिदम
मूल शीर्षक: Sharpness-aware Orthogonalized Momentum Algorithms
शार्पनेस-अवेयर मिनिमाइज़ेशन डीप लर्निंग में सामान्यीकरण को बेहतर बनाता है, लेकिन इसकी अतिरिक्त ग्रेडिएंट गणना बड़े भाषा मॉडलों के लिए महंगी है, और Muon ऑप्टिमाइज़र के साथ इसके संयोजन पर बहुत कम खोज हुई है। लेखक SOMA प्रस्तावित करते हैं, जो प्रतिकूल विक्षोभों के लिए पुराने स्टोकेस्टिक ग्रेडिएंट नॉइज़ का उपयोग करके एक कुशल विक्षोभ योजना को Muon के साथ जोड़ता है। वे सैद्धांतिक रूप से दिखाते हैं कि SOMA की सैंपल जटिलता विक्षोभ की दिशा पर निर्भर नहीं करती, और वे पोस्ट-ट्रेनिंग क्वांटाइज़ेशन से होने वाली गुणवत्ता हानि तथा LLM फ़ाइन-ट्यूनिंग के दौरान विनाशकारी विस्मरण के विरुद्ध इसके उपयोग की पड़ताल करते हैं।