AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-26

स्टोकैस्टिक लायपुनोव स्थिरता के माध्यम से क्रॉस-एंट्रॉपी लॉस के लिए बड़े स्टेपसाइज़ वाले SGD का अभिसरण

मूल शीर्षक: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability

डीप लर्निंग में अक्सर ऐसी लर्निंग रेट का उपयोग होता है जो शास्त्रीय अनुकूलन सिद्धांत द्वारा उचित ठहराई गई दर से कहीं अधिक होती है, फिर भी स्टोकैस्टिक सेटिंग का काफ़ी हद तक अन्वेषण नहीं हुआ है। लेखक रैखिक क्लासिफ़ायर और दो-परत वाले न्यूरल नेटवर्क के लिए बहुवर्गीय क्रॉस-एंट्रॉपी लॉस पर SGD के सटीक अभिसरण गारंटी प्रस्तुत करते हैं, और दिखाते हैं कि डायनामिक्स वक्रता-संचालित दोलनों के प्रभुत्व वाली एज-ऑफ़-स्टेबिलिटी व्यवस्था और एक स्थिर व्यवस्था के बीच बदल सकती है, जहाँ अपेक्षित लॉस नियंत्रित दर से घटता है। वे सिद्ध करते हैं कि SGD निश्चित संख्या के पुनरावर्तनों के भीतर स्थिरता में लौट आता है, जिससे बड़ी लर्निंग रेट के साथ भी सर्वश्रेष्ठ-पुनरावर्तन अभिसरण संभव होता है, और प्रयोग इन निष्कर्षों की पुष्टि करते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →