AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21

स्थिरता के किनारे से परे भौतिकी-प्रेरित ऑप्टिमाइज़र: दो-आवर्ती कक्षक और विलंबित अस्थिरता

मूल शीर्षक: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

चूंकि डीप लर्निंग में लर्निंग रेट बड़े होते हैं, प्रशिक्षण एक असतत गतिक तंत्र की तरह व्यवहार करता है जिसमें शार्पनेस सामान्यतः ऑप्टिमाइज़र की स्थिरता सीमा, यानी एज ऑफ स्टेबिलिटी (EoS) तक बढ़ जाती है। यह अध्ययन काइनेटिक मैप्स का विश्लेषण करता है, जिनमें स्टेप मोमेंटम की एक गतिज ऊर्जा का ग्रेडिएंट होता है, और दिखाता है कि किनारे से परे इनकी सममित पीरियड-टू कक्षाएं केवल तब स्थिर रहती हैं जब मैप की प्रत्यास्थता 0 और 1 के बीच हो, कि अस्थिरता धीरे-धीरे स्वीप किए जाने वाले बाइफर्केशन के Neishtadt के सिद्धांत की तरह विलंबित होती है, और कि VRAdam का डैम्पर दोगुने क्रांतिक लर्निंग रेट से ऊपर विफल हो जाता है जबकि उसका लेजेंद्र द्वैत हर लर्निंग रेट पर सफल रहता है। एक सटीक द्विघात समस्या, एक फुल-बैच MLP और ResNet-32 पर किए गए प्रयोग सिद्धांत का समर्थन करते हैं, हालांकि ResNet-18 पर प्रभावी लर्निंग रेट को मिलाने से दिखने वाले लाभ का अधिकांश हिस्सा पुनरुत्पन्न हो जाता है।

मूल लेख पढ़ें ↗

सभी आइटम →