AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21

AURA: सम्मिश्र-मान न्यूरल नेटवर्कों को प्रशिक्षित करने के लिए एंगुलर अपडेट रेट एडाप्टेशन

मूल शीर्षक: AURA: Angular Update Rate Adaptation for training complex-valued neural networks

सम्मिश्र-मान न्यूरल नेटवर्क अक्सर ऐसे फर्स्ट-ऑर्डर ऑप्टिमाइज़र से प्रशिक्षित किए जाते हैं जो रियल-वैल्यूड केस से विरासत में मिले होते हैं, और इनके स्टेप-साइज़ नियम सम्मिश्र तल में उपलब्ध कोणीय जानकारी की अनदेखी करते हैं। AURA एक प्रति-पैरामीटर स्टेप-साइज़ अनुकूलन है जिसे किसी भी फर्स्ट-ऑर्डर ऑप्टिमाइज़र के ऊपर जोड़ा जा सकता है: यह प्रत्येक सम्मिश्र पैरामीटर के क्रमागत अपडेट के बीच लंबाई, संरेखण और घूर्णन की दिशा में अनुरूपता मापता है, जब वे सुसंगत होते हैं तब स्टेप को बड़ा करता है और नहीं होने पर घटाता है, बिना किसी अतिरिक्त ग्रेडिएंट मूल्यांकन के। Adam और Muon के साथ संयोजित कर, बढ़ती जटिलता वाले चार टेस्ट केस पर तुलना करते हुए, इसने अधिकांश मामलों में प्रति-स्टेप मामूली ओवरहेड के साथ अपने बेस ऑप्टिमाइज़र की कन्वर्जेंस में सुधार किया, और उन परिस्थितियों की पहचान की गई जिनमें यह विफल होता है।

मूल लेख पढ़ें ↗

सभी आइटम →