AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21

ऑनलाइन सॉफ्टमैक्स वर्गीकरण में एक-तिहाई स्केलिंग के लिए एक बाउंड्री-लेयर तंत्र

मूल शीर्षक: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification

यह अध्ययन उस तंत्र को पृथक करता है जिसके द्वारा softmax cross-entropy जैसे सुचारु सरोगेट हानियों और विविक्त हार्ड लेबलों के बीच बेमेल पावर-लॉ अधिगम वक्र उत्पन्न करता है, जिसके लिए argmax शिक्षक लेबलों के साथ Gaussian इनपुटों पर ऑनलाइन SGD से प्रशिक्षित एक-परत वाले softmax विद्यार्थी का उपयोग किया गया है। बाद के समय में केवल शिक्षक की निर्णय सीमाओं के आसपास उदाहरणों की सिकुड़ती परतें ही सक्रिय रहती हैं, जिससे परीक्षण हानि और सामान्यीकरण त्रुटि दोनों के लिए प्रशिक्षण समय में α^{-1/3} नियम प्राप्त होता है। यह त्रुटि नियम एक ऑनलाइन-शोर प्रभाव है, और लर्निंग-रेट एनीलिंग इसकी घात को 1/3 से 1/2 की ओर सुधारता है जबकि हानि को धीमा करता है, जो ग्रेडिएंट शोर के बिना भी बना रहता है।

मूल लेख पढ़ें ↗

सभी आइटम →