AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-19

विस्तृत-चौड़ाई वाले न्यूरल नेटवर्कों की मेसोस्कोपिक अधिगम गतिकी

मूल शीर्षक: Mesoscopic learning dynamics of extensive-width neural networks

यह अध्ययन जाँचता है कि स्टोकेस्टिक ग्रेडिएंट डिसेंट दो-परत वाले न्यूरल नेटवर्क में आंतरिक निरूपण कैसे सीखता है, जिनकी चौड़ाई और इनपुट आयाम समानुपातिक रूप से बढ़ते हैं। फ़ीचर ओवरलैप के वितरण का गाउसियन सन्निकटन प्रारंभिक सीखने को कुछ सामूहिक चरों तक सीमित कर देता है, जो लक्ष्य के रैखिक और द्विघात घटकों को ट्रैक करते हैं। लेखकों के अनुसार इन घटकों को सीखना ग्रेडिएंट के उतार-चढ़ाव को छानता है और अलग-अलग फ़ीचर के विशेषज्ञीकरण को तेज़ करता है।

मूल लेख पढ़ें ↗

सभी आइटम →