AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-26

टोकन परसेप्ट्रॉन के सामान्यीकरण गुण: एम्बेडिंग और शब्दावली की भूमिका

मूल शीर्षक: Generalization properties of the token perceptron: the role of embedding and vocabulary

बड़े भाषा मॉडलों में टोकन पूर्वानुमान एक वर्गीकरण समस्या है जिसकी ज्यामिति एम्बेडिंग द्वारा तय होती है, इसलिए लेखक token perceptron नामक एक न्यूनतम रैखिक मॉडल का अध्ययन करते हैं। रेप्लिका विधि का उपयोग करके वे इसकी सामान्यीकरण त्रुटि निकालते हैं और पाते हैं कि सतत एम्बेडिंग के लिए d²/(d−1) की सीमा से ऊपर शिक्षक (teacher) ठीक-ठीक पुनः प्राप्त हो जाता है। शब्दावली एम्बेडिंग के लिए, शिक्षक समदैशिक (isotropic) होने पर भी, इष्टतम शिक्षार्थी पहले उन दिशाओं को हल करता है जिनमें शब्दावली सबसे अधिक बदलती है।

मूल लेख पढ़ें ↗

सभी आइटम →