AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-22

ज्यामितीय नॉलेज स्पेस, अटेंशन पेयरिंग और आर्किटेक्चर

मूल शीर्षक: Geometric knowledge spaces, Attention pairing and Architectures

यह पेपर अटेंशन तंत्रों को व्युत्पन्न करने और संभावित नए ट्रांसफ़ॉर्मर आर्किटेक्चर की खोज के लिए एक ज्यामितीय दृष्टिकोण प्रस्तावित करता है। यह ज्ञान-विश्वों और अटेंशन पेयरिंग्स की अवधारणाओं को औपचारिक रूप देता है, फिर दर्शाता है कि यह ढाँचा स्वाभाविक रूप से मानक अटेंशन, कॉज़ल अटेंशन, रैखिक अटेंशन, टेंसर अटेंशन और रिकरेंट न्यूरल नेटवर्क के आर्किटेक्चर की ओर ले जाता है। अंत में, यह कई नए ज्यामितीय स्पेस प्रस्तुत करता है जो नए प्रकार के न्यूरल नेटवर्क आर्किटेक्चर को प्रेरित कर सकते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →