AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-26

रूटेड ट्री के अंकगणितीय अनुक्रम पर ट्रांसफ़ॉर्मर की सीखने की क्षमता का परीक्षण

मूल शीर्षक: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees

यह अध्ययन पूछता है कि क्या एक ट्रांसफ़ॉर्मर प्राकृतिक संख्याओं के बार-बार अभाज्य गुणनखंडन से बनने वाले रूटेड ट्री के निर्धारक अनुक्रम को सीख सकता है। पहले 10^11 अवयवों पर शुरू से प्रशिक्षित GPT-2-शैली के एक मॉडल ने अगले और मास्क किए गए टोकन के पूर्वानुमान पर लगभग 0.4 की शब्द सटीकता हासिल की, जो Hidden Markov Model आधाररेखा से ऊपर है, और 10^13 से 10^15 पर परीक्षण ब्लॉकों पर स्थिर बनी रही। मॉडल की संभाविता ने अंकगणितीय पाठ को उन नियंत्रण पाठों से भी अलग किया जो टोकन की आवृत्तियाँ रखते हैं पर उनका क्रम नहीं, और उन अनुक्रमों से भी जिनमें तीन से अधिक लगातार वर्ग-मुक्त पूर्णांक होते हैं, जिन्हें अंकगणित निषिद्ध करता है।

मूल लेख पढ़ें ↗

सभी आइटम →