AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-20

मल्टी-हेड अटेंशन की अभिव्यंजकता के विश्लेषण के लिए औपचारिक रूप से सत्यापित ऑटोरिसर्च

मूल शीर्षक: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention

यह अध्ययन जाँचता है कि किसी Boolean फ़ंक्शन को निरूपित करने के लिए एक-परत वाले, केवल-अटेंशन ट्रांसफ़ॉर्मर को कितने अटेंशन हेड्स की आवश्यकता होती है, जिसे उसकी हेड जटिलता (head complexity) कहा जाता है। लेखक एक सटीक नॉर्मल फ़ॉर्म निकालते हैं, थ्रेशोल्ड-डिग्री की निचली सीमा सिद्ध करते हैं, और दिखाते हैं कि सममित फ़ंक्शनों के लिए हेड जटिलता Hamming-भार स्तरों पर मान-परिवर्तनों की संख्या के बराबर होती है। एक फ़्रंटियर मॉडल ने अनुमान और प्रमाण तैयार किए, जिन्हें Lean में मशीन द्वारा सत्यापित किया गया, जबकि मानव शोधकर्ताओं ने प्रश्न पूछे और परिणामों की समीक्षा की।

मूल लेख पढ़ें ↗

सभी आइटम →