AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-23

ट्रांसफॉर्मर प्रशिक्षण के लिए एक इष्टतम नियंत्रण दृष्टिकोण

मूल शीर्षक: An Optimal Control Approach To Transformer Training

यह अध्ययन Transformer प्रशिक्षण को एक ऐसी इष्टतम नियंत्रण समस्या के रूप में देखता है जो संरचनात्मक बाधाओं का सम्मान करती है, जिनमें इनपुट-स्वतंत्र निष्पादन और स्थितीय निर्भरता शामिल हैं। लेखक मॉडल को प्रायिकता माप पर एक पूर्णतः अवलोकनीय Markov निर्णय प्रक्रिया में उठाते हैं, यह सिद्ध करते हैं कि वैश्विक रूप से इष्टतम नीतियाँ मौजूद होती हैं, और एक त्रि-क्वांटीकृत प्रशिक्षण प्रक्रिया प्रस्तावित करते हैं जो अवस्था, माप और क्रिया स्थानों को क्वांटाइज़ करती है। वे दिखाते हैं कि क्वांटीकृत मॉडल के लिए कोई भी इष्टतम नीति मूल प्रशिक्षण समस्या के लिए लगभग इष्टतम होती है, जो ग्रेडिएंट-आधारित प्रशिक्षण का एक सैद्धांतिक विकल्प प्रस्तुत करती है जिसमें किसी स्मूथनेस या उत्तलता की आवश्यकता नहीं होती।

मूल लेख पढ़ें ↗

सभी आइटम →