AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-20

टेस्ट-टाइम ट्रेनिंग का एक निर्णय-सैद्धांतिक दृष्टिकोण: कब, कितनी दूर, और किन दिशाओं में अनुकूलन करें

मूल शीर्षक: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt

टेस्ट-टाइम ट्रेनिंग (TTT) पैरामीटर अपडेट के माध्यम से एक प्रीट्रेंड मॉडल को प्रत्येक प्रॉम्प्ट के लिए अनुकूलित करती है और वितरण परिवर्तनों के तहत सटीकता में सुधार करती है, लेकिन इसका प्रदर्शन अक्सर अस्थिर होता है और अपडेट स्टेप्स और सबस्पेस जैसे हाइपरपैरामीटर के प्रति संवेदनशील होता है। कर्नेल रीज़िम में TTT को अंतर्निहित बेयसियन इन्फ़ेरेंस के रूप में मानते हुए, लेखक एक गॉसियन प्रोसेस बेंचमार्क पर दिखाते हैं कि जब अपडेट प्रॉम्प्ट के सिग्नल-टू-नॉइज़ अनुपात से स्पेक्ट्रल रूप से मेल खाते हैं और क्वेरी-प्रासंगिक आइजेन-दिशाओं के साथ संरेखित होते हैं तो TTT भविष्यवाणी त्रुटि को कम करती है। इसी दृष्टिकोण से वे यह बताते हैं कि निश्चित अपडेट स्टेप्स और सबस्पेस कब विफल होते हैं, प्रॉम्प्ट साक्ष्य के माध्यम से अपडेट स्टेप्स चुनने के लिए एक PAC-Bayes गारंटी सिद्ध करते हैं, और ट्रांसफॉर्मर ब्लॉक और हेड चुनने के लिए एक स्कोरिंग नियम प्राप्त करते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →