AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-20

पोस्ट-सिलेक्शन डिस्ट्रीब्यूशनल मॉडल मूल्यांकन

मूल शीर्षक: Post-Selection Distributional Model Evaluation

प्रदर्शन-विश्वसनीयता ट्रेड-ऑफ पर उम्मीदवार मॉडलों की तुलना करने के लिए टेस्ट-टाइम KPI वितरणों के विश्वसनीय अनुमान की आवश्यकता होती है, लेकिन एक ही डेटा का उपयोग मॉडलों के पूर्व-चयन और उनके वितरणों के अनुमान दोनों के लिए करने से पोस्ट-सिलेक्शन पूर्वाग्रह उत्पन्न होता है। लेखक PS-DME प्रस्तुत करते हैं, एक ऐसा फ्रेमवर्क जो e-values पर आधारित है और मनमाने डेटा-आधारित पूर्व-चयन के बाद सांख्यिकीय रूप से वैध वितरणात्मक मॉडल मूल्यांकन प्रदान करता है, पोस्ट-सिलेक्शन फॉल्स कवरेज दर को नियंत्रित करता है, और स्पष्ट शर्तों के तहत सैंपल-विभाजन बेसलाइन की तुलना में सैंपल दक्षता में प्रमाणित रूप से सुधार करता है। सिंथेटिक डेटा, बड़े भाषा मॉडलों के साथ text-to-SQL डिकोडिंग, और दूरसंचार नेटवर्क प्रदर्शन मूल्यांकन पर प्रयोग विश्वसनीयता के विभिन्न स्तरों पर उम्मीदवार कॉन्फ़िगरेशन की विश्वसनीय तुलना दिखाते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →