الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-20

تقييم توزيعي للنماذج بعد الانتقاء

العنوان الأصلي: Post-Selection Distributional Model Evaluation

تتطلب مقارنة النماذج المرشحة عبر المفاضلات بين الأداء والموثوقية تقديرًا موثوقًا لتوزيعات KPI وقت الاختبار، لكن استخدام البيانات نفسها لاختيار النماذج مسبقًا وتقدير توزيعاتها يُدخل تحيزًا بعد الاختيار. يقدّم المؤلفون إطار PS-DME، المبني على e-values، الذي يوفر تقييمًا توزيعيًا صحيحًا إحصائيًا للنماذج بعد أي اختيار مسبق معتمد على البيانات، مع التحكم في معدل التغطية الخاطئة بعد الاختيار وتحسين مثبت لكفاءة العينات مقارنة بخط أساس يعتمد على تقسيم العينات في ظل شروط صريحة. وتُظهر التجارب على بيانات اصطناعية وفك ترميز النص إلى SQL باستخدام نماذج اللغة الكبيرة وتقييم أداء شبكات الاتصالات مقارنة موثوقة للتكوينات المرشحة عبر مجموعة من مستويات الموثوقية.

اقرأ المصدر الأصلي ↗

جميع العناصر →