AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-20
Tathmini ya Mfano wa Usambazaji Baada ya Uteuzi
Kichwa asilia: Post-Selection Distributional Model Evaluation
Kulinganisha mifano kandidati kwa kuzingatia mabadilishano kati ya utendaji na uaminifu kunahitaji makadirio ya kuaminika ya usambazaji wa KPI za wakati wa kupima, lakini kutumia data ileile kuteua awali mifano na kukadiria usambazaji wake kunaleta upendeleo wa baada ya uteuzi. Waandishi wanaleta PS-DME, mfumo uliojengwa juu ya e-values unaotoa tathmini ya usambazaji wa mifano iliyo sahihi kitabihisabati baada ya uteuzi wa awali wowote unaotegemea data, ikidhibiti kiwango cha ufunikaji wa uongo wa baada ya uteuzi na kwa uthibitisho kuboresha ufanisi wa sampuli zaidi ya msingi wa kugawanya sampuli chini ya masharti wazi. Majaribio kwenye data bandia, kwenye kudekodi text-to-SQL kwa kutumia mifano mikubwa ya lugha, na kwenye tathmini ya utendaji wa mitandao ya mawasiliano ya simu zinaonyesha kulinganisha kwa kuaminika kwa mipangilio kandidati katika anuwai ya viwango vya uaminifu.