AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-20
Evaluasi Model Distribusional Pasca-Seleksi
Judul asli: Post-Selection Distributional Model Evaluation
Membandingkan model kandidat berdasarkan trade-off kinerja-reliabilitas memerlukan estimasi yang andal atas distribusi KPI test-time, tetapi menggunakan data yang sama baik untuk pra-seleksi model maupun mengestimasi distribusinya menimbulkan bias post-selection. Para penulis memperkenalkan PS-DME, sebuah kerangka kerja yang dibangun di atas e-values yang memberikan penilaian model distribusional yang valid secara statistik setelah pra-seleksi arbitrer yang bergantung pada data, mengendalikan post-selection false coverage rate, dan terbukti meningkatkan efisiensi sampel dibandingkan baseline sample-splitting di bawah kondisi yang eksplisit. Eksperimen pada data sintetis, decoding text-to-SQL dengan model bahasa besar, dan evaluasi kinerja jaringan telekomunikasi menunjukkan perbandingan konfigurasi kandidat yang andal di berbagai tingkat reliabilitas.