La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-20
Evaluación distribucional de modelos post-selección
Título original: Post-Selection Distributional Model Evaluation
Comparar modelos candidatos según los compromisos entre rendimiento y fiabilidad requiere una estimación fiable de las distribuciones de KPI en tiempo de prueba, pero usar los mismos datos tanto para preseleccionar modelos como para estimar sus distribuciones introduce un sesgo de postselección. Los autores presentan PS-DME, un marco construido sobre e-valores que proporciona una evaluación distribucional de modelos estadísticamente válida tras una preselección arbitraria dependiente de los datos, controlando la tasa de cobertura falsa de postselección y mejorando de forma demostrable la eficiencia muestral respecto a una línea base de división de muestras bajo condiciones explícitas. Experimentos con datos sintéticos, decodificación text-to-SQL con modelos de lenguaje de gran escala y evaluación del rendimiento de redes de telecomunicaciones muestran una comparación fiable de configuraciones candidatas en una gama de niveles de fiabilidad.