IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-20
Avaliação distribucional de modelos pós-seleção
Título original: Post-Selection Distributional Model Evaluation
Comparar modelos candidatos em termos de trade-offs entre desempenho e confiabilidade requer uma estimativa confiável das distribuições de KPIs em tempo de teste, mas usar os mesmos dados tanto para pré-selecionar modelos quanto para estimar suas distribuições introduz viés de pós-seleção. Os autores apresentam o PS-DME, uma estrutura construída sobre e-values que fornece uma avaliação distribucional de modelos estatisticamente válida após pré-seleção arbitrária dependente dos dados, controlando a taxa de cobertura falsa de pós-seleção e melhorando de forma comprovável a eficiência amostral em relação a uma linha de base com divisão de amostras, sob condições explícitas. Experimentos com dados sintéticos, decodificação text-to-SQL com modelos de linguagem de grande porte e avaliação de desempenho de redes de telecomunicações mostram uma comparação confiável de configurações candidatas em uma variedade de níveis de confiabilidade.