L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-20
Évaluation distributionnelle de modèles après sélection
Titre original: Post-Selection Distributional Model Evaluation
Comparer des modèles candidats selon les compromis entre performance et fiabilité exige une estimation fiable des distributions des KPI au moment du test, mais utiliser les mêmes données à la fois pour présélectionner les modèles et estimer leurs distributions introduit un biais de post-sélection. Les auteurs présentent PS-DME, un cadre fondé sur les e-values qui fournit une évaluation distributionnelle des modèles statistiquement valide après une présélection arbitraire dépendante des données, en contrôlant le taux de fausse couverture post-sélection et en améliorant, de manière prouvable, l'efficacité d'échantillonnage par rapport à une référence à découpage d'échantillon sous des conditions explicites. Des expériences sur des données synthétiques, le décodage text-to-SQL avec de grands modèles de langage et l'évaluation des performances de réseaux de télécommunications montrent une comparaison fiable des configurations candidates sur une gamme de niveaux de fiabilité.