KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-20
Post-Selection-Bewertung distributionaler Modelle
Originaltitel: Post-Selection Distributional Model Evaluation
Der Vergleich von Kandidatenmodellen hinsichtlich der Trade-offs zwischen Leistung und Zuverlässigkeit erfordert eine zuverlässige Schätzung der KPI-Verteilungen zur Testzeit, aber die Verwendung derselben Daten sowohl zur Vorauswahl der Modelle als auch zur Schätzung ihrer Verteilungen führt zu einem Post-Selection-Bias. Die Autoren stellen PS-DME vor, ein auf E-Werten basierendes Framework, das eine statistisch gültige Verteilungsbewertung von Modellen nach beliebiger datenabhängiger Vorauswahl liefert, die Post-Selection False Coverage Rate kontrolliert und unter expliziten Bedingungen nachweislich die Stichprobeneffizienz gegenüber einer Baseline mit Stichprobenaufteilung verbessert. Experimente mit synthetischen Daten, Text-to-SQL-Decoding mit großen Sprachmodellen und der Leistungsbewertung von Telekommunikationsnetzen zeigen einen zuverlässigen Vergleich von Kandidatenkonfigurationen über verschiedene Zuverlässigkeitsniveaus hinweg.