AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-20
選擇後分配型模型評估
原標題: Post-Selection Distributional Model Evaluation
在效能與可靠性的權衡上比較候選模型,需要對測試時的 KPI 分佈進行可靠估計;但若使用同一批資料既預選模型又估計其分佈,便會引入選擇後偏誤。作者提出 PS-DME,一個建立在 e 值之上的框架,能在任意的資料相依預選之後提供統計上有效的分佈式模型評估,控制選擇後錯誤覆蓋率,並在明確條件下可證明相較於樣本分割基準能提升樣本效率。在合成資料、以大型語言模型進行 text-to-SQL 解碼,以及電信網路效能評估上的實驗顯示,該方法能在各種可靠性層級下可靠地比較候選組態。