AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-20
选择后分布模型评估
原标题: Post-Selection Distributional Model Evaluation
在性能与可靠性权衡中比较候选模型，需要对测试时 KPI 分布进行可靠估计，但用同一份数据既预筛选模型又估计其分布会引入选择后偏差。作者提出了 PS-DME，这是一个建立在 e 值之上的框架，可在任意依赖数据的预筛选之后提供统计上有效的分布模型评估，控制选择后错误覆盖率，并在明确条件下可证明较样本拆分基线提升了样本效率。在合成数据、基于大语言模型的 text-to-SQL 解码以及电信网络性能评估上的实验表明，该框架能在一系列可靠性水平上对候选配置进行可靠比较。