AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-20
モデル事前選択後でも妥当な分布評価を行うフレームワークPS-DME
原題: Post-Selection Distributional Model Evaluation
性能と信頼性のトレードオフを比較するにはテスト時のKPI分布を信頼できる形で推定する必要があるが、同じデータでモデルの事前選択と分布推定を行うと選択後バイアスが生じる。これに対し、e値に基づきデータ依存の任意の事前選択の後でも統計的に妥当な分布的モデル評価を可能にするフレームワークPS-DMEを提案し、選択後の誤被覆率（FCR）を制御できることを示した。合成データ、大規模言語モデルによるtext-to-SQLデコーディング、通信ネットワーク性能評価の実験で、複数の信頼性水準にわたり候補構成を信頼的に比較でき、標本分割に基づく手法を条件付きで上回る標本効率も理論的に示した。