ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-20
Постселекционная оценка распределений моделей
Оригинальное название: Post-Selection Distributional Model Evaluation
Сравнение моделей-кандидатов по компромиссу между производительностью и надежностью требует надежной оценки распределений KPI на этапе тестирования, но использование одних и тех же данных как для предварительного отбора моделей, так и для оценки их распределений вносит смещение после отбора (post-selection bias). Авторы представляют PS-DME — фреймворк, построенный на e-значениях, который обеспечивает статистически корректную оценку распределений моделей после произвольного зависящего от данных предварительного отбора, контролирует частоту ложных покрытий после отбора и при явных условиях доказуемо повышает эффективность использования выборки по сравнению с базовым подходом на основе разбиения выборки. Эксперименты на синтетических данных, декодировании text-to-SQL с большими языковыми моделями и оценке производительности телекоммуникационных сетей показывают надежное сравнение конфигураций-кандидатов в диапазоне уровней надежности.