ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-20
Взгляд на обучение на этапе тестирования с точки зрения теории принятия решений: когда, насколько и в каких направлениях адаптироваться
Оригинальное название: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
Обучение на этапе тестирования (TTT) адаптирует предобученную модель к каждому промпту посредством обновления параметров и повышает точность при сдвигах распределений, но её производительность часто нестабильна и чувствительна к таким гиперпараметрам, как шаги обновления и подпространство. Рассматривая TTT как неявный байесовский вывод в ядерном режиме, авторы показывают на эталонном тесте с гауссовскими процессами, что TTT снижает ошибку предсказания, когда обновления спектрально согласованы с отношением сигнал-шум промпта и выровнены вдоль релевантных запросу собственных направлений. С этой точки зрения они характеризуют, когда фиксированные шаги обновления и подпространства терпят неудачу, доказывают гарантию PAC-Bayes для выбора шагов обновления на основе свидетельств промпта и выводят правило скоринга для выбора блоков и голов трансформера.