AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-20
測試時訓練的決策理論觀點:何時調適、調適多遠,以及往哪些方向調適
原標題: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
測試時訓練(TTT)透過參數更新將預訓練模型調適到每個提示,並在分布偏移下提升準確率,但其效能往往不穩定,且對更新步數與子空間等超參數敏感。作者將 TTT 視為核機制下的隱式貝氏推論,並在高斯過程基準上顯示:當更新在頻譜上與提示的訊雜比匹配,且與查詢相關的特徵方向對齊時,TTT 能降低預測誤差。從這個觀點出發,他們刻劃了固定的更新步數與子空間何時會失效,證明了透過提示證據選擇更新步數的 PAC-Bayes 保證,並推導出選擇 Transformer 區塊與注意力頭的評分規則。