AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-20
测试时训练的决策理论视角：何时适应、适应多远、朝哪些方向适应
原标题: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
测试时训练（TTT）通过参数更新使预训练模型适应每个提示，并提高分布偏移下的准确率，但其性能往往不稳定，且对更新步数和子空间等超参数敏感。作者将 TTT 视为核机制下的隐式贝叶斯推断，并在高斯过程基准上表明：当更新与提示的信噪比在频谱上匹配并与查询相关的特征方向对齐时，TTT 能降低预测误差。基于这一视角，他们刻画了固定更新步数和子空间何时失效，证明了通过提示证据选择更新步数的 PAC-Bayes 保证，并推导出用于选择 Transformer 模块和注意力头的评分规则。