AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-20
テスト時学習の意思決定理論的視点：いつ、どの程度、どの方向に適応するか
原題: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
事前学習済みモデルを各プロンプトに応じてパラメータ更新で適応させるテスト時学習（TTT）は分布シフト下で精度を向上させる一方、更新ステップや部分空間といったハイパーパラメータへの敏感さが不安定さの原因となっていた。TTTをカーネル領域における暗黙的ベイズ推論として捉え、ガウス過程ベンチマーク上で、更新がプロンプトの信号対雑音比にスペクトル的に整合し問い合わせに関連する固有方向に沿うときに予測誤差が減ることを示した。この観点に基づき、固定された更新ステップや部分空間が分布シフト下で失敗する条件、プロンプトの証拠によるステップ選択へのPAC-Bayes保証、Transformerブロックとヘッドの選択に使えるスコアリング規則を導出した。