L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-20
Une vision de théorie de la décision du test-time training : quand, jusqu'où et dans quelles directions s'adapter
Titre original: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
L'entraînement au moment du test (TTT) adapte un modèle pré-entraîné à chaque invite par des mises à jour de paramètres et améliore la précision en cas de décalages de distribution, mais ses performances sont souvent instables et sensibles aux hyperparamètres tels que les pas de mise à jour et le sous-espace. En traitant le TTT comme une inférence bayésienne implicite dans le régime noyau, les auteurs montrent sur un benchmark de processus gaussiens que le TTT réduit l'erreur de prédiction lorsque les mises à jour sont spectralement appariées au rapport signal/bruit de l'invite et alignées avec les directions propres pertinentes pour la requête. De ce point de vue, ils caractérisent les situations d'échec des pas de mise à jour et des sous-espaces fixes, démontrent une garantie PAC-Bayes pour la sélection des pas de mise à jour à partir d'éléments de preuve de l'invite, et dérivent une règle de score pour choisir les blocs et têtes Transformer.