KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-20
Eine entscheidungstheoretische Perspektive auf Test-Time Training: Wann, wie weit und in welche Richtungen adaptiert werden sollte
Originaltitel: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
Testzeit-Training (TTT) passt ein vortrainiertes Modell durch Parameteraktualisierungen an jeden Prompt an und verbessert die Genauigkeit unter Verteilungsverschiebungen, doch seine Leistung ist oft instabil und empfindlich gegenüber Hyperparametern wie Aktualisierungsschritten und Teilraum. Indem sie TTT als implizite Bayes'sche Inferenz im Kernel-Regime behandeln, zeigen die Autoren an einem Gauß-Prozess-Benchmark, dass TTT den Vorhersagefehler reduziert, wenn Aktualisierungen spektral an das Signal-Rausch-Verhältnis des Prompts angepasst und an abfragerelevanten Eigenrichtungen ausgerichtet sind. Aus dieser Perspektive charakterisieren sie, wann feste Aktualisierungsschritte und Teilräume versagen, beweisen eine PAC-Bayes-Garantie für die Auswahl von Aktualisierungsschritten anhand von Prompt-Evidenz und leiten eine Scoring-Regel zur Auswahl von Transformer-Blöcken und -Köpfen her.