AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-20
Perspektif Teori Keputusan tentang Test-Time Training: Kapan, Seberapa Jauh, dan ke Arah Mana untuk Beradaptasi
Judul asli: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
Test-time training (TTT) mengadaptasi model pra-terlatih ke setiap prompt melalui pembaruan parameter dan meningkatkan akurasi dalam menghadapi pergeseran distribusi, tetapi kinerjanya sering kali tidak stabil dan sensitif terhadap hyperparameter seperti langkah pembaruan dan subruang. Dengan memperlakukan TTT sebagai inferensi Bayesian implisit dalam rezim kernel, para penulis menunjukkan pada benchmark proses Gaussian bahwa TTT mengurangi kesalahan prediksi ketika pembaruan secara spektral cocok dengan rasio signal-to-noise dari prompt dan selaras dengan arah eigen yang relevan dengan kueri. Dari perspektif ini mereka mengkarakterisasi kapan langkah pembaruan tetap dan subruang tetap gagal, membuktikan jaminan PAC-Bayes untuk memilih langkah pembaruan melalui bukti prompt, dan menurunkan aturan penilaian untuk memilih blok dan head Transformer.