AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-20
Mtazamo wa Nadharia ya Maamuzi wa Mafunzo ya Wakati wa Kupima: Lini, Hadikadi, na Mwelekeo Upi wa Kubadilika
Kichwa asilia: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
Test-time training (TTT) inayata modeli iliyofundishwa awali kwa kila prompt kupitia visasaisho vya parameta na huimarisha usahihi chini ya mabadiliko ya usambazaji, lakini utendaji wake mara nyingi haikai imara na kuwa nyeti kwa hyperparameters kama vile hatua za kusasisha na subspace. Kwa kuzingatia TTT kama inferensi isiyo wazi ya Bayesian katika hali ya kernel, waandishi huonyesha kwenye benchmark ya Gaussian process kwamba TTT inapunguza kosa la utabiri visasaisho vinapofanana kispektra na uwiano wa ishara-kwa-kelele wa prompt na vinapolingana na eigen-directions zinazohusiana na swali. Kutoka kwenye mtazamo huu wanaeleza hali ambazo hatua zilizowekwa-mara za kusasisha na subspaces zinashindwa, wanathibitisha udhamini wa PAC-Bayes wa kuchagua hatua za kusasisha kupitia ushahidi wa prompt, na wanatohozi kanuni ya scoring ya kuchagua blocks na heads za Transformer.