La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-20
Una perspectiva desde la teoría de la decisión sobre el entrenamiento en tiempo de prueba: cuándo, hasta dónde y en qué direcciones adaptarse
Título original: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
El entrenamiento en tiempo de prueba (TTT) adapta un modelo preentrenado a cada prompt mediante actualizaciones de parámetros y mejora la precisión bajo cambios de distribución, pero su rendimiento suele ser inestable y sensible a hiperparámetros como los pasos de actualización y el subespacio. Al tratar el TTT como inferencia bayesiana implícita en el régimen de kernels, los autores muestran en un benchmark de procesos gaussianos que el TTT reduce el error de predicción cuando las actualizaciones están espectralmente emparejadas con la relación señal-ruido del prompt y alineadas con las direcciones propias relevantes para la consulta. Desde esta perspectiva, caracterizan cuándo fallan los pasos de actualización y los subespacios fijos, demuestran una garantía PAC-Bayes para seleccionar pasos de actualización mediante la evidencia del prompt y derivan una regla de puntuación para elegir bloques y cabezas de Transformer.