IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-20
Uma visão da teoria da decisão sobre o treinamento em tempo de teste: quando, até onde e em quais direções adaptar
Título original: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
O treinamento em tempo de teste (TTT) adapta um modelo pré-treinado a cada prompt por meio de atualizações de parâmetros e melhora a acurácia sob mudanças de distribuição, mas seu desempenho costuma ser instável e sensível a hiperparâmetros como passos de atualização e subespaço. Tratando o TTT como inferência bayesiana implícita no regime de kernel, os autores mostram, em um benchmark de processos gaussianos, que o TTT reduz o erro de predição quando as atualizações são espectralmente compatíveis com a razão sinal-ruído do prompt e alinhadas com direções de autovetores relevantes para a consulta. Sob essa perspectiva, eles caracterizam quando passos de atualização e subespaços fixos falham, provam uma garantia PAC-Bayes para selecionar passos de atualização via evidência do prompt e derivam uma regra de pontuação para escolher blocos e cabeças Transformer.