La IA y los problemas difíciles del mundo · Informática teórica · Anthropic · 2026-09-28
Bases privilegiadas en el flujo residual del Transformer
Título original: Privileged bases in the transformer residual stream
El estudio examina por qué las coordenadas individuales del flujo residual del Transformer muestran un comportamiento de base privilegiada, aunque la teoría predice que deberían ser arbitrarias. Los autores atribuyen provisionalmente el efecto a los normalizadores por dimensión del optimizador Adam. La normalización de capas y la aritmética de coma flotante de precisión finita se descartaron como fuentes.