L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-09-28
Bases privilégiées dans le flux résiduel du Transformer
Titre original: Privileged bases in the transformer residual stream
L'étude examine pourquoi les coordonnées individuelles du flux résiduel du Transformer présentent un comportement de base privilégiée, alors que la théorie prédit qu'elles devraient être arbitraires. Les auteurs attribuent provisoirement cet effet aux normalisateurs par dimension de l'optimiseur Adam. La normalisation de couche et l'arithmétique à virgule flottante en précision finie ont été écartées comme sources.