AIが解く世界の難問 · 計算機科学の理論 · Anthropic · 2026-09-28
Transformerの残差ストリームにおける特権的基底
原題: Privileged bases in the transformer residual stream
Transformerの残差ストリームで、個々の座標軸が特別な意味を持つように見える「特権的基底」の現象を調べた。理論上は座標軸に特別な意味はないはずである。原因としてはAdamオプティマイザーの次元ごとの正規化が有力だと暫定的に結論づけた。一方、層正規化と浮動小数点演算の精度は原因ではないと判断された。