Transformer 殘差流中的特權基底

原標題: Privileged bases in the transformer residual stream

本研究探討為何 Transformer 殘差流中的個別座標會呈現特權基底行為，儘管理論預測它們應為任意的。作者暫時將此效應歸因於 Adam 優化器中逐維度的正規化項。層正規化與有限精度浮點運算則已被排除為成因。