Transformer残差流中的特权基

原标题: Privileged bases in the transformer residual stream

该研究探讨了为什么Transformer残差流中的各个坐标会表现出特权基行为，尽管理论预测它们应当是任意的。作者初步将这一效应归因于Adam优化器中逐维度的归一化项。层归一化和有限精度浮点运算已被排除为来源。