KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-09-28
Privilegierte Basen im Residual Stream von Transformern
Originaltitel: Privileged bases in the transformer residual stream
Die Studie untersucht, warum einzelne Koordinaten im Residual Stream von Transformern ein Verhalten privilegierter Basen zeigen, obwohl die Theorie vorhersagt, dass sie beliebig sein sollten. Die Autoren führen den Effekt vorläufig auf die dimensionsweisen Normalisierer im Adam-Optimierer zurück. Layer-Normalisierung und Gleitkommaarithmetik endlicher Präzision wurden als Ursachen ausgeschlossen.