AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-09-28
Basis istimewa dalam aliran residual transformer
Judul asli: Privileged bases in the transformer residual stream
Studi ini meneliti mengapa koordinat individual dalam aliran residual Transformer menunjukkan perilaku basis istimewa, padahal teori memperkirakan koordinat tersebut seharusnya bersifat sembarang. Para penulis sementara mengaitkan efek ini dengan normalizer per-dimensi pada optimizer Adam. Normalisasi lapisan (layer normalization) dan aritmetika floating-point berpresisi terbatas telah disingkirkan sebagai sumbernya.