Transformer回路の数学的枠組み

原題: A mathematical framework for Transformer Circuits

小規模な注意機構のみのTransformerをリバースエンジニアリングし、インダクションヘッドがどのように形成されるかを調べた。その結果、ヘッド同士の合成（head composition）を通じて形成されることが明らかになった。