Transformer 電路的數學框架

原標題: A mathematical framework for Transformer Circuits

研究人員對僅含注意力機制的小型 Transformer 進行逆向工程，以探討歸納頭（induction heads）如何形成。研究顯示，歸納頭是透過注意力頭組合而形成的。