Transformer 电路的数学框架

原标题: A mathematical framework for Transformer Circuits

研究人员对仅含注意力层的小型 Transformer 进行了逆向工程,以研究归纳头是如何形成的。这项工作表明,归纳头是通过注意力头组合形成的。