几何知识空间、注意力配对与架构

原标题: Geometric knowledge spaces, Attention pairing and Architectures

该论文提出了一种几何方法，用于推导注意力机制并探索潜在的新型Transformer架构。论文形式化了知识世界与注意力配对的概念，进而证明该框架自然地导出了标准注意力、因果注意力、线性注意力、张量注意力以及循环神经网络的架构。最后，论文引入了若干可能启发全新神经网络架构的新几何空间。