幾何知識空間、注意力配對與架構

原標題: Geometric knowledge spaces, Attention pairing and Architectures

這篇論文提出一種幾何方法，用以推導注意力機制並探索潛在的新 transformer 架構。它將知識世界與注意力配對的概念形式化，接著證明此框架能自然導出標準注意力、因果注意力、線性注意力、張量注意力與循環神經網路的架構。最後，它介紹了數個新的幾何空間，可望啟發新穎的神經網路架構。