AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-22
幾何学的知識空間、アテンションペアリングとアーキテクチャ
原題: Geometric knowledge spaces, Attention pairing and Architectures
アテンション機構を幾何学的に導出し、新しいトランスフォーマーアーキテクチャの可能性を探る手法を提案した。知識世界とアテンションペアリングの概念を定式化し、この枠組みから標準アテンション、因果アテンション、線形アテンション、テンソルアテンション、さらにリカレントニューラルネットワークのアーキテクチャが自然に導かれることを示した。最後に、新規のニューラルネットワークアーキテクチャの着想となりうる新しい幾何学的空間をいくつか導入した。