KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-22
Geometrische Wissensräume, Attention-Paarung und Architekturen
Originaltitel: Geometric knowledge spaces, Attention pairing and Architectures
Das Paper schlägt einen geometrischen Ansatz zur Herleitung von Attention-Mechanismen und zur Erforschung potenzieller neuer Transformer-Architekturen vor. Es formalisiert die Begriffe der Wissenswelten und Attention-Paarungen und zeigt dann, dass dieser Rahmen natürlich zu den Architekturen von Standard-Attention, kausaler Attention, linearer Attention, Tensor-Attention und rekurrenten neuronalen Netzen führt. Schließlich führt es mehrere neue geometrische Räume ein, die neuartige neuronale Netzarchitekturen inspirieren könnten.