L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-22
Espaces de connaissances géométriques, appariement d'attention et architectures
Titre original: Geometric knowledge spaces, Attention pairing and Architectures
L'article propose une approche géométrique pour dériver les mécanismes d'attention et explorer de nouvelles architectures potentielles de transformers. Il formalise les notions de mondes de connaissance et d'appariements d'attention, puis démontre que ce cadre conduit naturellement aux architectures de l'attention standard, de l'attention causale, de l'attention linéaire, de l'attention tensorielle et des réseaux de neurones récurrents. Enfin, il introduit plusieurs nouveaux espaces géométriques susceptibles d'inspirer des architectures de réseaux de neurones inédites.