La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-22
Espacios de conocimiento geométrico, emparejamiento de atención y arquitecturas
Título original: Geometric knowledge spaces, Attention pairing and Architectures
El artículo propone un enfoque geométrico para derivar mecanismos de atención y explorar posibles nuevas arquitecturas de transformers. Formaliza las nociones de mundos de conocimiento y emparejamientos de atención, y luego demuestra que este marco conduce naturalmente a las arquitecturas de la atención estándar, la atención causal, la atención lineal, la atención de tensores y las redes neuronales recurrentes. Finalmente, introduce varios espacios geométricos nuevos que podrían inspirar novedosas arquitecturas de redes neuronales.