IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-22
Espaços de conhecimento geométrico, pareamento de atenção e Arquiteturas
Título original: Geometric knowledge spaces, Attention pairing and Architectures
O artigo propõe uma abordagem geométrica para derivar mecanismos de atenção e explorar possíveis novas arquiteturas de transformers. Ele formaliza as noções de mundos de conhecimento e pareamentos de atenção e, em seguida, demonstra que esse arcabouço leva naturalmente às arquiteturas de atenção padrão, atenção causal, atenção linear, atenção de tensor e redes neurais recorrentes. Por fim, apresenta vários novos espaços geométricos que podem inspirar arquiteturas inéditas de redes neurais.